• 请不要在回答技术问题时复制粘贴 AI 生成的内容
laoyuan
V2EX  ›  程序员

在国外放的爬虫撞墙也挺郁闷的。。。

  •  
  •   laoyuan ·
    laoyuan · Nov 27, 2014 · 4468 views
    This topic created in 4377 days ago, the information mentioned may be changed or developed.
    爬amazon.cn的定向爬虫,这几天就感觉不大对,查了下一看爬到的都是0字节,手工调试发现原来是撞墙了,就是这个亚马逊的页面:

    http://www.amazon.cn/JavaScript%E5%8A%A8%E6%80%81%E7%BD%91%E9%A1%B5%E7%BB%8F%E5%85%B8%E5%AE%9E%E4%BE%8B%E6%95%99%E7%A8%8B-%E9%99%88%E4%BA%89%E8%88%AA/dp/B00114B83W

    感觉没什么敏感词啊,陈争航这个人名除了写这本书什么也没干,是良民啊~
    19 replies  •  2016-08-19 15:47:24 +08:00
    mornlight
    mornlight
    Nov 27, 2014
    1
    你可能得先排除一下是不是你的爬虫被amazon屏蔽了
    Livid
    Livid
    MOD
    PRO
    Nov 27, 2014
    2
    是的,这个页面确实在国外点开是 connection reset
    efi
    efi
    Nov 27, 2014
    3
    wtf
    66beta
    66beta
    Nov 27, 2014
    4
    难道是因为评论里有“卓越亚马逊”,哈哈哈
    wesley
    wesley
    Nov 27, 2014❤️1
    5
    “动态网”才是真真的G点
    efi
    efi
    Nov 27, 2014❤️1
    6
    你URL里面有一个关键词,你可以自己测试。我刚发出来被删了,这不是深度检测的关键词。不能发的能不能把规矩说明,不要偷偷删。
    laoyuan
    laoyuan
    OP
    Nov 27, 2014❤️1
    7
    @Livid
    去掉中间的slug就没问题了 http://www.amazon.cn/dp/B00114B83W
    所以不是页面内容触发的,就是url触发,而中间那段decode过来完全不知道痛点在哪里:JavaScript动态网页经典实例教程-陈争航
    halczy
    halczy
    Nov 27, 2014
    8
    这个简介是谁写的...
    JaVascript JavaScljpt JavaScriDt
    laoyuan
    laoyuan
    OP
    Nov 27, 2014
    9
    @wesley 死了个明白终于
    laoyuan
    laoyuan
    OP
    Nov 27, 2014
    10
    @halczy 这必须是OCR软件干的啊
    Livid
    Livid
    MOD
    PRO
    Nov 27, 2014
    11
    @efi 是的。我删除了你的那条。但是在楼主的 notifications 中还是可以看到的。
    mogita
    mogita
    Nov 27, 2014
    12
    @laoyuan 云力态网
    9hills
    9hills
    Nov 27, 2014
    13
    laoyuan
    laoyuan
    OP
    Nov 27, 2014
    14
    说实话弄书最容易碰到敏感词了,什么时候阿里云上SSD我就把网站搬回国内了
    laoyuan
    laoyuan
    OP
    Nov 27, 2014
    15
    唉,标题有这个词的亚马逊图书条目有267个。。。
    laoyuan
    laoyuan
    OP
    Dec 4, 2014
    16
    @efi @ck65 @wesley

    高中数学联赛备考手册 这个也撞墙,G点在何处?
    wesley
    wesley
    Dec 4, 2014❤️1
    17
    @laoyuan 学联
    laoyuan
    laoyuan
    OP
    Dec 22, 2015
    18
    又发现一个新的 url 触发:看中国
    laoyuan
    laoyuan
    OP
    Aug 19, 2016
    19
    亚马逊中国全站 https 了,这个问题貌似不存在了
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Privacy   ·   Solana   ·   1350 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 38ms · UTC 17:06 · PVG 01:06 · LAX 09:06 · JFK 12:06
    ♥ Do have faith in what you're doing.