首页   注册   登录
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX 提问指南
V2EX  ›  问与答

你们的网站有被360 spider无视robots.txt地狂抓吗?

  •  
  •   lala · 2012-10-07 04:30:53 +08:00 · 3413 次点击
    这是一个创建于 2510 天前的主题,其中的信息可能已经有所发展或是发生改变。
    最近发现自己的某个网站的某些链接被360 spider不断地访问,spider的ip子网主要在182.118.[20-25].0/24 之间,查看了一下robots.txt,明明有disallow所有的spider啊,怎么还在抓?

    本来奇虎做搜索,我还在考虑要不要买他们的股票,市场份额我觉得10%跑不掉,股票还有上升空间,虽然我一直以来都不喜欢周红一,但是发现他们完全不遵守robots.txt协议之后,我才理解所谓的没有道德底限原来体现在这些细节上,我只想说,f*** 360 spider, f*** Qihu, f*** 周红一。。。

    用老罗的话来结尾吧,“不好意思,我又失态了...”
    7 回复  |  直到 1970-01-01 08:00:00 +08:00
        1
    chemhack   2012-10-07 05:56:29 +08:00
    robots.txt alone is not enough
        2
    lala   2012-10-07 07:41:29 +08:00
    @chemhack but the spiders are supposed to follow the robots.txt, right? Some spiders, like 360, may ignore the file, and you cannot do anything about that but find out their IPs, and block them.

    I would say it is not decent at all to ignore the robots.txt files. That is the very basic principle for a search engine, isn't it?
        3
    chemhack   2012-10-07 08:22:30 +08:00
    @lala 从360的角度,这种行为不会被大众骂,因为一般人连spider是啥都不懂,如果我是流氓周我也这么干。你自己做站的话应该能考虑到这些问题,不光是搜索引擎的spider,还有好多堆垃圾站的人采集器也会来爬。只是ip匹配也是不够的,那个只能事后处理,你要不看log的话就不知道了。javaeye有一套能自动屏蔽爬虫的系统,是利用行为分析来识别的。但是后来那套系统把我党的爬虫给屏蔽了,然后javaeye就被关站了。
        4
    cabbala   2012-10-07 08:26:49 +08:00
    robots协议里面水很深,不能多说~~
        5
    looching   2012-10-07 10:37:34 +08:00
    @cabbala 这种说法很没有意思。
        6
    ihacku   2012-10-07 22:23:14 +08:00
        7
    snail2   2012-10-07 23:31:09 +08:00
    不能留芳百世也要遗臭万年,很显然 周垃圾做到了。
    就象当年他不管3721地给人们装上3721一样,现在我们也是不管3721地排斥一切与这个周垃圾有关的东西,不管是什么,不管质量是怎么样,人品已经在那儿摆着了,我真是不明白为什么还会有投资人给这种人机会,哎,我们out了
    关于   ·   FAQ   ·   API   ·   我们的愿景   ·   广告投放   ·   感谢   ·   实用小工具   ·   971 人在线   最高记录 5043   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.3 · 20ms · UTC 22:38 · PVG 06:38 · LAX 15:38 · JFK 18:38
    ♥ Do have faith in what you're doing.