首页   注册   登录
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
探索世界的好奇心万岁
Udacity
网易公开课
Godel, Escher, Bach: An Eternal Golden Braid
yaoye555
V2EX  ›  分享发现

第一次见,robots 还真的把百度给挡了

  •  
  •   yaoye555 · 67 天前 · 2479 次点击
    这是一个创建于 67 天前的主题,其中的信息可能已经有所发展或是发生改变。
    14 回复  |  直到 2019-11-14 11:02:58 +08:00
    shansing
        1
    shansing   67 天前
    原则上如果真的给挡了,百度甚至就不该显示这条索引结果。个人认为这还是在打擦边球,你看隔壁就清新很多:

    > 一些其他的搜索引擎有时会利用 anchor 等信息,对特定被禁止抓取的路径(如首页),生成和 nosnippet 等同效果的展现,但我们会慎重处理这种灰色地带的行为。
    pi1ot
        2
    pi1ot   67 天前
    @shansing

    www.hi-pad.com/robots.txt
    User-agent: *
    Disallow:/app/
    Disallow:/admin/
    Disallow:/Framework/
    Disallow:/Public/
    Disallow:/Upload/

    并没有禁止全站抓取
    pi1ot
        3
    pi1ot   67 天前
    不好意思打错域名了,确实禁止了全站抓取

    http://www.hi-pda.com/robots.txt
    User-agent: *
    Disallow: /
    shansing
        4
    shansing   67 天前
    @pi1ot 唔,你域名打错了。请看 https://www.hi-pda.com/robots.txt
    est
        5
    est   67 天前
    http://blog.est.im/robots.txt 这么巧。我也屏蔽了。BIDU
    TomatoYuyuko
        6
    TomatoYuyuko   67 天前
    有很多啊,今天查菜鸟裹裹,发现他们官网就是限制了
    nicoljiang
        7
    nicoljiang   67 天前
    天猫的不就挡住了么?
    yaoye555
        8
    yaoye555   67 天前
    @nicoljiang 以前用百度没发现, 刚刚去搜了几个关键词 确实都被挡了
    zdnyp
        9
    zdnyp   67 天前
    你见过百度搜索结果里有淘宝宝贝?...
    Orciorc
        10
    Orciorc   67 天前 via Android
    这个,没有哪个大搜索引擎不遵守吧,毕竟会碰上法律责任的。
    chtan
        11
    chtan   67 天前 via iPhone
    lovestudykid
        12
    lovestudykid   67 天前 via iPhone   ♥ 1
    @shansing 隔壁的 Google 行为跟百度一样
    ImageHi!PDA › forum
    Web results
    HiPda
    No information is available for this page.
    Learn why
    auchan
        13
    auchan   67 天前
    @shansing google 一样可以搜索到的,搜出来的样子和百度的差不多
    shansing
        14
    shansing   67 天前
    @lovestudykid
    @auchan
    我说的隔壁是 Magi 啦(逃
    关于   ·   FAQ   ·   API   ·   我们的愿景   ·   广告投放   ·   感谢   ·   实用小工具   ·   3896 人在线   最高记录 5168   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.3 · 21ms · UTC 05:40 · PVG 13:40 · LAX 21:40 · JFK 00:40
    ♥ Do have faith in what you're doing.