首页   注册   登录
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
这是一个专门讨论 idea 的地方。

每个人的时间,资源是有限的,有的时候你或许能够想到很多 idea,但是由于现实的限制,却并不是所有的 idea 都能够成为现实。

那这个时候,不妨可以把那些 idea 分享出来,启发别人。
Coding
V2EX  ›  奇思妙想

大家敢不敢在 robots 里面屏蔽百度?

  •  
  •   woshishuia · 198 天前 · 5980 次点击
    这是一个创建于 198 天前的主题,其中的信息可能已经有所发展或是发生改变。

    这里好像没有不骂百度,既然如此,为何不直接在自己的网站屏蔽掉它呢,加速他的衰亡(虽然就算不屏蔽百度也未必来收录你)?

    第 1 条附言  ·  198 天前
    唉,不知道李彦宏看到一群有价值的内容创造者,对百度的如此态度,心里会有什么想法……
    百度明明可以做的很好,偏偏选择了歪门邪道……
    38 回复  |  直到 2019-06-04 20:59:52 +08:00
        1
    woshishuia   198 天前
    很多站长苦百度久矣,可是就是不会一起变被动为主动。
        2
    sanshiliu   198 天前
    屏蔽很久了,但是百度依然抓取。
        3
    9151   198 天前
    员工能代替老板做这种决定?
        4
    hack   198 天前
    屏蔽也无视的
        5
    kios   198 天前   ♥ 1
    君子协定 百度是不会遵守的 。要真想屏蔽 直接在 nginx 上 block 掉
        6
    kindjeff   198 天前   ♥ 1
        7
    xiri   198 天前 via Android   ♥ 2
    博客放在 Github Pages 上,不用我去屏蔽,Github 帮我屏蔽了🐶
        8
    passerbytiny   198 天前
    君子协定,屏蔽无用。倒不如在你的页面上加一个类似于“不欢迎百度”的提示。
        9
    lzxgh621   198 天前 via Android
    因为他根本不收
        10
    Tink   198 天前
    屏蔽有用??
        11
    est   198 天前   ♥ 1
    blog.est.im/robots.txt

    路过一下。
        12
    msg7086   198 天前   ♥ 3
    我根本不关心度娘的死活,为何要特地在 robots 里为他加上一段?

    (然后每次打开 robots 或者 nginx 文件的时候还要特地被恶心一次……
        13
    mason961125   198 天前 via iPhone   ♥ 1
    nginx 里配置百度的 referrer 直接 403
        14
    kingfalse   198 天前 via Android
    想起了当年 360 强行抓某网站,
        15
    lycc   198 天前 via Android
    早已屏蔽
        16
    looking0truth   198 天前   ♥ 1
    个人站应该很多都屏蔽了吧 上次见过更狠的,百度跳过去弹窗数落百度的罪证
        17
    sheeta   198 天前
    @looking0truth coolshell 是这样的,哈哈
        18
    trait   198 天前 via iPhone
    实不相瞒,我把 Google 在内的所有爬虫全屏蔽了
        19
    liuxey   198 天前
    403 好评
        20
    Lpl   197 天前 via iPhone
    @mason961125 你这太暴力了,还不如跳到一个页面说明下更好
        21
    zhttty   197 天前
    @looking0truth 还不如把这个数落罪证的搞成开源页面(持续更新),后续凡是讨厌百度的开发者,都可以简单引入这个弹窗页,想想就爽。
        22
    waterboy   197 天前
    鄙人博客屏蔽一切搜索引擎
        23
    haozi1986   197 天前
    早就用防火墙把我能找到的百度的 IDC 机房 IP 屏蔽了,可能有误杀,但我觉得可以接受
    为什么这么做,因为 nginx 日志里经常是几百行持续且相同的记录,来源全部是百度的 IP,耗我流量,不能忍
        24
    jisibencom   197 天前 via Android
    我就屏蔽几年了。。。。
        25
    turi   197 天前
    当年就是遵守君子协议,然后淘宝壮大了。
        26
    elfive   197 天前 via iPhone
    Robot 只是一个约定的规范而已,不一定要强制遵守,你觉得当百度要爬你的时候,你搞个 Robot 就够了??

    另外说一句,百度喜欢在国内时间凌晨 3 点爬我的站。后来我直接给他屏蔽了 ip
        27
    leonme   197 天前 via Android
    不用百度都有优越感了,真是服~
        28
    coolloves   197 天前 via iPhone
    屏蔽掉百度等垃圾爬虫的 ua 啊
        29
    shuirong1997   197 天前
    @looking0truth #16
    @sheeta #17
    @zhttty #21
    https://i.loli.net/2019/05/31/5cf137a891b3a18730.jpg
    coolshell is cool

    搞事情!如果没人做的话,我来搞一个(这就搞)
        30
    shuirong1997   197 天前
    @shuirong1997 #30 原来 CoolShell 已经把那段代码放出来了,在这里: https://coolshell.cn/articles/9308.html 需要的同学自取
        31
    shuirong1997   197 天前
        32
    arens   197 天前
    多年前 3Q 大战还不少人罢用呢,现在不还活的好好的,网站和搜索引擎就是水和鱼,对产品平台有看法,可技术又没什么错
        33
    JmmBite   197 天前 via iPhone
    别说 robots,IP 都 block 叻
        35
    est   195 天前
    @Spcek 已知。 多谢
        36
    Sapp   194 天前
    不敢,我还要拿他测网速和搜贴吧游戏攻略呢
        37
    Sapp   194 天前
    哦,rebots 啊,那个都不用屏蔽了,反正我博客我自己都不看
        38
    Ayersneo   193 天前
    试了,屏蔽了一次,百度权重貌似下降很多
    关于   ·   FAQ   ·   API   ·   我们的愿景   ·   广告投放   ·   感谢   ·   实用小工具   ·   2250 人在线   最高记录 5043   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.3 · 27ms · UTC 06:31 · PVG 14:31 · LAX 22:31 · JFK 01:31
    ♥ Do have faith in what you're doing.