V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX 提问指南
tsohgdivil
V2EX  ›  问与答

如何彻底禁止百度收录一个网站?

  •  1
     
  •   tsohgdivil · 138 天前 · 1196 次点击
    这是一个创建于 138 天前的主题,其中的信息可能已经有所发展或是发生改变。

    设置了 robots.txt

    User-agent: Baiduspider
    Disallow: /
    User-agent: baiduspider
    Disallow: /
    User-agent: *
    Disallow: /
    

    没用,照样收录。Nginx 中禁止了搜索引擎的 User-Agent:

      if ($http_user_agent ~* "qihoobot|Baiduspider|Googlebot|Googlebot-Mobile|Googlebot-Image|Mediapartners-Google|Adsbot-Google|Feedfetcher-Google|Yahoo! Slurp|Yahoo! Slurp China|YoudaoBot|Sosospider|Sogou spider|Sogou web spider|MSNBot|ia_archiver|Tomato Bot")
     {
        return 404;
     }
    

    两周过去了,没用,还是收录,此时所有其他搜索引擎都停止了收录。

    甚至直接举报了网站,一直显示处理中,没有结果。

    为什么百度像狗皮膏药一样恶心?到底怎么才能禁止百度收录网站?

    7 条回复    2024-01-04 11:53:52 +08:00
    Yourshell
        1
    Yourshell  
       138 天前
    黑名单不行就白名单
    lingeo
        2
    lingeo  
       138 天前
    https://help.baidu.com/question?prod_id=99&class=470&id=3009
    如何撰写页面就完全没内容了。
    opengps
        3
    opengps  
       138 天前
    主动去百度站长收录平台提交下就行
    SkywalkerJi
        4
    SkywalkerJi  
       138 天前   ❤️ 2
    发一些政治内容。
    lovezww2011
        5
    lovezww2011  
       138 天前
    可以根据 url 做判断,如果是来自百度的流量,直接 301 跳转到其它网站
    lifei6671
        6
    lifei6671  
       138 天前
    发一些涉政和某功文章。😂
    vueli
        7
    vueli  
       138 天前
    #6 楼说的对
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   1083 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 26ms · UTC 19:21 · PVG 03:21 · LAX 12:21 · JFK 15:21
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.