tsohgdivil
V2EX  ›  问与答

如何彻底禁止百度收录一个网站?

  •  1
     
  •   tsohgdivil · Jan 4, 2024 · 2269 views
    This topic created in 896 days ago, the information mentioned may be changed or developed.

    设置了 robots.txt

    User-agent: Baiduspider
    Disallow: /
    User-agent: baiduspider
    Disallow: /
    User-agent: *
    Disallow: /
    

    没用,照样收录。Nginx 中禁止了搜索引擎的 User-Agent:

      if ($http_user_agent ~* "qihoobot|Baiduspider|Googlebot|Googlebot-Mobile|Googlebot-Image|Mediapartners-Google|Adsbot-Google|Feedfetcher-Google|Yahoo! Slurp|Yahoo! Slurp China|YoudaoBot|Sosospider|Sogou spider|Sogou web spider|MSNBot|ia_archiver|Tomato Bot")
     {
        return 404;
     }
    

    两周过去了,没用,还是收录,此时所有其他搜索引擎都停止了收录。

    甚至直接举报了网站,一直显示处理中,没有结果。

    为什么百度像狗皮膏药一样恶心?到底怎么才能禁止百度收录网站?

    7 replies    2024-01-04 11:53:52 +08:00
    Yourshell
        1
    Yourshell  
       Jan 4, 2024
    黑名单不行就白名单
    lingeo
        2
    lingeo  
       Jan 4, 2024
    https://help.baidu.com/question?prod_id=99&class=470&id=3009
    如何撰写页面就完全没内容了。
    opengps
        3
    opengps  
       Jan 4, 2024
    主动去百度站长收录平台提交下就行
    SkywalkerJi
        4
    SkywalkerJi  
       Jan 4, 2024   ❤️ 2
    发一些政治内容。
    lovezww2011
        5
    lovezww2011  
       Jan 4, 2024
    可以根据 url 做判断,如果是来自百度的流量,直接 301 跳转到其它网站
    lifei6671
        6
    lifei6671  
       Jan 4, 2024
    发一些涉政和某功文章。😂
    vueli
        7
    vueli  
       Jan 4, 2024
    #6 楼说的对
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Solana   ·   4034 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 55ms · UTC 05:26 · PVG 13:26 · LAX 22:26 · JFK 01:26
    ♥ Do have faith in what you're doing.