谷歌爬虫现在不遵守 robots 标准了吗？

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

› Google Play

› Google Fi

› Google Developers Channel

› Google 全球透明度报告

› 9to5Google

这是一个创建于 1274 天前的主题，其中的信息可能已经有所发展或是发生改变。

“是否允许搜索引擎索引我的主题”一直设置的“不允许”。V 站在相关主题帖页面中也放入了`<meta name="robots" content="noindex, nofollow">`，但是谷歌搜索仍然能搜到相关贴（不是其他垃圾爬虫站的镜像贴，就是 V 站的主贴

设置了“不允许”的其它 V 友，也可以试试自己的帖，应该都能搜到。

不懂就问：是谷歌爬虫不遵守相关标准了？还是什么情况？

robots

谷歌

允许

爬虫站

2 条回复 • 2020-10-23 18:30:33 +08:00

tankren

2020-10-23 14:20:41 +08:00

https://www.google.com.hk/search?newwindow=1&sxsrf=ALeKk0074YqA7ek2QLt7ypcIIxxbJ9gZVQ%3A1603434029632&source=hp&ei=LXaSX5meJM77wQPV-q7AAQ&q=%E8%B0%B7%E6%AD%8C%E7%88%AC%E8%99%AB%E7%8E%B0%E5%9C%A8%E4%B8%8D%E9%81%B5%E5%AE%88+robots+%E6%A0%87%E5%87%86%E4%BA%86%E5%90%97%EF%BC%9F&oq=%E8%B0%B7%E6%AD%8C%E7%88%AC%E8%99%AB%E7%8E%B0%E5%9C%A8%E4%B8%8D%E9%81%B5%E5%AE%88+robots+%E6%A0%87%E5%87%86%E4%BA%86%E5%90%97%EF%BC%9F&gs_lcp=CgZwc3ktYWIQDFAAWABgsRloAHAAeACAAQCIAQCSAQCYAQCgAQKqAQdnd3Mtd2l6&sclient=psy-ab&ved=0ahUKEwjZ6ISeicrsAhXOfXAKHVW9CxgQ4dUDCAs

axo

2020-10-23 18:30:33 +08:00

而且本页面明明有标签……
https://i.loli.net/2020/10/23/eAE1M7THFCgw3fr.png