屏蔽 360 蜘蛛的方法

2015-05-09 11:41:16 +08:00
 Hello1995
虽然有人希望网站被更多的搜索引擎收录,但世上也是存在那种不希望被某些搜索引擎收录的人,比如我。
  我前几天才发现 360 蜘蛛几乎时时刻刻都在我的小博客上爬,但我不喜欢它(小博客就是任性),所以要想要屏蔽它。参考网上的方法,再自己思考,写了这么一篇小小的博文,但是不知道其中有没有什么错误或者需要修改的地方,希望各位 V 友帮忙指正。

- 方法一:robots.txt (可能有些蜘蛛不遵守)
- 方法二:屏蔽 IP。
- 方法三:屏蔽 UA。

地址: https://www.hello1995.com/archives/forbidden_360spider.html
2960 次点击
所在节点    Apache
1 条回复
Hello1995
2015-05-11 10:46:31 +08:00
方法三可能还是存在一点问题,我发现最近的 log 中还是出现了 2 次的 360 蜘蛛,虽然比起之前时时刻刻爬来说已经少了很多了,但不知道为什么屏蔽 UA 了还会有一两次 360 蜘蛛。

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/189691

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX