为啥搜狗的蜘蛛那么变态?

2017-12-16 13:53:37 +08:00
 acoldfox
我发现搜狗的蜘蛛访问犹如 ddos,百度蜘蛛访问会自动识别你的带宽上限,自动调整速率,搜狗则不会,而且还经常换着各种 ua 来访问(不带 sogou 标识)。加大带宽也没用,搜狗蜘蛛潮涌般过来一会又占满了。而网站又需要借助 seo,这种情况真是敢怒不敢言呀。还是希望百度努力点,别让搜狗给占太多份额


Mozilla/5.0 (Linux; U; Android 4.1.1; zh-CN; GT-N7100 Build/JRO03C) AppleWebKit/534.31 (KHTML, like Gecko) UCBrowser/9.3.0.321 U3/0.8.0 Mobile Safari/534.31

123.126.113.164
106.120.173.145
4937 次点击
所在节点    服务器
4 条回复
porwyn
2017-12-16 14:36:20 +08:00
一年了,百度 360 的权重都 1 了,搜狗还没收录
liuminghao233
2017-12-16 16:16:51 +08:00
把 ip ban 掉就好了
yezhiye
2018-02-13 18:36:14 +08:00
ip 反查什么都没有,确定是搜狗的爬虫么
acoldfox
2018-02-13 19:58:39 +08:00
@yezhiye

$ nslookup 123.126.113.164
Server: 192.168.1.1
Address: 192.168.1.1#53

Non-authoritative answer:
164.113.126.123.in-addr.arpa name = sogouspider-123-126-113-164.crawl.sogou.com.

Authoritative answers can be found from:

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/415266

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX