搜狗疯起来,真的让人感到害怕。

2017 年 9 月 4 日
 woshinide300yuan

搜狗蜘蛛堪比 DDOS 式的抓取,让人感觉到绝望,好好的一个小主机,被搜狗一顿戏虐。各种渠道的反馈基本没什么效果,只能来 V2 发个帖,供大家娱乐一下了。

单个 IP 请求数高了还能限制限制,最可怕的就是一群 IP 同时访问,哈哈哈~ 来点纸巾,我想擦擦眼泪。

4608 次点击
所在节点    问与答
20 条回复
woshinide300yuan
2017 年 9 月 4 日
topbandit
2017 年 9 月 4 日
涉 H ?
woshinide300yuan
2017 年 9 月 4 日
@topbandit 不不不不 纯洁小博客!!真的!!
topbandit
2017 年 9 月 4 日
系统防火墙封网段即可
woshinide300yuan
2017 年 9 月 4 日
@topbandit 准备着手封 UA 了。有搜索量也不要了,这种婉约派的 DDOS,让人迷醉。
topbandit
2017 年 9 月 4 日
nginx、appache 配置个反爬虫即可
Finest
2017 年 9 月 4 日
woshinide300yuan
2017 年 9 月 4 日
@topbandit 我去百度学习一下。
@hand515 谢谢你的这篇文章。
Finest
2017 年 9 月 4 日
@woshinide300yuan #8 文章不是我的,我也只是个搬运工
misaka19000
2017 年 9 月 4 日
为啥不用 robots.txt
wentian
2017 年 9 月 4 日
@misaka19000

robots 只能防君子


然我国国情是,,,
peesefoo
2017 年 9 月 4 日
多少年前就已经是这样了,反馈是没用的的。目前已经在域名解析那里把搜狗 bot 解析到他们自己的 ip 了,世界瞬间安静了。
woshinide300yuan
2017 年 9 月 4 日
@peesefoo 可以可以! 只是限制搜狗在移动端比较发力,硬生的切断,对于一个公开的网站来说是比较尴尬的。 好迷醉哦。
kmahyyg
2017 年 9 月 4 日
@peesefoo 这个怎么弄呢?
GG668v26Fd55CP5W
2017 年 9 月 4 日
这狗是疯了吧,不知道在 nginx 层根据 ua 直接返回 403 有没有效果
peesefoo
2017 年 9 月 4 日
@woshinide300yuan 看网站情况而定吧,我的网站一个月来自搜狗的流量不到 20 个,切断它的抓取对我的网站几乎没有影响。
woshinide300yuan
2017 年 9 月 4 日
@falcon05 有效果的。嘻嘻~
woshinide300yuan
2017 年 9 月 4 日
@peesefoo 哈哈 苍蝇腿也是肉嘛,富含蛋白质。
Loyalsoldier
2017 年 9 月 4 日
搜狗的蜘蛛比 Google 的频繁多了
woshinide300yuan
2017 年 9 月 4 日
@Loyalsoldier 嗯。谷歌起码还有点节操,每次蜘蛛的数量和间隔控制的都很好,不会造成压力。狗哥来就几十个一起来,秒抓并持续一段时间,想想都尴尬!

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/387970

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX