关于爬虫的几个疑问

2016-10-17 08:52:22 +08:00
 klxq15
大家都知道如果爬虫爬取速度过快的话会被封 ip ，如果是移动宽带对外进行大量 NAT 的 ip 会不会封呢？如果爬取的时候命中了小运营商的缓存（比如长城宽带的内网缓存），是不是就不会被封 ip 了？
1752 次点击
所在节点    问与答
2 条回复
mhycy
2016-10-17 08:54:03 +08:00
1 、内网缓存一般外网无法命中
2 、就移动宽带对外 NAT 在网站看来就是一普通 IP ，你被封掉那么这个片区一堆人都会被封掉
3 、如果需要快速爬取请购买代理服务器
howeroc
2016-10-17 08:55:20 +08:00
用 tor 代理， stem 可以切换代理地址

这是一个专为移动设备优化的页面（即为了让你能够在 Google 搜索结果里秒开这个页面），如果你希望参与 V2EX 社区的讨论，你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/313227

V2EX 是创意工作者们的社区，是一个分享自己正在做的有趣事物、交流想法，可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX