python 多线程每隔 2 分钟就重新进行代理验证,但时间一长程序就没有反应也不报错,一般什么原因会引起这种情况

2015-06-04 12:44:41 +08:00
 gogo123
正在做一套爬虫,需要有效代理防止被封。

方法是同时运行两个程序,一个爬虫程序、一个代理验证。代理验证是每隔2分钟就获取最新的代理列表依次验证ip有效性,有效的ip存入指定文件中,爬虫在读取这个文件的ip去抓数据。

目前问题是代理验证也就运行3、4轮就没了反应,也不提示报错什么的,google下貌似是什么多线程队列还是IO阻塞啥的,没看明白。。
3362 次点击
所在节点    Python
2 条回复
aisk
2015-06-04 12:52:53 +08:00
记得设置超时。
est
2015-06-04 14:35:05 +08:00
提出这样的问题,期待的答案是基本靠猜么。。。

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/196035

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX