爬虫代理 IP 添加后,怎么样才能定时更换 IP?

2020-06-12 14:47:26 +08:00
 xueyoucai

有获取 IP 的 API,因为代理商的限制条件每个 IP 只存在 5 分钟-20 分钟不等。

之前有尝试添加 threadiing 模块下的 timer 模块,但是好像不是很理想。所以想请教一下各位。

如何做到在主函数不停止运行的情况下,每 5 分钟更换一个 IP,然后爬虫继续运行

3980 次点击
所在节点    Python
34 条回复
batyu
2020-06-12 16:23:21 +08:00
看了评论才明白隧道代理是干嘛用的!
xueyoucai
2020-06-12 16:26:42 +08:00
@kiracyan 不行,没法获取时间
xueyoucai
2020-06-12 16:27:23 +08:00
@Cosimsolo 嗯哼 我试试
lawler
2020-06-12 17:33:16 +08:00
超时重试,第二次失败,切换 IP 。
gxlonline
2020-06-12 19:59:21 +08:00
可以试下 酷鱼代理 私密代理 隧道代理
biu7
2020-06-12 20:39:23 +08:00
9 元 1000 听上去像是讯代理。。。
wangyzj
2020-06-12 20:41:46 +08:00
之前我是淘宝买可以带换 ip 软件的 vps,各种换
toomlo
2020-06-13 12:39:57 +08:00
问题是 如果把 Ip 取出来就开始计时了,到点就过期了
-----------
第一次用 ip 的时候才去代理商那里取,然后在存到代理池里面啊
不一定非得先取了 ip 在用啊
xueyoucai
2020-06-13 14:46:23 +08:00
@toomlo 你指的是一次全拿出来吗。但是 IP 提供商说了,是取出来以后就开始计时了。
airdge
2020-06-14 07:59:01 +08:00
ip 设置有效期啊,数据过期就重新获取
写入缓存或者文本
xiaozizayang
2020-06-14 10:42:35 +08:00
利用买的代理来源做个代理池就行,爬虫服务从代理池那代理进行请求
另一个保证代理池服务都是可用的就行
dorothyREN
2020-06-14 13:00:50 +08:00
存到 redis 里面 设置个超时时间,这样只要 redis 里面有,那就是有效的
g079708
2020-06-29 23:15:52 +08:00
可以试一下快鸟代理,他们的短效代理 IP 有 1 分钟到 24 小时的时长任你选择,提取不收费,按使用收费。
gxlonline
2020-07-09 10:17:57 +08:00
可以用隧道代理,省去更换代理的步骤,云端自动切换 IP 。
酷鱼代理 https://kuyukuyu.com 隧道代理

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/680985

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX