scrapy 项目中怎么获取代理 IP 呢

2020-06-17 17:51:35 +08:00
 aladdindingding

大佬们好，是这样的，目前的代码中有一个固定的列表 ip 池作为代理 ip,每隔一段时间需要手动去更换，我想要实现一个动态去获取批量 ip,获取的地址已经有了 API 的接口，想要在 scrapy 项目代码中增加这个功能，不用数据库这样的怎么操作呢

1643 次点击
所在节点    Python
6 条回复
scukmh
2020-06-17 18:00:43 +08:00
https://github.com/SpiderClub/haipproxy 不如用这个。
Latin
2020-06-17 18:08:18 +08:00
自己写中间件鸭
jiaxin1121
2020-06-17 18:12:58 +08:00
公开代理池基本没法用。
renmu123
2020-06-17 18:25:09 +08:00
github 找个维护 ip 池的库，应该有挺多的
aladdindingding
2020-06-17 18:28:53 +08:00
@renmu123 买了 api 链接的 可以提取 IP 的 就是不知道怎么在 scrapy 开启一个线程去维护一个实时可用的 IP 池
1018ji
2020-06-18 09:20:35 +08:00
ip 隧道吧
简单

这是一个专为移动设备优化的页面（即为了让你能够在 Google 搜索结果里秒开这个页面），如果你希望参与 V2EX 社区的讨论，你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/682427

V2EX 是创意工作者们的社区，是一个分享自己正在做的有趣事物、交流想法，可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX