爬虫代理 ip 池开源项目

2017 年 11 月 7 日
 az999

github 地址: https://github.com/javagaorui5944/ProxyIpPool 码云地址: https://gitee.com/javagaorui5944/ProxyIpPool 大佬轻拍。 欢迎提 pr,欢迎进群(200255678),一起研究代码的优化,多线程爬取,维护,多维度获取代理 IP.

4134 次点击
所在节点    分享发现
9 条回复
Soar360
2017 年 11 月 8 日
这种东西,也许就只能拿来练手了……

https://proxy.coderbusy.com/zh-cn/classical/distribution.aspx
asuraa
2017 年 11 月 8 日
这不还是爬取别人的网站么。。。能自己扫描么?提高扫描速度
az999
2017 年 11 月 8 日
@Soar360 有没有兴趣加群一起探讨下?
az999
2017 年 11 月 8 日
@luodaoyi 多维度获取代理 IP.暂时只有爬取
lieh222
2017 年 11 月 8 日
有转发代理的功能吗
aragakiiyui
2017 年 11 月 8 日
免费 ip 不好用啊,我之前测过,ip 换的足够快,平均 1 秒才成功 1~2 个请求。
az999
2017 年 11 月 8 日
@aragakiiyui 嗯,我这边就是再次筛选一次,至少我认为稳定的再会存到 redis 里使用
az999
2017 年 11 月 8 日
@lieh222 目前没有
az999
2017 年 11 月 17 日
0.0

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/404455

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX