关于爬虫 IP 代理的疑问

2019-10-28 22:49:19 +08:00
 lysS
就是因为一般咋们花钱得到的代理 IP 很多也是代理提供商在全网扫描得到的，稳定性和可靠性都得不到保障。假如在某次爬取的过程中，目前使用的 ip 突然挂了，是不是这次爬取操作失败了，得重新再来过？？
1573 次点击
所在节点    问与答
8 条回复
locoz
2019-10-28 23:31:23 +08:00
不，正常的商业级代理 IP 都是家宽拨号弄的，只有某大象是爬的别人的。扫全网 IP 扫出来的代理服务器不管是稳定性还是速度还是 IP 质量，都不如拨号弄出来的 IP 好。
locoz
2019-10-28 23:32:15 +08:00
@locoz #1 “都不如拨号弄出来的 IP 好” -> “都不如拨号弄出来的代理服务器好”
lysS
2019-10-29 08:52:28 +08:00
@locoz 有推荐的吗？量不是很大，如果有量贩就最好的啦
VisionKi
2019-10-29 09:19:25 +08:00
我是把 IP 批量存入 redis 的 set 集合里，然后跑的过程，遇到不能用的就去掉这个 IP，再随机取一个 IP 重新爬一次这个页面。
locoz
2019-10-29 10:56:15 +08:00
@lysS #3 多贝云啊、芝麻代理啊都是可以的，IP 质量要求不高的话直接自己搭更便宜。
QdouHuiQwaiLai
2019-10-29 11:27:47 +08:00
收费的代理一般都是用服务器拨号的 不是扫描得到的
lysS
2019-10-29 16:31:23 +08:00
@locoz 谢谢
lysS
2019-10-29 16:33:22 +08:00
@QdouHuiQwaiLai 在几家花几块钱试了一下，可用率都很低，多半是扫的，不过这几家是比较小的，主要想要量贩的

这是一个专为移动设备优化的页面（即为了让你能够在 Google 搜索结果里秒开这个页面），如果你希望参与 V2EX 社区的讨论，你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/613818

V2EX 是创意工作者们的社区，是一个分享自己正在做的有趣事物、交流想法，可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX