挂代理也被要求验证?

2019-04-07 16:14:50 +08:00
 Northxw
买了几个大洋的付费代理,爬取 58 同城,但还是有一半的 IP 被要求验证,难道说是我大洋给少了??? 然后我又添加了 UA 中间件,效果稍微好一点。但还是会有很多动态 IP 被 ban 掉,想问大家有什么解决办法没。
3276 次点击
所在节点    程序员
20 条回复
cpdyj0
2019-04-07 16:21:40 +08:00
代理的 IP 被 ban 掉很正常咯,可以考虑中转 emmm
Northxw
2019-04-07 16:23:34 +08:00
@cpdyj0 emmm... 代理 IP 不就是中转请求的吗,为什么还要中转! 怎么中转.... 求解释。
claysec
2019-04-07 16:29:20 +08:00
@Northxw 现在爬虫的话最好的话用分布式+动态 ip+随机 UA +随机时间请求的方式。最大化减少被 ban 的可能。
andylsr
2019-04-07 16:34:05 +08:00
adsl
Northxw
2019-04-07 16:36:35 +08:00
@claysec 随机时间你一般控制在哪个区间,可不要放弃效率啊。


@andylsr 噗,贵的 ya 皮。
andylsr
2019-04-07 16:41:29 +08:00
@Northxw 代理不靠谱~钱也是白花~不如 adsl 按周付费~也没那么贵
e2c
2019-04-07 16:45:22 +08:00
现在不是能判断 IP 是否为 IDC 机房的 IP,这样就能大概知道是真人还是机房代理,所以被 BAN 的机率就上去了
Northxw
2019-04-07 16:52:32 +08:00
@andylsr 我先前看最低好像时按月付费 emmm... 可以了解一下

@e2c 嗯哼?这个我还不知道哎
claysec
2019-04-07 16:53:00 +08:00
@Northxw 1-3s 3-5s 这两个区间。效率可以用时间弥补。不能快而求其次啊。除非你抓的东西真的一点都不重要,哈哈哈哈(滑稽)
claysec
2019-04-07 16:56:04 +08:00
@Northxw #7 也是参考依据之一
ji4ozhu
2019-04-07 17:56:43 +08:00
www.54nb.com 参考下
andylsr
2019-04-07 18:13:30 +08:00
@Northxw 善用淘宝。。。
Northxw
2019-04-07 18:52:56 +08:00
@andylsr 搜嘎
Northxw
2019-04-07 18:53:09 +08:00
@ji4ozhu 可以的
shuiyingwuhen
2019-04-08 10:00:10 +08:00
代理的 IP 被 ban 掉很正常咯
Northxw
2019-04-08 10:57:23 +08:00
@shuiyingwuhen 看来还是要搞 ADSL,真机般的存活,美滋滋。哈哈
shuiyingwuhen
2019-04-09 07:37:27 +08:00
@Northxw 我还真用的是 ADSL
Northxw
2019-04-09 07:42:55 +08:00
@shuiyingwuhen 贵吗?求推荐。
shuiyingwuhen
2019-04-09 21:36:47 +08:00
@Northxw 中国联通 720 元 /2 年
坐标:成都
Northxw
2019-04-09 21:46:57 +08:00
@shuiyingwuhen 很便宜,很实惠

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/552699

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX