爬虫遇到 IP 的问题,住宅 IP 可以爬取到想要的结果,但是代理或服务器 IP 就会被 302 如何解决?

2020-12-05 20:35:42 +08:00
 respect11

代码确定没问题

在自己电脑上可以爬取到指定内容,但是在服务器上运行就会被 302.

找了多家的代理 IP 都会被拦截,有什么好的解决办法吗?

有想过让自己的电脑当代理服务器...但是没有一个好的实现思路

1016 次点击
所在节点    问与答
6 条回复
s609926202
2020-12-05 20:59:22 +08:00
直接服务器 curl 试试,可能是 cookie 或者其他参数
respect11
2020-12-05 22:31:27 +08:00
@s609926202 #1 服务器直接 curl 会被 302,然后在本地电脑 curl 没问题。。
JCZ2MkKb5S8ZX9pq
2020-12-05 22:53:00 +08:00
猜猜
对方有云防护,ip 池全中。
代理服务器转发加了东西。

另外自家电脑当代理,为啥不直接用自家电脑爬算了。
JCZ2MkKb5S8ZX9pq
2020-12-05 22:54:41 +08:00
另外如果对方防护等级高的话,你直接看看用家里电脑高频请求试试,没准自家 ip 也很快废了。也就不用折腾这条路了。
opengps
2020-12-05 23:09:08 +08:00
回复这个帖子先确定你只是为了自己研究使用为前提,免得造成教人面向监狱编程的事实。

对方服务器既然做了各大机房、甚至各种代理 ip 的封禁,那么说明对于反爬虫的目的极其强烈,建议慎重,甚至放弃。

如果个人确实有需要,那么可以用笔记本下的 4G 网络热点,不断重启热点网络连接方式来变更下当前出口 ip
respect11
2020-12-05 23:15:12 +08:00
@opengps #5
@JCZ2MkKb5S8ZX9pq #4 感谢回复。研究所用,如果开放。会导致自己的付费账户被封禁,所以不会开放使用,均为自用。(新手爬虫,练手)

目前有其他开放的类似平台是可以获取到的😭

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/732512

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX