respect11
V2EX  ›  问与答

爬虫遇到 IP 的问题,住宅 IP 可以爬取到想要的结果,但是代理或服务器 IP 就会被 302 如何解决?

  •  
  •   respect11 · Dec 5, 2020 · 1515 views
    This topic created in 2074 days ago, the information mentioned may be changed or developed.

    代码确定没问题

    在自己电脑上可以爬取到指定内容,但是在服务器上运行就会被 302.

    找了多家的代理 IP 都会被拦截,有什么好的解决办法吗?

    有想过让自己的电脑当代理服务器...但是没有一个好的实现思路

    6 replies    2020-12-05 23:15:12 +08:00
    rateltalk
        1
    rateltalk  
       Dec 5, 2020 via iPhone
    直接服务器 curl 试试,可能是 cookie 或者其他参数
    respect11
        2
    respect11  
    OP
       Dec 5, 2020
    @s609926202 #1 服务器直接 curl 会被 302,然后在本地电脑 curl 没问题。。
    JCZ2MkKb5S8ZX9pq
        3
    JCZ2MkKb5S8ZX9pq  
       Dec 5, 2020   ❤️ 1
    猜猜
    对方有云防护,ip 池全中。
    代理服务器转发加了东西。

    另外自家电脑当代理,为啥不直接用自家电脑爬算了。
    JCZ2MkKb5S8ZX9pq
        4
    JCZ2MkKb5S8ZX9pq  
       Dec 5, 2020   ❤️ 1
    另外如果对方防护等级高的话,你直接看看用家里电脑高频请求试试,没准自家 ip 也很快废了。也就不用折腾这条路了。
    opengps
        5
    opengps  
       Dec 5, 2020   ❤️ 2
    回复这个帖子先确定你只是为了自己研究使用为前提,免得造成教人面向监狱编程的事实。

    对方服务器既然做了各大机房、甚至各种代理 ip 的封禁,那么说明对于反爬虫的目的极其强烈,建议慎重,甚至放弃。

    如果个人确实有需要,那么可以用笔记本下的 4G 网络热点,不断重启热点网络连接方式来变更下当前出口 ip
    respect11
        6
    respect11  
    OP
       Dec 5, 2020
    @opengps #5
    @JCZ2MkKb5S8ZX9pq #4 感谢回复。研究所用,如果开放。会导致自己的付费账户被封禁,所以不会开放使用,均为自用。(新手爬虫,练手)

    目前有其他开放的类似平台是可以获取到的😭
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Solana   ·   5083 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 33ms · UTC 09:28 · PVG 17:28 · LAX 02:28 · JFK 05:28
    ♥ Do have faith in what you're doing.