爱意满满的作品展示区。
laurent

写了一个可自动切换上游代理的 HTTP 代理服务器

  •  
  •   laurent · Sep 8, 2016 · 4015 views
    This topic created in 3717 days ago, the information mentioned may be changed or developed.

    pproxies

    代理之代理。

    https://github.com/xlaurent/pproxies

    之前写豆瓣爬虫时,需要用到代理,就用 Go 写了这么个东西,帮助管理代理池,有兴趣的可以看看。但目前有个问题,并发过高的话,会导致连接不能及时关闭,性能下降,以后可能会修复。

    这是什么?

    这是一个 HTTP 代理,支持 CONNECT 方法。可以帮助管理代理池,自动更换出口代理 IP 。

    与其他 HTTP 代理,它有何不同之处?

    pproxies 还有一个上游代理。上游代理从 pproxies 所维护的代理池中获取。一旦目前的上游代理不可用,便会自动切换上游代理,从而与目的网站保持连接畅通。

    一般 HTTP 代理: HTTP 请求 -> 代理所在主机 -> 目的主机

    pproxies : HTTP 请求 -> 代理所在主机 -> 上游代理主机 -> 目的主机

    代理池中的代理是从哪里来的?

    1. 使用者提供能获取代理 IP 的 API 。
    2. 使用内置的代理 IP (从某网站获取的免费代理)。

    当代理池为空时,会自动调用 API 获取新的代理。

    1 replies  •  2016-09-08 22:23:29 +08:00
    bearqq
    bearqq
    Sep 8, 2016 via Android
    1
    赞一个,本来打算用 python 写一个的,没遇到需求一直没动工
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Privacy   ·   Solana   ·   4971 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 29ms · UTC 02:18 · PVG 10:18 · LAX 18:18 · JFK 21:18
    ♥ Do have faith in what you're doing.