pproxies
代理之代理。
https://github.com/xlaurent/pproxies
之前写豆瓣爬虫时,需要用到代理,就用 Go 写了这么个东西,帮助管理代理池,有兴趣的可以看看。但目前有个问题,并发过高的话,会导致连接不能及时关闭,性能下降,以后可能会修复。
这是什么?
这是一个 HTTP 代理,支持 CONNECT 方法。可以帮助管理代理池,自动更换出口代理 IP 。
与其他 HTTP 代理,它有何不同之处?
pproxies 还有一个上游代理。上游代理从 pproxies 所维护的代理池中获取。一旦目前的上游代理不可用,便会自动切换上游代理,从而与目的网站保持连接畅通。
一般 HTTP 代理: HTTP 请求 -> 代理所在主机 -> 目的主机
pproxies : HTTP 请求 -> 代理所在主机 -> 上游代理主机 -> 目的主机
代理池中的代理是从哪里来的?
- 使用者提供能获取代理 IP 的 API 。
- 使用内置的代理 IP (从某网站获取的免费代理)。
当代理池为空时,会自动调用 API 获取新的代理。