如何才能写一个简单的代理抓取器？ - V2EX

首页注册登录

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

已注册用户请登录

V2EX 提问指南

这是一个创建于 3110 天前的主题，其中的信息可能已经有所发展或是发生改变。

想学习用 Python 写一个简单的代理抓取器

抓取几个页面的代理

测试延迟高于 xxx 的抛弃

然后导出 TXT

2 条回复 • 2015-11-03 14:07:08 +08:00

1

wkdhf233

2015-11-03 13:52:14 +08:00

读 html ，正则匹配出代理信息，然后遍历 ping 一遍
ping 可以搞个线程池高并发

不过感觉网页上抓的代理，测延迟不如测连通性

2

ETiV

2015-11-03 14:07:08 +08:00

https://github.com/wenson/proxypool

早前 star 过的一个项目..不过我不会 python, 只是拿了他里面的页面地址而已..

关于 · 帮助文档 · 博客 · API · FAQ · 我们的愿景 · 实用小工具 · 2999 人在线 最高记录 6543 ·

Select Language

创意工作者们的社区

World is powered by solitude

VERSION: 3.9.8.5 · 25ms · UTC 15:15 · PVG 23:15 · LAX 08:15 · JFK 11:15
Developed with CodeLauncher
♥ Do have faith in what you're doing.