V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX  ›  resolvewang  ›  全部回复第 4 页 / 共 7 页
回复总数  131
1  2  3  4  5  6  7  
2018-03-16 09:32:09 +08:00
回复了 resolvewang 创建的主题 分享创造 开源一款高可用的分布式代理 IP 池(附性能测试图)
https://github.com/SpiderClub/haipproxy/releases

这里下载

同时也要注意 IP 池有个预热的过程,大概在半小时到一小时之间,因为刚启动是不可能马上就有已校验的代理 IP 的
2018-03-16 09:30:29 +08:00
回复了 resolvewang 创建的主题 分享创造 开源一款高可用的分布式代理 IP 池(附性能测试图)
@Betsy #60 master 分支更新了一些代码,不向后兼容,目前文档由于精力原因还没更新,你可以下载 release 当中的 0.1 版本进行测试  2.你可以使用 redisdesktopmanager 来查看已抓取到的代理,肯定是没问题的
2018-03-14 15:25:26 +08:00
回复了 awolfly9 创建的主题 酷工作 今日头条六周年了~~~
实习能否内推呢?
附上 github 地址: https://github.com/ResolveWang
2018-03-13 13:38:30 +08:00
回复了 resolvewang 创建的主题 分享创造 开源一款高可用的分布式代理 IP 池(附性能测试图)
@jitongxi #55 感谢提醒。老外也有用的。。。当初开源的一个原因是感觉这种验证和筛选策略很有意思,所以就 public 了
2018-03-12 09:45:37 +08:00
回复了 resolvewang 创建的主题 分享创造 开源一款高可用的分布式代理 IP 池(附性能测试图)
@xiaodaoi #53 那快用用吧,期待宝贵的用户反馈
2018-03-10 17:15:49 +08:00
回复了 resolvewang 创建的主题 分享创造 开源一款高可用的分布式代理 IP 池(附性能测试图)
@gamecreating 感谢支持
2018-03-10 15:47:10 +08:00
回复了 resolvewang 创建的主题 分享创造 开源一款高可用的分布式代理 IP 池(附性能测试图)
@Soar360 #47 数据源墙内墙外都有很多,只不过需要体力和一些方法去搜集而已
2018-03-10 15:45:03 +08:00
回复了 resolvewang 创建的主题 分享创造 开源一款高可用的分布式代理 IP 池(附性能测试图)
@Soar360 #48 关系不大,就算 coderbusy 数据源全有问题,其它也够用了
2018-03-09 20:25:11 +08:00
回复了 resolvewang 创建的主题 分享创造 开源一款高可用的分布式代理 IP 池(附性能测试图)
@BadReese #45 客气。好用给个 star 或者宣传一下就好了
2018-03-09 19:24:16 +08:00
回复了 resolvewang 创建的主题 分享创造 开源一款高可用的分布式代理 IP 池(附性能测试图)
@BadReese #43 github 上已经回复了。还望耐心阅读开发者文档
2018-03-08 20:21:41 +08:00
回复了 resolvewang 创建的主题 分享创造 开源一款高可用的分布式代理 IP 池(附性能测试图)
@liuxu #41 好的,欢迎反馈意见
2018-03-08 19:57:56 +08:00
回复了 resolvewang 创建的主题 分享创造 开源一款高可用的分布式代理 IP 池(附性能测试图)
@liuxu #39 用了吗?效果咋样
2018-03-07 21:10:31 +08:00
回复了 resolvewang 创建的主题 分享创造 开源一款高可用的分布式代理 IP 池(附性能测试图)
@freedot #37 我们做技术的还是得用道德来约束自己
2018-03-07 14:34:48 +08:00
回复了 resolvewang 创建的主题 分享创造 开源一款高可用的分布式代理 IP 池(附性能测试图)
@tcpdump 通过客户端获取。具体来讲就是 py_cli.py 文件的 ProxyFetcher 类,它有个方法叫做 get_proxy(),这是输出当前的一个可用代理(由策略决定)。还有一个 get_proxies()方法,这个是输出代理列表,两者是有一些差别的。

另外,如果有兴趣和使用需求的话,还望花几分钟读一下  examples/zhihu  的使用示例和 docs 中的文档,因为 haipproxy 提供代理的思路和目前开源出来的项目用 web api 提供的代理列表的思路有一丢丢差别。

欢迎不懂再问哈
2018-03-07 13:33:15 +08:00
回复了 resolvewang 创建的主题 分享创造 开源一款高可用的分布式代理 IP 池(附性能测试图)
@CrazyMelody 感谢捧场
2018-03-07 09:42:05 +08:00
回复了 resolvewang 创建的主题 分享创造 开源一款高可用的分布式代理 IP 池(附性能测试图)
@WildCat 感谢反馈。由于系统组件本身就比较多,包括了代理 IP 抓取程序和校验器,抓取程序定时任务调度工具和校验器定时任务调度工具,这四个命令主要就是启动这四货的。可以在一个 shell 脚本中启动它们。可以参考 [run.sh]( https://github.com/SpiderClub/haipproxy/blob/master/run.sh)。更方便的模式我还没想出来,你要有好的意见可以提一下
2018-03-07 09:39:01 +08:00
回复了 resolvewang 创建的主题 分享创造 开源一款高可用的分布式代理 IP 池(附性能测试图)
@Cyron 哥们你真有才。不过这个名字应该是这么读,high available ip proxy,就是帖子上说的高可用代理。都是正经人,也得取个正儿八经的名字
2018-03-06 22:42:38 +08:00
回复了 resolvewang 创建的主题 分享创造 开源一款高可用的分布式代理 IP 池(附性能测试图)
哈哈哈,可以试试楼上的同学@ xuxueli 的爬虫框架和 haipproxy 搭配的使用效果
2018-03-06 22:41:53 +08:00
回复了 resolvewang 创建的主题 分享创造 开源一款高可用的分布式代理 IP 池(附性能测试图)
@chenqh #25 资历尚浅,以后有机会一定会试试
2018-03-06 22:03:51 +08:00
回复了 resolvewang 创建的主题 分享创造 开源一款高可用的分布式代理 IP 池(附性能测试图)
@exoticknight #23 感动,笔芯
1  2  3  4  5  6  7  
关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   我们的愿景   ·   实用小工具   ·   867 人在线   最高记录 6543   ·     Select Language
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.5 · 15ms · UTC 18:53 · PVG 02:53 · LAX 11:53 · JFK 14:53
Developed with CodeLauncher
♥ Do have faith in what you're doing.