V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
cwjokaka
V2EX  ›  程序员

py 写了个 IP 代理池, 求⭐

  •  1
     
  •   cwjokaka ·
    cwjokaka · 2019-09-27 14:03:42 +08:00 · 4900 次点击
    这是一个创建于 1645 天前的主题,其中的信息可能已经有所发展或是发生改变。

    代理池一找一大堆,造这个轮子是因为学了异步想实践一下,捞一波⭐。

    目前在开发中,打算加个高匿性检测🙃

    https://github.com/cwjokaka/ok_ip_proxy_pool

    欢迎提建议

    24 条回复    2019-10-02 13:10:14 +08:00
    cwjokaka
        1
    cwjokaka  
    OP
       2019-09-27 14:28:18 +08:00
    自顶↑
    cwjokaka
        2
    cwjokaka  
    OP
       2019-09-27 15:09:52 +08:00
    不要只收藏啊😅
    jziwenchen
        3
    jziwenchen  
       2019-09-27 15:23:51 +08:00
    支持 !
    Northxw
        4
    Northxw  
       2019-09-27 15:35:46 +08:00
    建议:'test_url': 'http://www.baidu.com' 这个链接改成可配的最好,搞百度么得意思~
    HuberyPang
        5
    HuberyPang  
       2019-09-27 15:43:34 +08:00
    不错不错 验证 ip 代理类型可以看下用这个 https://github.com/pangxiaobin/proxy_ip_pool/blob/master/ProxyIPPool/utils/validator.py 这个也是参考 githup 上的一个项目 感觉不错
    cwjokaka
        6
    cwjokaka  
    OP
       2019-09-27 15:48:30 +08:00
    @jziwenchen 感谢🎉
    @Northxw 这个链接是可配的,实际上是用来通过代理来获取数据,理论上可以用任何 url 代替
    @HuberyPang 感谢分享
    cwjokaka
        7
    cwjokaka  
    OP
       2019-09-27 16:35:33 +08:00
    UP
    fengshils
        8
    fengshils  
       2019-09-27 16:44:42 +08:00
    给你支持一下
    tulongtou
        9
    tulongtou  
       2019-09-27 16:45:22 +08:00
    学一下 rust 的异步,拿 rust 写吧
    mxy940127
        10
    mxy940127  
       2019-09-27 16:46:35 +08:00
    这些免费代理 真的有用么..
    cwjokaka
        11
    cwjokaka  
    OP
       2019-09-27 17:08:23 +08:00
    @fengshils thx

    @tulongtou 有时间再学~

    @mxy940127 大部分都用不了,通过验证这步可以筛选掉无效的
    vtwoextb
        12
    vtwoextb  
       2019-09-27 17:37:44 +08:00
    cwjokaka
        13
    cwjokaka  
    OP
       2019-09-27 18:08:43 +08:00
    UP
    sadfQED2
        14
    sadfQED2  
       2019-09-27 18:31:30 +08:00
    @cwjokaka #11 筛选没有任何意义,因为你筛选的时候能用,等一会就不能用了,还有一些是偶尔有用偶尔没用
    cwjokaka
        15
    cwjokaka  
    OP
       2019-09-27 18:55:55 +08:00 via Android
    @sadfQED2 我弄了一个简易评分的规则,每隔一段时间验证代理,通过验证的加分,不通过的减分,0 分的代理标为不可用。虽然不能百分百杜绝代理不可用的情况,但至少可以提高请求的成功率。^O^
    jiager
        16
    jiager  
       2019-09-27 19:12:24 +08:00 via Android
    没想到你一直在做呀,之前找代理 IP 池的时候看见过你的,那时候好像你刚开始写,最后还是选的 github 上那个 7.8kstar 的,过两天试试你这个
    jasonqiao36
        17
    jasonqiao36  
       2019-09-27 19:20:21 +08:00   ❤️ 1
    偶尔会出现 sqlite 被锁了
    cwjokaka
        18
    cwjokaka  
    OP
       2019-09-27 19:27:54 +08:00
    @jasonqiao36 是的😂,我查过 sqlite 是锁文件的,如果更新频率过快会有这种情况。
    有没有大佬可以提出解决 /缓解方案
    cwjokaka
        19
    cwjokaka  
    OP
       2019-09-27 19:29:20 +08:00
    @jiager 还好你选了别的,当时应该留了有十多个 bug
    jasonqiao36
        20
    jasonqiao36  
       2019-09-27 21:55:58 +08:00
    @cwjokaka #18 存储到 redis ?
    psychologe
        21
    psychologe  
       2019-09-28 00:10:36 +08:00
    支持一下,以后有可能需要用到。
    cwjokaka
        22
    cwjokaka  
    OP
       2019-09-28 09:11:26 +08:00
    @jasonqiao36 后续扩充这种方式
    yangva
        23
    yangva  
       2019-09-28 23:37:15 +08:00 via Android
    借楼自推一波,还望楼主不要介意[嘻嘻]。同样用 python 写的 ip 代理池,有 gevent 协程、线程池、线程池+异步一共三种运行方式,相关配置文件里有说明。
    https://github.com/Eeyhan/IPproxy
    uxff
        24
    uxff  
       2019-10-02 13:10:14 +08:00
    有些能用有些不能用
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   我们的愿景   ·   实用小工具   ·   5409 人在线   最高记录 6543   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 45ms · UTC 08:59 · PVG 16:59 · LAX 01:59 · JFK 04:59
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.