首页   注册   登录
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
爱意满满的作品展示区。
V2EX  ›  分享创造

Python 获取最新代理的模块

  •  
  •   MyFaith · 2016-07-25 21:00:20 +08:00 · 2276 次点击
    这是一个创建于 908 天前的主题,其中的信息可能已经有所发展或是发生改变。

    配合 requests 使用效果更佳:D

    安装

    pip install proxies
    

    OR:

    git clone https://github.com/MyFaith/proxies
    python setup.py install
    

    使用

    import random, requests
    from Proxies import Proxies
    
    p = Proxies()
    p.get_proxies(20, 1)
    # quantity: 数量
    # type: 类型 (1.国内高匿代理 2.国内普通代理 3.国外高匿代 4.国外普通代理)
    result = p.get_result()
    proxy = random.choice(result)
    requests.get('x.com', proxies=proxy)
    

    https://pypi.python.org/pypi/proxies

    https://github.com/MyFaith/proxies

    11 回复  |  直到 2016-07-30 16:39:54 +08:00
        1
    chroming   2016-07-25 22:15:43 +08:00
    感谢分享
        2
    GreatMartial   2016-07-25 23:52:34 +08:00
    这个好! 谢谢分享,收藏了
        3
    Asimov   2016-07-25 23:54:16 +08:00 via Android
    什么原理?好东西别被滥用了
        4
    8023   2016-07-26 00:24:12 +08:00 via Android
    @Asimov
    瞄了一眼代码, 应该是只 Python 爬虫, 爬快代理上面的免费数据, 滥用是肯定的, 但还是要感谢 up 主. 已 star.
        5
    killerv   2016-07-26 14:35:25 +08:00
    快代理上面的貌似可用性很低,收费版的也是一样
        6
    hl   2016-07-27 17:23:54 +08:00   ♥ 1
    @killerv 一般都哪些代理可用性可以的?最近也想做一个爬虫维护一个长期的代理数据库
        7
    killerv   2016-07-27 17:39:24 +08:00   ♥ 1
    @hl http://www.xicidaili.com/ 这个好像还不错,一些免费的代理也可以用,多的我也不清楚了,以前写爬虫的时候买的收费的。
        8
    SuperFashi   2016-07-27 19:44:23 +08:00 via Android
    感觉楼主完全把 proxies 这个 package name 浪费了啊。

    只有 http 代理且只有快代理一个源,这未免从可用性上来说太低了吧。

    至少也得多来点例如 http(s), socks4/5 各类的代理+各种来源。

    使用 gevent 协程和把 url 写死都是败笔,莫非是只想更新这一版吗?
        9
    MyFaith   2016-07-27 20:10:02 +08:00
    @SuperFashi 那天晚上突然的想法,用 10 分钟写出来的,后续会完善的。
        10
    Nanguage   2016-07-29 12:30:06 +08:00 via iPhone
    先赞一个,刚才看了一下快代理那个网站,我觉得可以添加根据相应速度筛选的功能
        11
    fengjianxinghun   2016-07-30 16:39:54 +08:00 via iPhone
    这个,只依赖一个源?
    关于   ·   FAQ   ·   API   ·   我们的愿景   ·   广告投放   ·   感谢   ·   实用小工具   ·   1645 人在线   最高记录 4236   ·  
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.3 · 17ms · UTC 16:40 · PVG 00:40 · LAX 08:40 · JFK 11:40
    ♥ Do have faith in what you're doing.
    沪ICP备16043287号-1