• 请不要在回答技术问题时复制粘贴 AI 生成的内容
wswuai
V2EX  ›  程序员

做了一个动态代理 IP 池项目,邀请大家免费测试~

  •  
  •   wswuai · Jun 9, 2018 · 15036 views
    This topic created in 3071 days ago, the information mentioned may be changed or developed.

    长期在 V2EX 潜水,

    现在打算出来创业了,目前公司在深圳。

    做了点啥呢,

    就是给爬虫用的动态代理 IP 池啦。

    目前运行很稳定,

    邀请大家来免费测试,

    打我的电话 18129823435

    和我说你是 v2exer 就行 :)

    传送门 http://www.2808proxy.com

    Supplement 1  ·  Jun 9, 2018
    附送一个 关于 反反爬虫策略的文章, https://www.jianshu.com/p/b86920a3e872
    49 replies  •  2018-07-02 19:10:26 +08:00
    wswuai
    wswuai
    OP
    Jun 9, 2018
    1
    目前 支持 HTTP/Socks5 /PPTP /L2TP 接入,

    提供 HTTP API 提取

    额...想到哪儿再补充吧...
    a7a2
    a7a2
    Jun 9, 2018
    2
    你能提供的都是已经被识别的包含 ss
    还未被识别的是还未出现的’极力模拟 bt 协议的 vpn ‘,靠你们了,写吧!
    要从绝对底层实现,控制每一个包入 syn,具备 drop 掉 rst 包能力
    wswuai
    wswuai
    OP
    Jun 9, 2018 via iPhone
    3
    我这个项目是给爬虫系统使用的,不是用来翻 gfw 的 vpn ……
    xuxueli
    xuxueli
    Jun 9, 2018 via Android
    4
    赞,可以结合 xxl-crawler 一起使用。

    XXL-CRAWLER 是一个分布式爬虫框架。一行代码开发一个分布式爬虫,拥有"多线程、异步、IP 动态代理、分布式、JS 渲染"等特性;

    http://www.xuxueli.com/xxl-crawler/#/
    wswuai
    wswuai
    OP
    Jun 9, 2018
    5
    @xuxueli 你写的爬虫框架很棒, 我可以向你的 repo 提交我的 client 嘛?
    jamesfuxk
    jamesfuxk
    Jun 9, 2018
    6
    看了不错,支持支持
    wswuai
    wswuai
    OP
    Jun 9, 2018
    7
    @jamesfuxk 感谢支持!
    xuxueli
    xuxueli
    Jun 9, 2018 via Android
    8
    @wswuai 当然可以啊,后续会拆分出 core 依赖和 sample 示例(目前 sample 写在测试用例目录里的),你可以 pr 一个定制的 client 示例,这样接入你们的代理池就更加方便了,我文档里也更新下。
    ericgui
    ericgui
    Jun 9, 2018
    9
    @wswuai 有美国 ip 么
    wswuai
    wswuai
    OP
    Jun 9, 2018 via iPhone
    10
    @xuxueli 好哒!
    wswuai
    wswuai
    OP
    Jun 9, 2018 via iPhone
    11
    @ericgui 目前只有国内噢
    bigmama
    bigmama
    Jun 9, 2018
    12
    还要打电话啊。。
    marvin520
    marvin520
    Jun 9, 2018
    13
    这个不错啊,最近刚好苦于没有高质量的代理用来搞爬虫
    nullen
    nullen
    Jun 9, 2018
    14
    好的。不错。
    artandlol
    artandlol
    Jun 9, 2018 via iPhone
    15
    之前有个项目是,ip 池质量不好,你这个自己搭的吗?
    开源的项目为 https://github.com/imWildCat/scylla
    iConnect
    iConnect
    Jun 9, 2018 via Android
    16
    收藏先,看起来不错,你这个站是用那个模板建的?蛮漂亮的
    akafeng
    akafeng
    Jun 9, 2018
    17
    @ericgui #9 有需要美国的?
    wswuai
    wswuai
    OP
    Jun 9, 2018
    18
    你们都这么懒啊 ... 打个电话都不愿意 😂
    wswuai
    wswuai
    OP
    Jun 9, 2018
    19
    @artandlol

    你的项目看起来是个扫描器,和我们的原理不大一样。

    我们的 IP 都来源于各地的运营商,服务器直接托管在通信机房。

    性能非常稳定, 应用场景比较适合企业使用。

    ping 测试的典型情况是:typical / max / min / mdev / packet loss = 40 / 60 / 30 / 0.5 / <0.01%
    wswuai
    wswuai
    OP
    Jun 9, 2018
    20
    @lunatic5 欢迎来电咨询, :)
    ZJsnowman
    ZJsnowman
    Jun 9, 2018 via Android
    21
    终于看到有人做这方面的商用代理池了,看好。周一申请试用
    wswuai
    wswuai
    OP
    Jun 9, 2018
    22
    @ZJsnowman 感谢支持 ~ 😀
    simonsww
    simonsww
    Jun 9, 2018
    23
    @wswuai 这个企业版最高 4320IP/线路提取能力,是每天最多提取这么多 ip 吗,支持并发之类吗,可以杜绝重复 ip 吗
    ash
    ash
    Jun 9, 2018
    24
    楼主 666,靠谱
    xavier007
    xavier007
    Jun 9, 2018
    25
    楼主是否需要 IP,我这里有设备,每个设备目前提供 96 个干净 IP,设备会自动分批次重启,更换新的 IP
    xavier007
    xavier007
    Jun 9, 2018
    26
    NDk5ODczOTU4
    wswuai
    wswuai
    OP
    Jun 9, 2018
    27
    @simonsww 是指每条“线路”, 是按最少的 IP 持有时间算, 最多可能提取的 IP 数。

    这个 4320 = (24 小时*60 分钟*60 秒)/ 20 秒(企业版本)资源最小持有时间

    每个“线路”在同一时刻只能持有一个 IP 地址,在你完成一个任务之后, 你可以释放掉它,然后从 IP 池中提取一个新的 IP 地址。

    我们定价是按 “最大持有资源数” ,也就是线路占用数定价的。

    比如你采购了 10 个“线路”, 那么你最多同时持有 10 个 IP 地址, 用完了之后就释放掉,然后你就可以再次提取 10 个 IP 地址,循环往复。

    每次提取 IP 地址, 你都可以持有相当长的时间(比如一年),或者相当短的时间(比如 20 秒), 这个时间由你决定,时间最长 可以持有一年(之后可能会发生断线), 最短 20 秒,时间长短,由你的业务而定,都是由你自己说了算。

    当你持有那个线路之后, 你通过 HTTP/Socks5 代理的方式连接到它, 请求频率、流量 都没有限制(实际带宽在 10Mbps 左右、不建议并发数超过 100 )

    关于 IP 重复率: 由于技术实现的方法所限,我们目前没有做去重,如果你业务上需要去重,需要你手动来做。
    wswuai
    wswuai
    OP
    Jun 9, 2018
    28
    @xavier007 如果合作可以联系 : 18129823435
    wswuai
    wswuai
    OP
    Jun 9, 2018
    29
    @ash 蟹蟹阿石~
    wswuai
    wswuai
    OP
    Jun 9, 2018
    30
    @bigmama 或者我也可以给你打呀~
    xavier007
    xavier007
    Jun 9, 2018
    31
    @wswuai 我们这个设备的 IP 都是手机 IP,绝对干净
    artandlol
    artandlol
    Jun 9, 2018 via iPhone
    32
    很多游戏平台需要这类的工具,试用过这类的软件,都是面向用户的。
    wswuai
    wswuai
    OP
    Jun 9, 2018 via iPhone
    33
    @artandlol 嗯,很多同类软件是面向游戏的。 我这边主要面向企业客户,爬虫系统这边。
    naiba
    naiba
    Jun 9, 2018 via Android
    34
    反爬这个还是比较初级,
    hhacker
    hhacker
    Jun 9, 2018
    35
    。。。比较好奇你们是怎么获取到这些各地海量的 ip 地址?我之前稍微查了一下,有拨号 vps 的玩法但是成本可不低
    wswuai
    wswuai
    OP
    Jun 9, 2018 via iPhone
    36
    @naiba 我的文章写的也比较简单,挂一漏万,如果你这边有哪些反爬策略,可以指点一下,我丰富一下文章内容 😄
    wswuai
    wswuai
    OP
    Jun 9, 2018 via iPhone
    37
    @hhacker emmm,我们把服务器直接放在运营商通信机房啦,具体不能说太细,拨号 vps 和我们的实现方式差不多,但是提供的服务不是一样的。 我这边已经通过系统管理好了可靠性和可用性,你直接用就好,不用操心别的。
    Nick2VIPUser
    Nick2VIPUser
    Jun 9, 2018
    38
    先赞了再说,正好有类似的需求~
    Nick2VIPUser
    Nick2VIPUser
    Jun 9, 2018
    39
    想了解一下提取 api 具体情况
    比如按最低配单价算的 api 的访问限制频率,每次提取的个数
    是否有根据不同客户的业务(爬不同的网站)来细分不同的池子~
    页面的内容太少啦,现在的人可能都不太习惯马上打电话;直接从宣传资料上获得信息可能会轻松一点......
    ericgui
    ericgui
    Jun 10, 2018 via Android
    40
    @chinafeng 是,需要美国的
    doubleflower
    doubleflower
    Jun 10, 2018
    41
    不错,价格也便宜
    wswuai
    wswuai
    OP
    Jun 10, 2018 via iPhone
    42
    @Nick2VIPUser 明白了,现在网站的内容确实是少了点,回头多完善一点。所以说还是用手机联系比较容易呀 😂
    vus520
    vus520
    Jun 10, 2018
    43
    顺道推荐一个海外的 https://socks5.io/
    royzxq
    royzxq
    Jun 10, 2018
    44
    mark 一下应该用得上
    wswuai
    wswuai
    OP
    Jun 11, 2018
    45
    周一啦, 大家如果有需求可以联系我哈~
    wswuai
    wswuai
    OP
    Jun 11, 2018
    46
    @Nick2VIPUser 目前我们没有 IP 提取频率的次数限制, 但是有 IP 最少持有时间的限制,企业级客户是最短 20 秒, 个人客户最短 60 秒。
    shaobin
    shaobin
    Jun 23, 2018
    47
    居然做了和我一模一样的项目。
    wswuai
    wswuai
    OP
    Jul 2, 2018
    49
    大家也可以加我 QQ 32911290 联系我
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Privacy   ·   Solana   ·   5886 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 81ms · UTC 03:12 · PVG 11:12 · LAX 19:12 · JFK 22:12
    ♥ Do have faith in what you're doing.