首页   注册   登录
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX  ›  推广

蜻蜓代理 | 提供代理 IP 池服务

  •  1
     
  •   sw10 · 245 天前 · 8653 次点击
    这是一个创建于 245 天前的主题,其中的信息可能已经有所发展或是发生改变。

    关于我们

    我是一名后端开发者,因为需要爬虫某个网站的数据的缘故,试用了几类代理服务,都不满意。后面与朋友一起,开发上线了一个网站 - 蜻蜓代理,提供代理 IP 服务。

    有哪些服务

    目前提供三类服务:

    • 免费代理:为轻度用户准备,每半小时更新。和其他家免费代理网站不同的是,我们提供 API 免费提取
    • 普通代理:从互联网上扫描出来的开放代理。这类代理使用的人多,普遍延迟高。定价是:包天 3 元,包周 15 元,包月 35 元。
    • 私密代理:自建代理服务器,覆盖国内 90+ 城市节点。接口一次可最多提取 IP 数为 20 个,最小提取间隔为 10 秒,每个 IP 的存活时间大约三分钟。提取的 IP 不会重复,每天累计的 IP 池大约 10 万。定价是:1 元试用 1 小时,包天 10 元,包周 65 元,包月 260 元。

    价格对比

    这里简单列出了下各家代理服务商的价格,提供参考。注意:价格不能代表全部,提供的代理质量、售后水平这些需要试用后才知道。

    代理服务商 普通代理-包天 私密代理 - 包天
    快代理 ¥ 10/天 ¥ 60/天
    全网代理 ¥ 9/天 ¥ 10/天
    米扑代理 ¥ 6/天
    无忧代理 无(打开不了购买页) ¥ 10/天
    大象代理 ¥ 9/天
    站大爷 ¥ 8/天 ¥ 25/天(目前新年促销价为 ¥ 17/天)
    阿布云 ¥ 16/天(动态版)
    芝麻代理 ¥ 14 天(按包周¥ 98/天计算得出)
    百变 IP ¥ 10/天 ¥ 30/天
    蜻蜓代理 ¥ 3/天 ¥ 10/天

    FAQ

    1. 是否能开发票? 暂时不能。

    2. 是否支持退货? 包周以上套餐支持退货,按剩余可用时长计算。建议先试用,满意后再购买包天 /包周 /包月套餐。

    3. 是否有更长周期的套餐? 目前只提供了包天 /包周 /包月的服务,如果有特殊需要,可以联系我单独开通。

    4. 为什么比其他家便宜? 刚进入这个市场,希望借由较低的价格吸引一部分用户。

    建议与合作

    现在我们还在起步阶段,存在许多问题,欢迎指正。有相关资源的朋友,也欢迎与你们合作。

    第 1 条附言  ·  245 天前
    需要试用的,麻烦留下邮箱,说下要试用的代理类型(普通 /私密)。我发试用码给你们。
    第 2 条附言  ·  160 天前
    2018/4/15 更新:
    问题:是否可用开发票?
    回答:可以。满 500 以上可以开普通发票。(国税局代开,税点大概 3%。)
    56 回复  |  直到 2018-04-16 12:30:11 +08:00
        1
    kslr   245 天前
    私密代理这个,假如每次提取了 20 个,但是只使用了 3 个,剩下的被放弃会不会被计算到已经使用的 IP 里面呢?
        2
    kslr   245 天前
    网站只上线了几个月,下面的客户是真的吗?如果没有的话没有必要这样做吧,这会适得其反。
        3
    sw10   245 天前
    @kslr 会的。具体是这样的,你第一次提取了 20 个 IP,无论使用没使用,当天内都不会重复。
        4
    sw10   245 天前
    @kslr 谢谢您的建议,之前参考其他网站加的,确实有虚假宣传的问题。已经删除了。
        5
    ctsed   245 天前
    该网页无法正常运作
    如果问题仍然存在,请与网站所有者联系。
    HTTP ERROR 533
        6
    wangxiaoer   245 天前 via Android
    很好奇这一天十万的 IP 你们是怎么做到的?
        7
    ctsed   245 天前
    @wangxiaoer #6 #6 拨号的吧
        8
    sw10   245 天前
    @ctsed 请问是哪个页面?
        9
    ctsed   245 天前
    @sw10 #8 整个网站 挂代理也打不开
        10
    sw10   245 天前
    @wangxiaoer @ctsed
    确实是拨号的。
        11
    ctsed   245 天前
    私密代理能不能用 ws 之类的东西主动推送新 ip 和失效 ip,使用者不知道服务器什么时候刷新比较麻烦,比如刚获取的 ip 下一秒就失效
        12
    Kilerd   245 天前
    > 接口一次可最多提取 IP 数为 20 个,最小提取间隔为 10 秒,每个 IP 的存活时间大约三分钟。

    那么第二次提取的时候,间隔取最短 10 秒。 第一次的 IP 会不会马上失效?

    > 提取的 IP 不会重复,每天累计的 IP 池大约 10 万

    天与天之间的 IP 重复率是多少? 完全不重复?
        13
    wangxiaoer   245 天前 via Android
    @Kilerd 拨号的话天与天之间的重复就随缘了吧,看运营商。
        14
    sw10   245 天前
    @ctsed
    #9 我查看了服务器日志,并没有看到那个错误。等等我再检查下。
    # 11 您这个建议,我会考虑下的。不过,第一次获取的 IP 不会马上失效的,大概会存活 3 分钟。

    @Kilerd
    第一个问题,第二次提取的时候,第一次提取的 IP 不会马上失效。大概还会存活 2 分钟 50 秒。这个之前跑脚本测试过。
    第二个问题,目前只保证当天不重复。天与天之间,还是可能会重复的。(没测试过,测试之后给您回复重复率有多少。)
        15
    hadoop   245 天前 via Android
    那为啥自己不买拨号 vps 呢
        16
    ctsed   245 天前
    @sw10 #14 私密 IP 是独占的吗?如果一个新 ip 只分配给一个用户那就不存在这个问题,如果是三分钟内多人共享,晚获取的就比较倒霉了
        17
    laoyur   245 天前
    > 接口一次可最多提取 IP 数为 20 个,最小提取间隔为 10 秒,每个 IP 的存活时间大约三分钟。
    是从被提取的那个时间点开始存活 3 分钟?

    > 每天累计的 IP 池大约 10 万
    我没有仔细去算按照你上面的规则,每天可以获取到 IP 的上限。你就直接简单告诉我吧,这 10w 个,是你们那边每天能提供的极限值,还是按照上面规则算出来后的极限值?

    另外的问题:
    1. 带宽多少?有没有最低保证?
    2. 有没有 socks5
        18
    Soar360   245 天前   ♥ 4
        19
    sw10   245 天前
    @hadoop #15 如果个人使用,要求不高,自己搭是完全可以的。我们只是提供可选择的服务而已。

    @ctsed #16
    > 私密 IP 是独占的吗?
    不独占,但会为不同订单号(取模)的用户,返回不同的代理。

    > 如果一个新 ip 只分配给一个用户那就不存在这个问题,如果是三分钟内多人共享,晚获取的就比较倒霉了
    晚获取并没有什么问题,主要这几点:
    1. 可用的代理会一直加入;
    2. 系统会优先返回存活时间较短的 IP ;
    3. 系统会自动下线存活时间短于 30 秒的 IP。也就是极端条件下,返回的代理,至少可用 30 秒;

    @laoyur
    > 是从被提取的那个时间点开始存活 3 分钟?


    > 我没有仔细去算按照你上面的规则,每天可以获取到 IP 的上限。你就直接简单告诉我吧,这 10w 个,是你们那边每天能提供的极限值,还是按照上面规则算出来后的极限值?
    不是计算的,我们会保存当天出现过的 IP (用于去重)。目前的代理池大小为:6w+
        20
    laoyur   245 天前
    > 3. 系统会自动下线存活时间短于 30 秒的 IP。也就是极端条件下,返回的代理,至少可用 30 秒
    这么说还是会有可能获取到存活时间不满 3 分钟的代理

    我试着来算一下,一天是 3600 x 24 == 86400s,极限值每 10s 取一次,每次 20 个,那就是 86400 / 10 * 20 = 172800 个 IP。但你们池子一天只有 6w,也就是说按照极限速率来取的话,取了一段时间后就取不到了。我计算应该没错吧?

    还有带宽问题和私密代理是否支持 socks5,回答下呢
        21
    cnTangLang   245 天前
    不能开发票是个问题,起码,能提供停车票加油票这类的吧?
        22
    sw10   245 天前
    @laoyur
    > 还有带宽问题和私密代理是否支持 socks5,回答下呢
    刚才没看到,我回答下。主机带宽为 10 M ~ 20 M,socks5 暂时不支持。

    > 但你们池子一天只有 6w
    不是这样的,只是说,从今天凌晨开始,产生了 6w 多个 IP。到晚上十二点,确实有 10w+。

    @cnTangLang
    停车票、加油票这些倒是可以弄弄看。
        23
    laoyur   245 天前
    @sw10 #22 等到啥时候支持 socks5 了,at 我一下,可以试试看
        24
    iCodex   245 天前
    我很感兴趣这些提供 IP 的鸡儿~ 是怎么来的。。。

    我为啥不去买各种代理,我在家里两条宽带、公司两条宽带、老家一条宽带,都放了反弹代理。。。啊哈哈哈哈
    不过我只是爬淘宝的数据而已,淘宝不可能这么大肆的封杀家用 IP 吧。
        25
    laoyur   245 天前
    @iCodex #24 我把上面列表中的网站逛了一遍,一部分是扫到的代理,一部分是买 adsl vps 搭建的,还有小部分号称是家用拨号的(这个就不知道怎么来的了...
    这里面水还是挺深的吧,碍于行业秘密,应该也不会有大佬来分享解惑吧。我也只是略懂皮毛,仅仅停留在会用 adsl vps 的层面。
        26
    iCodex   245 天前
    @laoyur 公开扫到的代理就算了,一堆爬代理并验证的 python 代码,还是自己部署一个就好。

    嗯,我们好像砸场子了。。。
        27
    chinafeng   245 天前
    @laoyur #25 需要怎样的解惑 ?
        28
    shiny   245 天前
    503 了。万一买了、开发好了结果用着用着就 503 了怎么办?
        29
    sw10   245 天前
    @ctsed
    > 该网页无法正常运作
    如果问题仍然存在,请与网站所有者联系。
    HTTP ERROR 533

    @shiny
    > 503 了。万一买了、开发好了结果用着用着就 503 了怎么办?

    查了 Nginx 的日志,没有发现 5xx 的日志。网站用了 CDN,我发个工单问一下。稍等给你们答复。
        30
    liaoyaoheng   245 天前
    警告:本站资源仅限用来计算机技术学习及大数据爬虫应用等合法行为,用户所有操作行为均有日志记录存档并保留 2 个月,用户若擅自利用本站资源从事任何违反本国(地区)法律法规的活动,由此引起的一切后果与本站无关。

    https://proxy.horocn.com/free-proxy 底部公告。
        31
    sw10   245 天前
    @ctsed @shiny

    腾讯云工程师 :
    您好,请问您这边所说的异常地区是哪里?
    另外方便的话麻烦让客户在本地 ping 下您的域名,提供下截图可以吗?
    这边后台看了下所有节点访问都是正常的状态,并没有异常情况。
        32
    deadEgg   245 天前
    @wangxiaoer 应该是抓的
        33
    ctsed   245 天前   ♥ 1
    {
    "log": {
    "version": "1.2",
    "creator": {
    "name": "WebInspector",
    "version": "537.36"
    },
    "pages": [
    {
    "startedDateTime": "2018-01-21T08:50:30.231Z",
    "id": "page_1",
    "title": "https://proxy.horocn.com/",
    "pageTimings": {
    "onContentLoad": 9225.716000015382,
    "onLoad": 10291.077000030782
    }
    }
    ],
    "entries": [
    {
    "startedDateTime": "2018-01-21T08:50:37.407Z",
    "time": 7180.466000038199,
    "request": {
    "method": "GET",
    "url": "https://proxy.horocn.com/",
    "httpVersion": "HTTP/1.1",
    "headers": [
    {
    "name": "DNT",
    "value": "1"
    },
    {
    "name": "Accept-Encoding",
    "value": "gzip, deflate, br"
    },
    {
    "name": "Host",
    "value": "proxy.horocn.com"
    },
    {
    "name": "Accept-Language",
    "value": "zh-CN,zh;q=0.9,en-US;q=0.8,en;q=0.7"
    },
    {
    "name": "Upgrade-Insecure-Requests",
    "value": "1"
    },
    {
    "name": "User-Agent",
    "value": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.132 Safari/537.36"
    },
    {
    "name": "Accept",
    "value": "text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8"
    },
    {
    "name": "Connection",
    "value": "keep-alive"
    },
    {
    "name": "Save-Data",
    "value": "on"
    }
    ],
    "queryString": [],
    "cookies": [],
    "headersSize": 431,
    "bodySize": 0
    },
    "response": {
    "status": 533,
    "statusText": "",
    "httpVersion": "HTTP/1.1",
    "headers": [
    {
    "name": "Date",
    "value": "Sun, 21 Jan 2018 08:50:37 GMT"
    },
    {
    "name": "X-Daa-Tunnel",
    "value": "hop_count=2"
    },
    {
    "name": "X-NWS-LOG-UUID",
    "value": "884885dc-c403-4465-a34a-bb5500688c11"
    },
    {
    "name": "Connection",
    "value": "keep-alive"
    },
    {
    "name": "Content-Length",
    "value": "0"
    },
    {
    "name": "Server",
    "value": "NWSs"
    }
    ],
    "cookies": [],
    "content": {
    "size": 0,
    "mimeType": "text/plain",
    "compression": 0
    },
    "redirectURL": "",
    "headersSize": 191,
    "bodySize": 0,
    "_transferSize": 191
    },
    "cache": {},
    "timings": {
    "blocked": 6.36000004690141,
    "dns": 26.205000001937186,
    "ssl": 45.77100003371,
    "connect": 102.26499999407659,
    "send": 0.193999963812999,
    "wait": 7045.442000031471,
    "receive": 0,
    "_blocked_queueing": -1,
    "_blocked_proxy": 2.6490000309422603
    },
    "serverIPAddress": "58.216.107.101",
    "connection": "43572",
    "pageref": "page_1"
    }
        34
    sw10   245 天前
    @ctsed 谢谢,已转发。
        35
    shiny   245 天前   ♥ 1
    ip: 58.216.107.101
    Response headers:

    HTTP/1.1 533
    Server: NWSs
    Date: Sun, 21 Jan 2018 09:07:23 GMT
    Content-Length: 0
    Connection: keep-alive
    X-NWS-LOG-UUID: edeef47c-5101-4501-a126-58465d05c584
    X-Daa-Tunnel: hop_count=2
        36
    HypoChen   245 天前
    支持!不过点开首页以为进了 bootstrap 文档站 2333
        37
    sw10   245 天前
    @shiny
    谢谢,已经转发了。

    @HypoChen
    谢谢支持,我前端水平不好,网站是东拼西凑弄的。
        38
    king2014   245 天前
    Request URL:https://proxy.horocn.com/
    Request Method:GET
    Status Code:533
    Remote Address:58.216.107.101:443
    Referrer Policy:no-referrer-when-downgrade
        39
    wangxiaoer   245 天前 via Android
    @deadEgg 抓的质量都很低啊 简直没法用
        40
    king2014   245 天前
    支持下,不开 vpn 无法访问你的网站?
        41
    0747916   245 天前 via Android
    前两类也是爬到的吧
        42
    king2014   245 天前
    还是打不开,浙江电信 HTTP ERROR 533
        43
    sw10   245 天前
    @king2014
    国内就能访问的,用的是国内的 CDN,服务器也是国内的。可能是某个节点存在问题。您本页搜索 58.216.107.101 看看。其他两位都是这个节点。
        44
    sw10   245 天前
    @ctsed @shiny @king2014

    腾讯云工程师 : 2018-01-21 17:24:30
    您好,请稍等,这边看下。
    目前看是节点回源超时了。
        45
    sw10   245 天前
    @ctsed @shiny @king2014

    关闭了 CDN 的中间源,你们测试下还有没有问题。不好意思。

    p.s. 我本地通过 hosts 指定了 58.216.107.101 这个节点。能正常访问,应该是可以了。
        46
    shiny   245 天前
    @sw10 是的,恢复了
        47
    ctsed   245 天前
    可以了
        48
    doubleflower   245 天前
    代理都是扫出来的?那我建几个代理里面加广告怎样?
        49
    sw10   245 天前
    @doubleflower

    > 代理都是扫出来的?
    免费代理和普通代理是扫描来的。

    > 那我建几个代理里面加广告怎样?
    程序会简单测试几个网址,对比下下载内容是否准确,在一定程度上可以防止代理里面插入广告这种做法。当然,如果您只是对某些地址加广告,确实也没辙。
        50
    king2014   245 天前
    @sw10 可以了
        51
    just1   244 天前 via Android
    2018 年 01 月 22 日 01 时 国外最新免费 HTTP 代理 IP
    蜻蜓代理 发表于 2018-01-22

    116.199.2.208:80#中国 广东 广州

    广东,浙江,重庆,北京,香港,全成国外了,很恐怖耶
        52
    sw10   244 天前
    @just1 确实有这个问题,已经删除有问题文章,重新修改代码逻辑了。
        53
    LokiSharp   244 天前
    @sw10 #52 我也 533 了什么情况= =
        54
    LokiSharp   244 天前
    Request URL:https://proxy.horocn.com/get
    Request Method:GET
    Status Code:533
    Remote Address:58.216.107.101:443
    Referrer Policy:no-referrer-when-downgrade
    Response Headers
        55
    sw10   243 天前
    @LokiSharp 已经处理好了。
        56
    wangxiaohao   160 天前
    @Soar360 哈哈哈哈哈
    关于   ·   FAQ   ·   API   ·   我们的愿景   ·   广告投放   ·   感谢   ·   实用小工具   ·   1857 人在线   最高记录 3762   ·  
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.1 · 21ms · UTC 14:03 · PVG 22:03 · LAX 07:03 · JFK 10:03
    ♥ Do have faith in what you're doing.
    沪ICP备16043287号-1