要开发动态代理 IP 项目,有什么需要注意的么

2017-05-18 13:22:56 +08:00
 qwe321

本身做云主机和拨号 VPS,拥有的 IP 资源很多。发现很多客户买拨号 VPS 之类的过去自建代理 IP 然后做爬虫采集,但是这种客户的时间成本一般都比较高,拨号 VPS 因为各种因素(如运营商宽带大姨妈了)稳定性没办法很好的把控,对于大客户来说维护成本特别高。比如一些互联网巨头的程序猿再去做这些售后维护工作就太大材小用了(出现故障后需要客户先反馈给我们,然后我们进行处理)。市面上也存在着一些商业化代理 IP,但是或多或少都存在着一些弊端,比如 IP 切换的时间不受控制,或者带宽较低稳定性也不高等。我们想自己开发代理 IP 项目,原因一个部分就是因为我们的成本相对较低,另外一个如果我们直接提供给客户动态代理 IP 而不是拨号 VPS 的话,可以节省我们很大的人工量,因为出现问题的节点我们可以自行过滤掉,提供给客户的代理 IP 基本上能保障 99.99%的可用性,另外也可以提高我们产品的利润率。 所以,问题来了,想问问有做爬虫的朋友们,在使用代理 IP 的时候都有什么具体的需求?以便于我们在开发的过程中更加贴近客户的需求。

6243 次点击
所在节点    问与答
56 条回复
binux
2017-05-18 20:35:18 +08:00
@Showfom #20 3000 IP,每个一分钟访问一次,也有 50 QPS 了。IP 量够了都差不多。
gdtv
2017-05-18 20:39:41 +08:00
和#11 楼一样,我也不知道为什么代理 IP 会有切换频率这个东西。
你就给我一个接口,我访问这个接口你就实时给我返回一个代理 IP 不就行了吗?我想什么时候去获取 IP,以什么频率换 IP 由我这边的业务需求决定,你那边不用管,你那边接口只需要返回 IP 给我就行。
qwe321
2017-05-18 20:52:54 +08:00
@iannil 噢,但是好多家代理 IP 服务商都是购买我们的拨号 VPS,所以。。。但是如果我们去做的话,我们完全有办法搞到上百个地市不同运营商的 IP,资源的能力完全不在一个等级上。
1 和 3 的话对于我们基本一样,我们肯定会用地市+运营商去区分的,比如做到让客户可以选择上海电信或者上海联通。
2 的话确实不太可能,只能随机分配 IP,本来对于大多数客户需求的就是 IP 的不同。
qwe321
2017-05-18 21:11:17 +08:00
@binux 一次性批量获取 N 个 IP 的稳定性和私密性都较差。
Showfom
2017-05-18 21:13:38 +08:00
@binux 我们抓数据的 嘿嘿 你们也是做爬虫吗
qwe321
2017-05-18 21:15:41 +08:00
@Showfom
@gdtv
@binux
客户还是有独享的需求,并且很多。因为购买我们拨号 VPS 去搭建代理 IP 的客户就很多了,不乏 WY、SG 等互联网巨头。
iannil
2017-05-18 21:15:54 +08:00
@qwe321 我不明白你所说的基本一样是什么意思?运营商是运营商,省市区是省市区,你能做到让用户选择上海电信或上海联通,这就是区分了运营商和省市区。

如果不做区分,那应该是选了上海就指定给你电信的,或指定给你联通的,你不能选。或者随机给你个电信的或联通的,用户没有选择哪种运营商的权利。

2 是可以做到的,就看愿不愿意做。

上百个地市不同运营商的 IP....还是祝顺利吧。
qwe321
2017-05-18 21:17:45 +08:00
不过普通的代理 IP,后期我们也会开发吧,前期主要还是开发独享的动态 IP,这个是我们的优势。
binux
2017-05-18 21:18:32 +08:00
@Showfom #25 是啊,不过我们不是中国市场
qwe321
2017-05-18 21:20:22 +08:00
@iannil 目前已经拥有了差不多一百地市的 IP 资源,我也是在拥有了资源基础的情况下,才想要来做这个项目的。如果纯粹做代理 IP,而不是 VPS 的话,维护工作量其实更小,很多人脉资源都可以利用。上百地市的 IP 真的只是起步。就比如目前做的混拨 VPS,就已经汇聚了一百多个地市的 IP。当然了,所以一个地市,指的是只有拥有其中一个 BAS 的 IP。
iannil
2017-05-18 21:24:21 +08:00
@qwe321 #30 我信我信,我是在『上百个地市不同运营商的 IP 』之后打了一堆字,然后又删了,觉得不用说那么多。随口说『还是祝顺利吧』当个结尾。

加油,努力。
onion83
2017-05-18 21:29:15 +08:00
客户通过 VPN 连接到你的内网中,网关地址固定,关键需要维护好一个 DNAT 地址池,出口确保出口 IP 每次都不一样即可。当然 还要提供至少两个能力,

1,客户主动告知你某 ip 已经被 ban,需要在地址池中去掉。
2、定时返回地址池数量,当地址池消耗完毕或者接近下限时候,重现拨号或再次重建更大的地址池。

好吧,说到这里我才忽然记得玩过类似的东西:阿里云的 DNAT 网关。。。。

https://help.aliyun.com/document_detail/32322.html
qwe321
2017-05-18 22:49:29 +08:00
@iannil 可以参照下我们目前拨号 VPS 项目的地域 www.qgvps.com/bohaovps.asp
iannil
2017-05-18 22:59:09 +08:00
@qwe321 #33
ik
2017-05-18 23:45:01 +08:00
@binux 求问 3W 个,价格大概怎么样呢?是否稳定?
ik
2017-05-18 23:45:21 +08:00
@binux 不对 是三千…
sunorg
2017-05-19 01:43:32 +08:00
同求一个价格

大概需要 3000 稳定。 国外优先

报价来
SP00F
2017-05-19 01:49:26 +08:00
。。。
简单点如果只是做 Web 爬虫,你提供一个 API 接口,请求数据的服务由你 API 接口来处理,而不需要返回代理 IP。用户直接通过你提供的 API 接口请求指定的 Web 页面,而代理层由你后端处理。完全省去用户操作,这个比较受用户欢迎的。

好像现在市场上已经有类似的了。
changwei
2017-05-19 08:57:00 +08:00
拨号 vps 主要就是用于爬虫吗?
firefox12
2017-05-19 09:56:26 +08:00
@SP00F 这个活不就是一个分布式的 proxy 吗??

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/362195

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX