哪里可以买到价格实惠的代理池?

2019-05-31 11:28:35 +08:00
 melonux
我在做爬虫. 用网上公开的代理, 可以抓取一般性的网站. 但是对于新浪微博, 这些代理经常被判定为爬虫, 完全一致的 HTML Request, 它们返回的内容很少, 跟我用自己的 IP 得到的内容不一样.

所以我想知道, 哪里有更高质量的代理, 我想采购一批.
请大家推荐一下吧, 先谢谢了.
3960 次点击
所在节点    Python
24 条回复
harvies
2019-05-31 12:39:15 +08:00
不是代理的问题,是检测你的行为
yaoye555
2019-05-31 14:22:07 +08:00
网上 ip 代理上一搜一大把,不过建议可以自己买个 vps 搭一个代理,自己一个人随便用
kina100
2019-05-31 15:06:46 +08:00
@yaoye555 他是要不停的换 ip 采集,你让他买个 vps 做什么?他又不是做梯子。审题啊!
scukmh
2019-05-31 15:38:21 +08:00
@kina100 有一种 vps 是重复拨号换 IP 的
hzfyjgw
2019-05-31 15:41:14 +08:00
推荐阿布云 这种现成的地址池服务
melonux
2019-05-31 20:02:56 +08:00
@hzfyjgw 阿布云倒没尝试过, 我研究研究
melonux
2019-05-31 20:03:24 +08:00
@scukmh 请问哪里有这种 vps?
melonux
2019-05-31 20:04:54 +08:00
@harvies 不像. 因为我能确定除了 IP, 发出的内容完全一样. 行为无非是某 IP 在一段时间内的访问频次.
vincexu
2019-05-31 20:11:15 +08:00
前段时间毕设爬虫用的阿布云那个动态 HTTP,感觉还行
renmu123
2019-05-31 21:11:40 +08:00
那种自带拨号的
renmu123
2019-05-31 21:12:41 +08:00
(补楼上)vps 速度挺慢的,找个收费的代理池(网上看看评测,其实也就那么几家)
pppguest3962
2019-05-31 21:28:31 +08:00
@melonux,对这个问题表示关注,因为过几个月我也肯定需要这个。。。
在前几个星期构思解决这个需求的时候,有想象过用 Tor 来解决? 只是太忙,没把 Tor 的工作方式了解完,不知道 Tor 没有有强制改变刷新变更出口节点的 option 开关? 如果有的话,变换 IP 应该也是能做到的? 不太成熟的想法,不知道可行不可行。。。
E520
2019-06-01 09:37:49 +08:00
联系我
melonux
2019-06-01 15:51:33 +08:00
@pppguest3962 Tor 方案有趣啊. 只是国内用可能由法律风险.
melonux
2019-06-01 15:58:26 +08:00
@E520 不好意思, 这个站没法私信. 而且我只能走对公采购, 如果您有公司做这方面的业务, 请给我个网址吧
harvies
2019-06-01 19:12:00 +08:00
@melonux 上个月我爬过淘宝,绕过了反爬机制(人工智能检测,就像 google 的验证码),没有换 ip,你正常上微博,它会封你吗,很多用户都是内网,容易误封
chengxiao
2019-06-03 12:53:22 +08:00
@hzfyjgw 并不推荐阿布云 如果是小网站什么的 可以推荐阿布云 ,现在国内几家大公司的站把阿布云的 ip 屏的差不多了
melonux
2019-06-03 15:45:02 +08:00
@harvies 厉害. 能简单分享一下你如何控制行为而避免被发现的吗?
melonux
2019-06-03 15:45:49 +08:00
@chengxiao 确实我也担心这个. 我多找几家的 HTTP 隧道, 同时跑一段时间, 看谁的更有效.
yaoye555
2019-06-05 15:57:03 +08:00
@kina100 vps 不断拨号做 ip 没毛病啊 老铁

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/569395

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX