想要爬外面的网站，大佬们是用什么做代理池的呢

2019-04-16 19:28:55 +08:00
 AdamLee

最近想要爬外面的网站，怕爬多了被封 IP，但是好像没有好用的 X 墙代理池，请问各位大佬是怎么操作的，哪里获取 X 墙代理，或者使用哪些方法不容易被禁 IP 呢

4870 次点击
所在节点    Python
14 条回复
Cschotdog
2019-04-16 21:49:02 +08:00
ss
nanaw
2019-04-16 21:50:57 +08:00
套一层 fq 代理,再用国外的代理池
dsg001
2019-04-16 21:58:13 +08:00
vultr, 多开几个，用完就关
renmu123
2019-04-17 00:01:53 +08:00
有国外的代理池，你在 v 站上搜一下，记得有人介绍过
sxcccc
2019-04-17 04:00:52 +08:00
用 aws 的 ec2 自己架设代理 多注册几个，弄成代理池 下载 m.7zy.net 搜索
gimp
2019-04-17 08:30:12 +08:00
国外服务器 + 代理池，代理池想稳定得付费，价格看预算，或者自己买几个廉价 VPS 搭 SS 也行，看目标网站敏感程度
server
2019-04-17 08:35:24 +08:00
haipproxy 了解下，强推
agdhole
2019-04-17 08:50:11 +08:00
可以用机场，然后解析订阅地址，然后转成 http 代理，网上能搜到具体教程
boom7
2019-04-17 09:31:23 +08:00
去年接过国外几个期刊网站爬虫的外包，直接用了国外的付费代理…好像是每月 100 刀？快爬完的时候发现他们的代理被墙了，直接发邮件退款了😂
liuxu
2019-04-17 09:43:07 +08:00
@server 已经不被维护了
Honda
2019-04-17 12:07:36 +08:00
同求
server
2019-04-17 19:22:01 +08:00
@liuxu 挺好用的，改改又不是很困难； docker-compose 直接用
0yster
2019-05-08 22:07:19 +08:00
@agdhole 老哥，我一直有把廉价机场改造成代理池的想法。但是谷歌搜了很久都没有搜到前人写这个主题的文章。能否细说一下
agdhole
2019-05-08 22:58:37 +08:00
@0yster #13
用 socks5 to http 的工具(关键词 socks5 to http)
然后解析订阅地址(关键词 ssr 订阅解析)

这是一个专为移动设备优化的页面（即为了让你能够在 Google 搜索结果里秒开这个页面），如果你希望参与 V2EX 社区的讨论，你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/555793

V2EX 是创意工作者们的社区，是一个分享自己正在做的有趣事物、交流想法，可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX