爬虫某网站最近禁止了国外 IP,想请问下有什么好的办法

2020 年 8 月 10 日
 livc

我在 vultr 上有个 VPS 专门爬虫一个网站保存成文件,然后提供 web 访问服务。最近发现这个网站的一个接口把境外 IP 都 ban 了,使用国内 IP 访问就没问题。

目前我的思路是:买一个国内的服务器,专门用来爬虫,爬完保存下来的文件 scp 到 vultr 服务器上。

这样就是增加了国内服务器的成本,国内服务器又比较贵,不知道大佬有没有更好的解决方案?

或者买个树莓派?

8120 次点击
所在节点    程序员
40 条回复
wangyzj
2020 年 8 月 10 日
我之前的做法是去淘宝上买一个可以随意换 IP 的机器
pagxir
2020 年 8 月 10 日
可以用阿里云或者其他云的函数计算的,支持 web 请求,选择国内的节点即可
newee
2020 年 8 月 10 日
哪里的海外 ip 比较便宜靠谱,最近抓一个海外站点,访问几百次就会被禁。有啥供应商比较实惠的
BillowSky
2020 年 8 月 10 日
人家禁你可能你对人家造成了干扰,要不然也不会费力气禁你。
abersheeran
2020 年 8 月 10 日
原来就是你小子在搞事情。
sunziren
2020 年 8 月 10 日
原来就是你小子在爬我的站
suuuch
2020 年 8 月 10 日
这个感觉像是你的爬虫对别人照成影响了,换 IP 之后应该会升级反爬,
shakaraka
2020 年 8 月 10 日
原来就是你小子在爬我的站
jones2000
2020 年 8 月 10 日
直接买云抓取的服务不就可以了。 还自己爬多麻烦。
adoula
2020 年 8 月 10 日
一般不是国外服务器比较贵吗
smplesugar
2020 年 8 月 10 日
原来就是你小子在爬我的站
zhiiker
2020 年 8 月 10 日
用爬虫 IP 代理池服务
https://www.abuyun.com/
https://www.zdaye.com/ShortProxy.html
量大的化,平均下很便宜
unclemcz
2020 年 8 月 10 日
淘宝买个玩客云,50 包邮,刷成 armbian 然后跑爬虫,功耗 6-10 瓦吧。
不多说了,再说又止不住手打开淘宝买一个了。
g079708
2020 年 8 月 10 日
可以试试这个,独享拨号代理 IP 池;
http://www.kuainiaoip.com/store/exclusive-adsl.html
h4de5
2020 年 8 月 10 日
github 上面大把的免费的国内的机器。你不拿来用。很多大佬都拿来挖矿了。
ClericPy
2020 年 8 月 10 日
这么在乎价格成本的话... 白瓢免费代理吧, 选普匿和高匿的, 然后走生产者消费者模式, 慢慢抓慢慢跑
HYisen
2020 年 8 月 11 日
买个树莓派吧,蹭家用网络是真的便宜。
woodnaonly
2020 年 9 月 21 日
@h4de5 关键字是什么
woodnaonly
2020 年 9 月 21 日
@wangyzj 老哥来个关键字
wangyzj
2020 年 9 月 21 日
@woodnaonly #39 vps

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/696994

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX