几百万图片 url 转云存储，有什么好办法

2020-09-26 16:22:00 +08:00
 vevlins

老实说，是爬虫爬到的链接，对访问频率限制的比较严格。 七牛云有直接存网络图片的能力，但看起来比较低级，效果也不行，几十张后就被拦截了。

付费解决方案也可以接受。

2842 次点击
所在节点    程序员
13 条回复
Athrob
2020-09-26 16:26:33 +08:00
挂代理批量下载再上传
nvkou
2020-09-26 16:27:19 +08:00
该不会是煎蛋吧？
wakzz
2020-09-26 16:27:28 +08:00
搞 ip 代理池
nnd
2020-09-26 16:46:35 +08:00
找几个 IP 代理网站，抓下来，通过代理 IP 去爬。

友情提醒，可能违法，后果自负
gxlonline
2020-09-26 19:39:57 +08:00
用代理 ip，下一张图换一个 ip 。
有必要时，再换请求头，反爬绝大多数都是通过这些方式。
推荐酷鱼代理 ip，ip 量大，稳定。
https://kuyukuyu.com
zoharSoul
2020-09-26 20:07:29 +08:00
@gxlonline 你是酷鱼的推广?

还是单纯路人?
xchaoinfo
2020-09-26 22:20:41 +08:00
有时候你加个 host ua 能多爬一会儿
liuxu
2020-09-26 23:34:39 +08:00
@Livid 5 楼推广号，gxlonline
cat
2020-09-27 07:59:57 +08:00
@zoharSoul 看他的回帖记录就知道了
JasperYanky
2020-09-27 09:13:13 +08:00
爬下来 给七牛寄硬盘
jowan
2020-09-27 14:00:31 +08:00
@liuxu 点开这个号基本都是回复要用到代理池的话题
代理 IP 不也是解决问题付费方案的一种吗
你这报告打的意义是什么
liuxu
2020-09-27 14:43:02 +08:00
@jowan 打这个报告的意义是为了帮助 Livid 更好的维护 v2ex
Livid
2020-09-27 16:19:19 +08:00
@liuxu 谢谢举报。那个账号已经被彻底 ban 。

这是一个专为移动设备优化的页面（即为了让你能够在 Google 搜索结果里秒开这个页面），如果你希望参与 V2EX 社区的讨论，你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/710683

V2EX 是创意工作者们的社区，是一个分享自己正在做的有趣事物、交流想法，可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX