能否做一个批量远程下载?

2013-08-30 13:02:24 +08:00
 JohnChu
想用实现批量文件“离线下载”(或者说是远程下载)。

思路1:搭在PaaS上,然后导入一个文件地址列表之后开始下载,下载过程中跳过404的失效地址,下载的时候看得到进度,我用浏览器看得到,把浏览器关了再看还是看得到,完毕之后最好有个提示之类的,反正就是让用户知道,任何方法都行。

语言基本都可以,如:php、erlang、java、node、python、ruby
文件数目很大,几万。
远程下载完我还要下载到本地。

思路2:用类似vps的东西做,搭个Ubuntu 用wget下,但是我是学生党,大学都没进,所以没钱(没有银行卡Amazon的那个也申请不了),请大家提供方案,这个方案得符合匿名性,“被下载的”网站无法通过log查到我的机器里。

以上是我的两个思路,大家有更好的也可以提出来。
如果是思路1麻烦大家提供下代码,我不会php,也不见得为了搞一个项目去特地学。
谢谢
2663 次点击
所在节点    程序员
5 条回复
ETiV
2013-08-30 13:03:53 +08:00
aria2c + yaaw
devon
2013-08-30 13:10:21 +08:00
vps都太麻烦,直接讯雷离线 + 离线脚本。下载的所有文件放到一个文本中即可。

1, 弄个讯雷离线的VIP号(可以买一个月的,没几个钱)
2, 安装 https://github.com/iambus/xunlei-lixian
3, 用命令行登录,然后下载,应该类似 lx login, lx download --input a.txt (把所有链接放到a.txt)里即可。
JohnChu
2013-08-30 14:07:51 +08:00
@devon 可是不符合匿名原则。。。
如果是国外的工具倒好说
devon
2013-08-30 14:51:16 +08:00
要真匿名难度还有点高的。你用vps,能查到是哪个vps下的,从而能查到vps是谁购买的。然后,同样的,可以查到是从哪里连接到vps,vps的流量又走到了哪里。
JohnChu
2013-08-30 14:59:44 +08:00
@devon 这个我知道,但是国外比国内查起来麻烦。
思路1有没有办法?

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/80723

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX