从服务器下载大文件的最好方法是?

2015-09-23 20:08:21 +08:00
 htfy96
之前在 aliyun 租了个 vps 做爬虫,现在爬虫完成后大概获得了 15G 的数据(已压缩)

这边网络最多 1MBps ,估计要下载很长时间,网上有人提到了 scp ,但是好像不能断点续传。现在服务器上什么也没有(ftp/http 服务器)。请问有什么比较好的方法把数据拖下来呢?
29363 次点击
所在节点    Linux
84 条回复
pythoner
2015-09-23 20:11:32 +08:00
rsync --partial
FinlayLiu
2015-09-23 20:12:10 +08:00
迅雷。。。
pixstone
2015-09-23 20:14:51 +08:00
迅雷+1
kslr
2015-09-23 20:15:29 +08:00
Yun or apt install nginx
kslr
2015-09-23 20:15:50 +08:00
yum
ryd994
2015-09-23 20:17:43 +08:00
bypy 上传,百度的数据还不是都交给国家,没什么不放心的
另外用 filezilla 可以 sftp ,但是触发流量识别从此 vps 被消失的可能性很大
constance
2015-09-23 20:18:37 +08:00
bypy 上传到百度云
loading
2015-09-23 20:18:41 +08:00
装个 bypy ,上传到百度云,然后再下载。
kkfnui
2015-09-23 20:28:13 +08:00
迅雷
kkfnui
2015-09-23 20:30:33 +08:00
@kkfnui 跟风了,连 ftp 和 http 都没有那就没有肯定不能用迅雷了。
jasontse
2015-09-23 20:31:44 +08:00
lrzsz

....其实还是 scp
Tink
2015-09-23 20:39:22 +08:00
起 web 服务, aria2 下
htfy96
2015-09-23 20:44:44 +08:00
@loading
@constance 然而学校很奇怪的是百度云大概只有 200K 左右速度
constance
2015-09-23 20:47:23 +08:00
@htfy96 可以冲个会员试一下
phithon
2015-09-23 20:48:45 +08:00
一键开启 http :
python -m SimpleHTTPServer
php -S localhost:8080

一键开启 ftp:
python -m pyftpdlib #需要安装 pyftpdlib

另外, rsync 比 scp 快得多,适合传输大量文件,而且支持增量传输。
三种方法楼主选择。。。
htfy96
2015-09-23 20:51:06 +08:00
@phithon 多谢,我用 ruby 也能很方便地建服务器,之前忘了这一点了。已经压缩后的单个文件其实各种方法都速度差不了多少。
regeditms
2015-09-23 20:51:44 +08:00
弄个 nginx 然后 ip + 地址 访问下载了。好像是多个线程下载的。
htfy96
2015-09-23 20:52:23 +08:00
pmpio
2015-09-23 21:04:32 +08:00
大文件还是用 7z 分一下卷吧,一个文件 512M ,不管用啥方法下载,保险系数都大得多。。。。
JustZht
2015-09-23 21:17:49 +08:00
bypy 配合 bcloud 客户端

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/223183

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX