从国外服务器下载大量数据（ TB 级），求助方案

[seki]

我所在的（小）公司需要从国外的服务器下载一个数据集，总数据量在 5TB 左右，受国内渣渣网络的原因，直接下载速度太慢，而数据下载（目前看起来）是可以直接用 http 反代的，所以需要有一些更有效率的代理中转方案。

目前我想到的方案是：阿里云的 1CPU ， 1GB 内存， 5Mbps 带宽 ECS 三台并行下载。

5Mbps 带宽是因为带宽阶梯计价， 5Mbps 之后带宽单价变高，且受网络连接能力限制，即使有更高的带宽也不一定能实现满速，不如多台分别下载。云主机数量是考虑到了公司本身的下载带宽。反代工具使用 nginx ，用 python 生成 url ，下载用 python 的 requests 库（因为都是 windows 机器，装 wget 或者 curl 略麻烦）。不知道有什么更好的建议吗？

P.S. 其实 linode 东京的速度试了一下也还好，而且更便宜，但是没有发票……

[a302800411]

国际快递

[Showfom]

Window   s 下用 IDM 多线程下载更快

我就晚上下载下载 一个月不到就塞满我 6T 硬盘了 阿里云还是 G 口

要是很赶时间那就让机房寄硬盘吧

[Showfom]

这个业务可以包给我 我帮你们把数据放在香港的服务器里 你们本地开 10 个线程下载拖回来就是了

[halczy]

找个多线程下载的软件就可以了，例如 JDownloader ， Aria2 等。你开 10-20 线程来下，国内网络还不至于烂到 15Mbps 都跑不过。

[seki]

@Showfom 主要是公司网络本身也没这么快。可能的确要考虑在公司之外下载了。
我自己下的话估计也有办法，但是涉及到费用报销的问题……麻烦

[Showfom]

@seki 显然可以开发票

[SourceMan]

你叫兽兽帮你存到硬盘寄给你不就得了，付一定的费用

[cloudbeyond]

TsunamiUDP 只有撑不住的机器，没有跑不满的带宽 :)

[zzutmebwd]

我可以试试帮忙下。这边直连蛮快的，一夜应该能下完。

[zzutmebwd]

@zzutmebwd 我错了 粗估了一下， 百兆满速需要五天

[popok]

@zzutmebwd 一夜，我吓尿了。

[jhaohai]

找可以按流量计费的

[luo362722353]

找一个有 5T-6T 硬盘的机房落到机房，然后通过机房传国内网盘？

[AstroProfundis]

让兽兽从机房下载完装硬盘里寄给你好了

[fcicq]

在国外下载, 边下载边传回到国内云存储啊. 就是个线路的问题

[hahahasnoopy]

找个水货客顺路从香港那边下载好，然后到深圳那边带过来

[neilp]

用 cloudflare 做反代, 我这边下载能把本地贷款撑满.

最近百度和 cloudflare 搞基.

如果再用 百度 网盘会员 来下载 cloudlfare 的反代, 不知道能不能快.

[pxlxh]

香港基友下载，人肉带过关，然后顺丰。

[hicdn]

上传天翼云盘，再下载，搬瓦工上传速度峰值 13MB/s ，平均 8MB/s

[leopard080264]

上海 48 小时内搞定,请联系 用户名 @gmail.com