求问 有什么好办法可以下载大量境外数据吗?

2022-12-08 17:35:11 +08:00
 fantasyjm

在美国的实验室( A )有 100TB~的实验数据 想要下载到在大陆的主机( C )上 目前正在用 Syncthing 上传和下载( A )<->( B ),速度只有 1MB/s 左右

但是从( A )上传数据到 Google Cloud Storage 的速度可以达到 200~300MB/s

从 Google Cloud 下载到大陆的主机( C )好像比较复杂

求问各位,有没有更好的方法

2527 次点击
所在节点    问与答
26 条回复
ComTNT
2022-12-08 17:44:22 +08:00
One Drive 国内的速度好像还可以
WinkeyLin
2022-12-08 17:53:45 +08:00
这种情况建议物理邮寄硬盘
googlefans
2022-12-08 17:58:46 +08:00
有种子
redegg
2022-12-08 17:59:36 +08:00
违反当地法律吗?
RunCax
2022-12-08 19:50:22 +08:00
100TB 直接物理邮寄啊。
RunCax
2022-12-08 19:50:42 +08:00
@RunCax 而且实验室的数据,放到公网上真的好吗?
SenLief
2022-12-08 20:02:38 +08:00
物理快递回来就好了
longbow0
2022-12-08 20:35:57 +08:00
6 块 18T 的硬盘就行
如果双方都有磁带机,寄磁带应该更加方便
要考虑的是能不能出海关
yaoyao1128
2022-12-08 20:48:47 +08:00
1. 速度只有 10mbps 的话 建议确定一下对端是不是走了 relay 两边直接用端口访问看一下。速度和地区也有关,不行强制 tcp 看看?我从 cn 到 kr 能跑满
2. 100t 的话还是硬盘吧……
livepps
2022-12-08 23:49:53 +08:00
上传到 onedrive for business ,国内可以之间下载,速度很快,就是不大稳定
kome
2022-12-08 23:56:44 +08:00
前段时间, 清华大学的一位教师分享了他从日本传递实验数据的经历, 采用的磁带运输, 这个是当时的直播直播视频链接: <amp-youtube data-videoid="C4oQ3-KhGu0" layout="responsive" width="480" height="270"></amp-youtube>, 应该可以参考一下.
netabare
2022-12-09 06:58:05 +08:00
100TB……最好的办法感觉是买张机票飞过去领回来。
eason1874
2022-12-09 07:45:56 +08:00
1MB/s ,还没有 OneDrive 快,移动宽带直连 OneDrive 客户端同步都有 5MB/s

不在乎时间的话,开 OneDrive 商业版慢慢同步

不差钱的话,用云厂商的对象存储,上传到海外区域,开启跨区域复制,复制到大陆区域,然后从大陆区域下载,200TB 的流量费用得 10 万左右
eason1874
2022-12-09 07:48:01 +08:00
就现在的网络环境,性价比最高的方式还是邮寄。虽然买存储设备也得好几万,但是可以反复使用。传输加速的 10 万花了就真的花了,渣都不剩
davelm
2022-12-09 08:37:26 +08:00
Syncthing 比较慢,用种子,然后 ipv6 地址来传输,速度会很快
idblife
2022-12-09 10:01:19 +08:00
@eason1874
哪家云厂商能支持海外区域复制到大陆区域?
不都是环境隔离的么?
eason1874
2022-12-09 10:11:17 +08:00
@idblife 大部分都行吧,阿里云腾讯云都有啊。各区域默认是隔离的,跨区域复制是增值服务,需要另外开通。他们还有更贵的增值服务,传输加速域名,都不用等复制,直接用加速域名就可以访问
OrangeLoveMilan
2022-12-09 10:16:39 +08:00
100T 确实有点大,如果非要使用远程传输的方式, 可以试试买 CN2 的云服务器做代理,,速度应该会比你目前 1MB/s 提高 20~30 倍这样.
买 CN2 的服务器之前记得做个跳转测试,看看是不是从国内直连到 us 的
yimiaoxiehou
2022-12-09 12:50:14 +08:00
@idblife 区域复制,加钱
idblife
2022-12-09 13:17:12 +08:00
@eason1874
@yimiaoxiehou
哦,了解了,国内云厂商可以这么做。
aws ,azure 有合规要求不能做

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/901139

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX