有什么好的方法提高亚马逊 EC2 的上传速度

2017-04-24 18:33:43 +08:00
 Hzzone

穷学生做深度学习,有 80 个 G 的数据需要上传。 阿里云太贵了,所以选择了 AWS...但是速度有点感人... 希望大家能提供一个好的办法!

3775 次点击
所在节点    Amazon Web Services
15 条回复
prondtoo
2017-04-24 18:37:50 +08:00
没钱还敢用 Aws ?我最怕这种按量收费的东西了
Hzzone
2017-04-24 18:45:19 +08:00
@prondtoo 相对来说 aws 要便宜得多:)
davidzhanwork
2017-04-24 18:48:27 +08:00
是本地上传到 ec2 还是 ec2 到其他呢?

后者可以开个速度快的 vps 中转一下
lyhiving
2017-04-24 18:48:56 +08:00
你的 ec2 在哪个区?最佳方案 GCP 开个 vps ,先将数据传到 GCP ,再同步到 EC2
davidzhanwork
2017-04-24 18:49:02 +08:00
后者 -> 前者
WilliamSang
2017-04-24 18:51:11 +08:00
可以使用基于 UDP 的,我以前用过穿过几个 TB 的数据: http://dev.cmcm.com/archives/184
Hzzone
2017-04-24 19:07:14 +08:00
@davidzhanwork 本地到 ec2

@WilliamSang 看起来很好,我还没试过,谢谢了
Hzzone
2017-04-24 19:19:43 +08:00
@WilliamSang 我是本地传到 ec2...
WilliamSang
2017-04-24 19:39:39 +08:00
@Hzzone 本地有外网 IP 的话很容易的。如果没有。。。
1. 使用 bz2 压缩,大幅减少体积
2. 上传到阿里云 OSS ,然后从国外拉取 OSS 数据, 速度可以的
mianju
2017-04-24 20:31:02 +08:00
讲道理 aws 的 g2.2xlarge 速度还没有 750ti 快
visualwind
2017-04-24 20:33:48 +08:00
shaowsocks+final speed 试试
Jboys
2017-04-24 20:40:55 +08:00
选个快点的云主机,多压缩跟分片下。挂机。等国外上传完了,再传到 EC2 上,速度杠杠的~
或者可以按带宽开个国内的云主机,再传出去。开之前先测测速度。
青云按秒计费。
zhengxiaowai
2017-04-24 22:15:41 +08:00
aws 流量可不便宜。
国外大数据量,我之前是先传到七牛,然后再从七牛下载。。
Tink
2017-04-24 22:28:58 +08:00
本地传上去主要看你的上行吧
Alphabetcn
2017-04-24 23:08:13 +08:00
学生的话为啥不用教育网的 ipv6 , 100M 上行不能更爽了

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/357054

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX