用阿里云偶尔传输大量文件,用什么方式好?

2022-02-13 17:44:57 +08:00
 dragonQueen

在外地的传感器会收集一些数据,单个文件不大,200KB~300KB ,但是合作方喜欢一次性收集很多给我们,5GB 左右,各个合作方加起来一个月传输的数据 50GB 左右。老板批的流量费用是 1000 一个月。

我最开始是直接在阿里云买了个 ECS ,挂个大硬盘,包年包月开了 5Mbps 用于临时下载急需处理的小文件,真正要下载大量文件的时候,带宽临时升级到最高的 200Mbps 。之前这个数据是我一个人用,现在是三四个人需要,他们每次要下载的时候都得来找我临时加一下带宽,我感觉有点麻烦,要是人再多呢?所以我想着用其他方式,先改成了按量付费,发现这个速度实在是感人,文档说峰值 100Mbps ,实际基本是 1MB 多一点,不过文档还是诚实,说了峰值不作为承诺指标。

后来在 v2 看到有人说 oss 速度不错,官方文档里也说限速是 10Gbps ,不像 ECS 最高也只有 200Mbps 。然后我就建了个 Bucket 试了下,发现上传速度很慢,最高只有 2MB/s ,这要上传 5GB 的数据得要好久了,下载我就没有试了,估计差不多或者更慢,这个上传速度都已经无法接受了。我怀疑上传速度慢可能和文件名字有关系,因为自动生成的文件名都是规则的,带有日期前缀,我看文档里面说这个不太好,不知道是不是会对速度产生这么大影响,是的话也只能忍着了,来回改名字有点烦。

目前看来,只有 ECS 临时提速能够比较好地满足速度需求了。大家知道其他什么方式吗?

2364 次点击
所在节点    服务器
18 条回复
imldy
2022-02-13 18:03:05 +08:00
>然后我就建了个 Bucket 试了下,发现上传速度很慢,最高只有 2MB/s ,这要上传 5GB 的数据得要好久了,下载我就没有试了,估计差不多或者更慢,这个上传速度都已经无法接受了。

本地网络上传速度多少,怀疑是本地网络上传速度限制了。上下行对等?

另外你这个需求应该不只是传输,也要存储吧,不考虑网速问题,用 oss+cdn 应该正合适。
eason1874
2022-02-13 18:09:33 +08:00
对象存储正合适,一般不止 2MB/s ,这么慢可能是你本地网络速度就低,或者网络连接问题,又或者区域问题(国外区域的慢)

另外开启 CDN 供下载,可以省点流量费,不开通常也挺快,就是贵点
dragonQueen
2022-02-13 19:54:29 +08:00
@imldy 本地上传 50Mbps ,我也怀疑过是本地上传限速了,但是测了一下是 50Mbps 。是的,本地是上下行对等的。存储还好我感觉,因为看着不太贵,即使是贵的话, 也可以下载到本地就删除了
dragonQueen
2022-02-13 19:57:34 +08:00
@eason1874 我本地上传测试了下是 50Mbps ,这个我以为能对应个 4, 5MB/s 的上传的。应该不是区域问题,我就用的本地域的 oss 。cdn 我倒是没试过,因为目前卡在上传这一块了,还没有考虑下载。
yov123456
2022-02-13 20:18:23 +08:00
ecs 不是进站不限速么
kome
2022-02-13 20:35:57 +08:00
阿里云盘开会员(如果有的话), 不知道现在速度如何. 实在不行就去开几个百度云盘的会员. 文件加密, 套几层加密压缩包, 密码通过其他途径传输, 文件泄漏应该也不用担心. 用 BT 分发应该也行. 走商业途径的话, 可以考虑微软的中国代理世纪互联 OneDrive.
dcty
2022-02-13 20:51:54 +08:00
OSS 存储(上传不慢啊),下载走 cdn
night98
2022-02-13 21:14:26 +08:00
oss 上传有个多地域加速功能,用那个 endpoint 试试,可能是你运营商的问题,我这边 oss 直传快的一批
tanranran
2022-02-13 21:29:22 +08:00
上百度网盘。还有 API 接口 https://pan.baidu.com/union/document/basic
huihuilang
2022-02-13 22:17:13 +08:00
阿里云盘不香嘛?几十 g 自己公司申请一个 ftp 就行
ClericPy
2022-02-13 23:59:39 +08:00
OSS 上传速度慢是你自己问题吧, 你是拿自己家 / 公司的网测的? 家用带宽下行和上行差距巨大, 公司里的路由器也会给默认限速不然一个开迅雷的全公司都断网了

流量费用外网的话也不贵, 肯定不会到你那个限额(如果是 ECS 上传下载 OSS 不计流量费, 而且速度快的离谱), 还省了机器的钱, CDN 什么的有点多此一举, 日常下载满带宽(同地区)还是挺容易的, 除非是境外... 必要时候可以配合触发器 oss+Serverless 自动做一些操作

临时加带宽的事情自己走 sdk 定时运行一次貌似也可以, 不过还是别折腾了
Ggmusic
2022-02-14 00:26:19 +08:00
文件打包上传,小文件上传可能会影响网速。
dragonQueen
2022-02-14 09:00:21 +08:00
@yov123456 入站限速的,文档有说,跟你买的出站带宽有关。
dragonQueen
2022-02-14 09:03:58 +08:00
@Ggmusic 打包压缩这个倒是简单易行,我回头试一下
dragonQueen
2022-02-14 09:05:42 +08:00
@ClericPy 拿公司的网测的,测出来是上下行对等 50Mbps 。下行速度应该是准的,我之前下载能跑到 6MB/s ,上行以前没注意过,这次传到 oss 最高只有 2MB/s
dragonQueen
2022-02-14 09:11:55 +08:00
@night98 传输加速这个操作起来感觉比较简单,我回头试试
baiduyixia
2022-02-14 16:10:26 +08:00
顺丰
dragonQueen
2022-02-14 20:20:34 +08:00
@baiduyixia TB 级别的顺丰还可以考虑,一次几个 GB ,感觉比较亏,硬盘得来回寄

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/833572

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX