阿里云 OSS 迁移下载数据到本地 有省钱的方案吗?

2022-05-10 11:44:20 +08:00
 wk2911335995

公司打算把 OSS 上的 40 多 TB 的照片迁移到本地,但是嫌流量费太贵了,大家有好的方案吗

3070 次点击
所在节点    程序员
22 条回复
xmumiffy
2022-05-10 11:48:00 +08:00
可以申请 闪电立方 寄硬盘
wk2911335995
2022-05-10 11:51:17 +08:00
@xmumiffy 嗯嗯,感谢,我先这样尝试一下
tieqishan07li
2022-05-10 11:56:19 +08:00
@xmumiffy 闪电立方好像只能进不能出
shaoshuang
2022-05-10 12:19:29 +08:00
oss 走内网到一个不限流量的云主机上?然后再从云主机往本地拉?
akira
2022-05-10 12:27:28 +08:00
要么花钱 要么花时间 二者选一。

开个带宽 1M 的 ECS ,从 ECS 拉下来。算了下,好像是 34 年起步,三十四年。
bzzhou
2022-05-10 12:36:37 +08:00
① 阿里云 5M 以内固定带宽成本最便宜,弄 20 台共计 100M 带宽,一天可以导出 1T 左右数据,估计 3000 左右的成本;
② 阿里云一台 100M 服务器,成本估计 8000 左右;
③ 阿里云闲时共享流量包,成本预估 30000 左右;
salmon5
2022-05-10 12:59:40 +08:00
“ 40 多 TB 的照片”重新制作下,这样阿里云上就不用花钱了
salmon5
2022-05-10 13:01:51 +08:00
@bzzhou
① 阿里云 5M 以内固定带宽成本最便宜,弄 20 台共计 100M 带宽,一天可以导出 1T 左右数据,估计 3000 左右的成本;
========================================================
你这是理想状况,然而弄这个人工+数据分片程序开发,上几万人工费花了
bzzhou
2022-05-10 13:18:26 +08:00
@salmon5 直接弄好一台机器,就配置一个 nginx 转发流量到 OSS ,做一个系统镜像,然后启动 20 台服务器;然后同步脚本随机把请求分发到 20 个服务器;整个东西弄下来半天足够了。

当然,同步脚本的工作量无论咋弄,都是需要的。
wk2911335995
2022-05-10 13:37:19 +08:00
@tieqishan07li 这个我刚才咨询了阿里云客服,但是他们说要咨询技术那边
wk2911335995
2022-05-10 13:38:46 +08:00
@bzzhou @akira @salmon5 @shaoshuang 感谢回复,这个方案我也尝试一下吧
pengtdyd
2022-05-10 13:44:47 +08:00
又想马儿跑,又要马儿不吃草
上面动动嘴,下面跑断腿
一将无能,累死三军
i3x
2022-05-10 14:12:43 +08:00
@bzzhou
不要宣传会被封号的方法
不要宣传会被封号的方法
不要宣传会被封号的方法
客服认为违反使用协议。具体是哪条协议不明确。阿里云的客服会给你来电,问你是不是开了很多 1 核 1g 2g 的 5M 机器,然而我实际上开的只有 512M ,客服会让你迁移数据要冻结你的账号。第二次来电的时候还补充,如果再注册账号这么干,下次来电的就不是客服而是法务了,连我有几个账号都一并说了,一次性全冻结了。
我开了很多 5M 用于自建弹性静态托管。带宽用量上升就自动触发 api 临时提带宽。我感觉完全合理没有任何问题。
客服来电的时候其实账号看起来是没有任何问题的。第一次遇到以为是诈骗。然后就没有然后了。后来发现无法充值,一切产品无法续费。备份数据的机会都不给个通畅的路只能放弃数据:你可以通过 oss 下载你的 ecs 镜像呢。?问题是我已经被封了无法开通 oss 了啊。ecs 本身也是无法续费冻结状态
i3x
2022-05-10 14:36:45 +08:00
@wk2911335995
突然想起有一个骚操作不知道你能不能申请经费下来。如果能的话我给你推荐个机房。
江浙不少机房内网直通阿里不同机房。我偶然间发现的。与 ecs 的公网 ip 通信直接相当于走内网。哪怕 ecs 公网 ip 被黑洞,仍然能过通过这些机房内的独服连接。
租用那种机房千把块一个月的千兆共享百兆保证那种独服。什么配置无所谓哪怕是 q9600 这种老古董,让机房装任意操作系统,比如 linux 跑 iptables 转发。折腾 5 个工作日或者说十天搞定吧。
ecs 低于 100M 带宽的产品跟这种机器互通大概就是 100M 对等速度。就是请求 ecs 的公网 ip ,不是去连 oss ,连 oss 我猜测会产生费用,我没试过 oss 会不会产生费用。

我在机房有个人工作用的 rdp 桌面专机,机房里日常也跑 zabbix 监控。我几年前偶然发现 ecs 哪怕被 d 入黑洞竟然还是可以连接的,以及之前还发现从服务器拖文件竟然几兆每秒,一下子没意识到,后来有朋友说起这种事才想到的。

问题是很奇怪。ecs 的内网按理来说应该只跟同账号同地域互通。
机房内路由追踪还能追踪到 192.168.11.0/24 这个位置,延迟 2 或者 6ms ,跟阿里 ecs 走公网延迟变化一致。2ms 的时候 ecs 公网和这个段延迟都是 2ms ,6ms 的时候同。这个子网应该不在机房本地,不知道是干什么的。

应该是物理连接。就像阿里云高防开出来的那种单运营商 ip 应该就来自这些传统 idc 机房。相对于阿里 as 的 ip ,这种 ip 同样 300g 可能坚挺数倍,可能由电信清洗能无视 udp 无视海外无视 syn 所以仅仅 300g 也很稳定。
cuixiao603
2022-05-10 14:53:55 +08:00
@i3x #14 行啊,这种机房怎么找
i3x
2022-05-10 15:40:42 +08:00
@cuixiao603 找的话只能是碰运气了。哪怕是同一个机房,不同防护网段路由情况都差很多。另外不只是欧洲按照 /29 开始分配 ip ,实际上国内按 /25 使用 ip 也很常见,前半段在温州后半段在杭州这种情况。这种 ip 地理位置信息就是 ipip 都不准确。。
渣机房,带防护,必须是电信产权的机房。三方机房不要想。租用托管多了就碰上了。我有有两个托管的机房都是有这种特性的。也只是通部分可用区。。怎么精确的找的话我就不知道了。路由什么的对机房网维来说是秘密,不能说的。
不要看投资或者规模判断是不是三方。三方机房应该再花里胡哨也不大可能作为阿里的接入区域。
确实有运营商机房还是开窗通风散热的。我就因此报废了一柜子的戴尔刀片。。。满是灰尘柳絮的机器还好意思送其他机房托管么。用了大半年脏兮兮高压气体吹不干净的。
beijiaoff
2022-05-10 15:49:05 +08:00
@akira 你好像算错了。1Mbps 一年有 3.9TB 呢
cuixiao603
2022-05-10 15:56:15 +08:00
@beijiaoff #17 就怕 认真二字
akira
2022-05-10 16:07:26 +08:00
@beijiaoff 心算的,各种简化,果然还是被人发现了 :dodge
leeg810312
2022-05-10 17:02:44 +08:00
@i3x 按你说的意思是你申请 5M 固定带宽 VM ,但刚开始运行实际没有 5M ,在带宽用量上升才会逐渐到达 5M ,然后阿里云就认为违反用户协议了,把你账号封了?

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/851935

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX