V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
wk2911335995
V2EX  ›  程序员

阿里云 OSS 迁移下载数据到本地 有省钱的方案吗?

  •  
  •   wk2911335995 · 2022-05-10 11:44:20 +08:00 · 3052 次点击
    这是一个创建于 707 天前的主题,其中的信息可能已经有所发展或是发生改变。

    公司打算把 OSS 上的 40 多 TB 的照片迁移到本地,但是嫌流量费太贵了,大家有好的方案吗

    22 条回复    2022-05-31 11:39:40 +08:00
    xmumiffy
        1
    xmumiffy  
       2022-05-10 11:48:00 +08:00 via Android
    可以申请 闪电立方 寄硬盘
    wk2911335995
        2
    wk2911335995  
    OP
       2022-05-10 11:51:17 +08:00
    @xmumiffy 嗯嗯,感谢,我先这样尝试一下
    tieqishan07li
        3
    tieqishan07li  
       2022-05-10 11:56:19 +08:00
    @xmumiffy 闪电立方好像只能进不能出
    shaoshuang
        4
    shaoshuang  
       2022-05-10 12:19:29 +08:00
    oss 走内网到一个不限流量的云主机上?然后再从云主机往本地拉?
    akira
        5
    akira  
       2022-05-10 12:27:28 +08:00
    要么花钱 要么花时间 二者选一。

    开个带宽 1M 的 ECS ,从 ECS 拉下来。算了下,好像是 34 年起步,三十四年。
    bzzhou
        6
    bzzhou  
       2022-05-10 12:36:37 +08:00   ❤️ 2
    ① 阿里云 5M 以内固定带宽成本最便宜,弄 20 台共计 100M 带宽,一天可以导出 1T 左右数据,估计 3000 左右的成本;
    ② 阿里云一台 100M 服务器,成本估计 8000 左右;
    ③ 阿里云闲时共享流量包,成本预估 30000 左右;
    salmon5
        7
    salmon5  
       2022-05-10 12:59:40 +08:00
    “ 40 多 TB 的照片”重新制作下,这样阿里云上就不用花钱了
    salmon5
        8
    salmon5  
       2022-05-10 13:01:51 +08:00
    @bzzhou
    ① 阿里云 5M 以内固定带宽成本最便宜,弄 20 台共计 100M 带宽,一天可以导出 1T 左右数据,估计 3000 左右的成本;
    ========================================================
    你这是理想状况,然而弄这个人工+数据分片程序开发,上几万人工费花了
    bzzhou
        9
    bzzhou  
       2022-05-10 13:18:26 +08:00
    @salmon5 直接弄好一台机器,就配置一个 nginx 转发流量到 OSS ,做一个系统镜像,然后启动 20 台服务器;然后同步脚本随机把请求分发到 20 个服务器;整个东西弄下来半天足够了。

    当然,同步脚本的工作量无论咋弄,都是需要的。
    wk2911335995
        10
    wk2911335995  
    OP
       2022-05-10 13:37:19 +08:00
    @tieqishan07li 这个我刚才咨询了阿里云客服,但是他们说要咨询技术那边
    wk2911335995
        11
    wk2911335995  
    OP
       2022-05-10 13:38:46 +08:00
    @bzzhou @akira @salmon5 @shaoshuang 感谢回复,这个方案我也尝试一下吧
    pengtdyd
        12
    pengtdyd  
       2022-05-10 13:44:47 +08:00
    又想马儿跑,又要马儿不吃草
    上面动动嘴,下面跑断腿
    一将无能,累死三军
    i3x
        13
    i3x  
       2022-05-10 14:12:43 +08:00 via Android
    @bzzhou
    不要宣传会被封号的方法
    不要宣传会被封号的方法
    不要宣传会被封号的方法
    客服认为违反使用协议。具体是哪条协议不明确。阿里云的客服会给你来电,问你是不是开了很多 1 核 1g 2g 的 5M 机器,然而我实际上开的只有 512M ,客服会让你迁移数据要冻结你的账号。第二次来电的时候还补充,如果再注册账号这么干,下次来电的就不是客服而是法务了,连我有几个账号都一并说了,一次性全冻结了。
    我开了很多 5M 用于自建弹性静态托管。带宽用量上升就自动触发 api 临时提带宽。我感觉完全合理没有任何问题。
    客服来电的时候其实账号看起来是没有任何问题的。第一次遇到以为是诈骗。然后就没有然后了。后来发现无法充值,一切产品无法续费。备份数据的机会都不给个通畅的路只能放弃数据:你可以通过 oss 下载你的 ecs 镜像呢。?问题是我已经被封了无法开通 oss 了啊。ecs 本身也是无法续费冻结状态
    i3x
        14
    i3x  
       2022-05-10 14:36:45 +08:00 via Android
    @wk2911335995
    突然想起有一个骚操作不知道你能不能申请经费下来。如果能的话我给你推荐个机房。
    江浙不少机房内网直通阿里不同机房。我偶然间发现的。与 ecs 的公网 ip 通信直接相当于走内网。哪怕 ecs 公网 ip 被黑洞,仍然能过通过这些机房内的独服连接。
    租用那种机房千把块一个月的千兆共享百兆保证那种独服。什么配置无所谓哪怕是 q9600 这种老古董,让机房装任意操作系统,比如 linux 跑 iptables 转发。折腾 5 个工作日或者说十天搞定吧。
    ecs 低于 100M 带宽的产品跟这种机器互通大概就是 100M 对等速度。就是请求 ecs 的公网 ip ,不是去连 oss ,连 oss 我猜测会产生费用,我没试过 oss 会不会产生费用。

    我在机房有个人工作用的 rdp 桌面专机,机房里日常也跑 zabbix 监控。我几年前偶然发现 ecs 哪怕被 d 入黑洞竟然还是可以连接的,以及之前还发现从服务器拖文件竟然几兆每秒,一下子没意识到,后来有朋友说起这种事才想到的。

    问题是很奇怪。ecs 的内网按理来说应该只跟同账号同地域互通。
    机房内路由追踪还能追踪到 192.168.11.0/24 这个位置,延迟 2 或者 6ms ,跟阿里 ecs 走公网延迟变化一致。2ms 的时候 ecs 公网和这个段延迟都是 2ms ,6ms 的时候同。这个子网应该不在机房本地,不知道是干什么的。

    应该是物理连接。就像阿里云高防开出来的那种单运营商 ip 应该就来自这些传统 idc 机房。相对于阿里 as 的 ip ,这种 ip 同样 300g 可能坚挺数倍,可能由电信清洗能无视 udp 无视海外无视 syn 所以仅仅 300g 也很稳定。
    cuixiao603
        15
    cuixiao603  
       2022-05-10 14:53:55 +08:00
    @i3x #14 行啊,这种机房怎么找
    i3x
        16
    i3x  
       2022-05-10 15:40:42 +08:00 via Android
    @cuixiao603 找的话只能是碰运气了。哪怕是同一个机房,不同防护网段路由情况都差很多。另外不只是欧洲按照 /29 开始分配 ip ,实际上国内按 /25 使用 ip 也很常见,前半段在温州后半段在杭州这种情况。这种 ip 地理位置信息就是 ipip 都不准确。。
    渣机房,带防护,必须是电信产权的机房。三方机房不要想。租用托管多了就碰上了。我有有两个托管的机房都是有这种特性的。也只是通部分可用区。。怎么精确的找的话我就不知道了。路由什么的对机房网维来说是秘密,不能说的。
    不要看投资或者规模判断是不是三方。三方机房应该再花里胡哨也不大可能作为阿里的接入区域。
    确实有运营商机房还是开窗通风散热的。我就因此报废了一柜子的戴尔刀片。。。满是灰尘柳絮的机器还好意思送其他机房托管么。用了大半年脏兮兮高压气体吹不干净的。
    beijiaoff
        17
    beijiaoff  
       2022-05-10 15:49:05 +08:00
    @akira 你好像算错了。1Mbps 一年有 3.9TB 呢
    cuixiao603
        18
    cuixiao603  
       2022-05-10 15:56:15 +08:00
    @beijiaoff #17 就怕 认真二字
    akira
        19
    akira  
       2022-05-10 16:07:26 +08:00
    @beijiaoff 心算的,各种简化,果然还是被人发现了 :dodge
    leeg810312
        20
    leeg810312  
       2022-05-10 17:02:44 +08:00
    @i3x 按你说的意思是你申请 5M 固定带宽 VM ,但刚开始运行实际没有 5M ,在带宽用量上升才会逐渐到达 5M ,然后阿里云就认为违反用户协议了,把你账号封了?
    i3x
        21
    i3x  
       2022-05-13 14:04:59 +08:00 via Android
    @leeg810312 不是。就是开了很多,一个账号几十个到两三百个 ecs 。不同身份不同营业执照开的。但是都被关联一起封了。因为连接管理的人都是同一批。
    第一次装可怜,说亏本亏本什么的。然后第二次就说要法务来电了。
    lingling47
        22
    lingling47  
       2022-05-31 11:39:40 +08:00
    不知道流量联盟 能不能白嫖一下
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   我们的愿景   ·   实用小工具   ·   957 人在线   最高记录 6543   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 27ms · UTC 21:05 · PVG 05:05 · LAX 14:05 · JFK 17:05
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.