V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
Recommended Services
Amazon Web Services
LeanCloud
New Relic
ClearDB
chinafengzhao
V2EX  ›  云计算

5T 的 MySQL 数据上云?如何做才能更好?

  •  
  •   chinafengzhao · 58 天前 · 3321 次点击
    这是一个创建于 58 天前的主题,其中的信息可能已经有所发展或是发生改变。
    由于架构和历史原因,公司在本地机房部署 MySQL 做数据仓库,主要是 OLAP 的业务,跑存储过程和 ETL 做数据清洗。单实例建的 MySQL,里面各种中文表名和各种大宽表(建表和索引也没有完全符合 OLTP 的最佳实践),数据量日积月累,现在有 100 多个 schema,单实例数据量差不多有 5T 了,运维起来非常吃力。现在公司准备上云,估计还是这套架构。
    33 条回复    2020-12-10 11:25:18 +08:00
    snail00
        1
    snail00   58 天前
    有 5t 的数据量, 其他周边服务应该也要陆续上云, 最简单的就是联系云厂商会有专人对接出方案的.
    cccp2020
        2
    cccp2020   58 天前
    买云服务器,然后买 rds 什么的,发工单就行,大客户他们有专人解决,你可以看看我的历史帖子,有优惠券的购买 rds
    opengps
        3
    opengps   58 天前 via Android   ❤️ 2
    快递硬盘
    mitsuhasanye
        4
    mitsuhasanye   58 天前   ❤️ 1
    让乙方出方案更保险,肯定不止你一家有过这么多数据
    iphoneXr
        5
    iphoneXr   58 天前   ❤️ 1
    买阿里云 polardb 吧,兼容 mysql,不用去管存储空间用量了。
    chinafengzhao
        6
    chinafengzhao   58 天前
    @iphoneXr 完全兼容吗?这个主要是 OLAP 业务,跑各种存储过程。polardb 太贵了啊
    mahone3297
        7
    mahone3297   58 天前
    @iphoneXr 请教下, polardb,rds,oceanbase 的区别是什么?
    buaacss
        8
    buaacss   58 天前
    做一个点对点 vpn 连到本地机房,然后做一个 dts 把数据全量同步过去,并设置增量同步,最后切 dns 同时把老数据库上的账号都设置为只读
    chinafengzhao
        9
    chinafengzhao   58 天前
    @iphoneXr 我也想用 polardb,不想折腾那么多,但是我们本地资源就实在是太贵了
    orclcast
        10
    orclcast   58 天前
    走线下吧
    iphoneXr
        11
    iphoneXr   58 天前 via iPhone
    @chinafengzhao 先看好不好使,贵不贵的问题有办法解决,一次性买 3 到 5 年,再走个代理商回扣啥的,算下来很便宜。自己用 ecs 来搭建那种双节点也差不多价钱,不贵的。
    第二个 配合 dms 做数据库管理,das 做数据库优化监控(自动限流、索引创建删除、扩容节点等),dts 做数据同步等
    iphoneXr
        12
    iphoneXr   58 天前 via iPhone
    @mahone3297 我觉得没啥区别,感觉更像迭代产品的关系
    dynastysea
        13
    dynastysea   58 天前
    @iphoneXr 区别大了啊,这几个形态完全不同。polardb 是基于共享存储方案的,可以快速扩容 ro 节点。rds 更接近原生 mysql 。这两者都是 100%兼容 mysql 。ob 是分布式数据库,完全自研,只能说兼容绝大多数 mysql,主要场景争对金融级数据库,一般的应用不适合
    ifuture
        14
    ifuture   58 天前
    分而治之呗,100 个 schema,单个 schema 也就不大了,一个一个迁移,迁移以后,再把迁移期间原来系统的数据增量同步过去
    iphoneXr
        15
    iphoneXr   58 天前 via iPhone
    @dynastysea 哈哈哈 我承认我对第二个问题有点张口就来了。不过我当时想的是对于 java 程序来说,没区别。所以我还是坚持我的说法。
    springz
        16
    springz   58 天前
    为什么没人推荐 TiDB,推荐下。
    springz
        17
    springz   58 天前
    TiDB 还有 TiFlash 和 TiSpark,OLAP 场景多合适。
    xuanbg
        18
    xuanbg   58 天前
    阿里云有个数据迁移工具的,配好了让它跑就行了。5T 跑个 10 来天总能跑完的吧。
    dynastysea
        19
    dynastysea   57 天前
    @xuanbg 哈哈,你是看不起阿里云? 5T 这么点数据量都要跑 10 天?
    threeEggs123
        20
    threeEggs123   57 天前 via Android
    aws snowball🤓
    brendanliu
        21
    brendanliu   57 天前
    快递硬盘吧 TB 级别的自己上传费时费力 可能还会出错 快递硬盘期间的增量数据最后再使用官方的迁移工具搞一下
    xuanbg
        22
    xuanbg   57 天前
    @dynastysea 我是怕楼主本地机房是小水管啊
    Weixiao0725
        23
    Weixiao0725   57 天前
    买云服务器,搭建 TiDB 集群,自己写个程序慢慢往里面导呗
    hongzai118
        24
    hongzai118   57 天前
    需要采购阿里云 华为云 腾讯云 可以联系我 我这边给你全网最低额外返现优惠 vx:gome3000
    stranger75
        25
    stranger75   57 天前
    我们这边可以出架构方案和技术售后,老哥需要的话联系我
    @chinafengzhao
    janxin
        26
    janxin   57 天前
    花钱买方案?
    IDAEngine
        27
    IDAEngine   57 天前 via iPhone
    用亚马逊 aurora 呀,国内版的还不错,而且都是企业用户
    whx20202
        28
    whx20202   57 天前
    阿里云有个 dts,可以看一下
    freecloud
        29
    freecloud   57 天前
    /t/729386
    可以联系我,我帮出架构和方案。
    way2explore2
        30
    way2explore2   57 天前
    @IDAEngine 这个情况 Aurora 很可能或者不久之后也会吃力,最好是直接 redshift

    aurora 不是很适合 data warehouse
    way2explore2
        31
    way2explore2   57 天前
    联系我出方案也行。 哈哈哈
    lance6716
        32
    lance6716   56 天前 via Android
    @Weixiao0725 有 tidb-lightning,配置合适的话 200G/h 吧,比自己写快
    Svalues
        33
    Svalues   43 天前
    @dynastysea 可能还不止,考虑一下磁盘的 IO
    关于   ·   帮助文档   ·   FAQ   ·   API   ·   我们的愿景   ·   广告投放   ·   感谢   ·   实用小工具   ·   2913 人在线   最高记录 5497   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 32ms · UTC 12:36 · PVG 20:36 · LAX 04:36 · JFK 07:36
    ♥ Do have faith in what you're doing.