5T 的 MySQL 数据上云？如何做才能更好？

2020-11-25 15:43:43 +08:00
 chinafengzhao
由于架构和历史原因，公司在本地机房部署 MySQL 做数据仓库，主要是 OLAP 的业务，跑存储过程和 ETL 做数据清洗。单实例建的 MySQL，里面各种中文表名和各种大宽表（建表和索引也没有完全符合 OLTP 的最佳实践），数据量日积月累，现在有 100 多个 schema，单实例数据量差不多有 5T 了，运维起来非常吃力。现在公司准备上云，估计还是这套架构。
4795 次点击
所在节点    云计算
33 条回复
brendanliu
2020-11-25 21:18:03 +08:00
快递硬盘吧 TB 级别的自己上传费时费力 可能还会出错 快递硬盘期间的增量数据最后再使用官方的迁移工具搞一下
xuanbg
2020-11-25 22:22:21 +08:00
@dynastysea 我是怕楼主本地机房是小水管啊
Weixiao0725
2020-11-26 01:18:54 +08:00
买云服务器，搭建 TiDB 集群，自己写个程序慢慢往里面导呗
hongzai118
2020-11-26 08:49:26 +08:00
需要采购阿里云 华为云 腾讯云 可以联系我 我这边给你全网最低额外返现优惠 vx：gome3000
stranger75
2020-11-26 09:48:30 +08:00
我们这边可以出架构方案和技术售后，老哥需要的话联系我
@chinafengzhao
janxin
2020-11-26 10:04:49 +08:00
花钱买方案？
IDAEngine
2020-11-26 11:10:47 +08:00
用亚马逊 aurora 呀，国内版的还不错，而且都是企业用户
whx20202
2020-11-26 11:39:04 +08:00
阿里云有个 dts，可以看一下
freecloud
2020-11-26 12:33:31 +08:00
/t/729386
可以联系我，我帮出架构和方案。
way2explore2
2020-11-26 12:54:34 +08:00
@IDAEngine 这个情况 Aurora 很可能或者不久之后也会吃力，最好是直接 redshift

aurora 不是很适合 data warehouse
way2explore2
2020-11-26 12:55:19 +08:00
联系我出方案也行。 哈哈哈
lance6716
2020-11-26 21:07:25 +08:00
@Weixiao0725 有 tidb-lightning，配置合适的话 200G/h 吧，比自己写快
Svalues
2020-12-10 11:25:18 +08:00
@dynastysea 可能还不止，考虑一下磁盘的 IO

这是一个专为移动设备优化的页面（即为了让你能够在 Google 搜索结果里秒开这个页面），如果你希望参与 V2EX 社区的讨论，你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/729147

V2EX 是创意工作者们的社区，是一个分享自己正在做的有趣事物、交流想法，可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX