MySQL 1000 万数据如何最快全量迁移?

2021-10-11 16:09:27 +08:00
 blue7wings

自建的数据库(大概 1000 万条数据,2M 带宽),现在想迁移到阿里云的 RDS 上,如何用最少的时间迁移过去?

用了阿里云的数据迁移服务 DTS,非常的慢,而且一度把源服务器上的带宽占满,导致整个网站挂了。

问一问,大家有没有比较好的解决方法呢?

5686 次点击
所在节点    MySQL
32 条回复
jixiangqd
2021-10-12 10:49:53 +08:00
@cxh116 阿里云 RDS 现在支持从 oss 导入 xtrabackup 的备份了
wuwukai007
2021-10-12 10:56:21 +08:00
直接把 mysql/data 压缩发过去
zhengxiaowai
2021-10-12 10:58:38 +08:00
#6 + #7 应该是最快的
导出 sql 上传到 oss,起一个机器从 oss 下载 然后导入 mysql
Linxing
2021-10-12 12:32:15 +08:00
刚刚迁移了几个亿上去的表示 完全是按照 6 楼的操作
wzq001
2021-10-12 16:46:21 +08:00
1 、确定业务访问低峰时间
2 、mysql/整体打 zip 包
3 、云服务器 wget 下载解压 zip 包,配置好
4 、在此期间产生的新数据,可以交给主从,轻轻松松
RangerWolf
2021-10-12 19:43:39 +08:00
你现在在哪个云服务? 可以在服务器上面把数据导出,然后放到文件存储上面, 这样出网带宽就不跟你服务器的带宽冲突了
encro
2021-10-12 20:02:52 +08:00
阿里云迁移,设置好带宽,才 1000 万,最多两个小时。
迁移好后设置自动同步,找一个晚上将代码也迁移过去了就是了。
encro
2021-10-12 20:07:45 +08:00
阿里云 DTS 可以设置带宽,设置小一点,慢慢迁移,然后迁移完后开同步。
这样到了底峰的时候停掉原来数据库,切换到阿里云数据库。
我的几百 G 大小,N 亿记录都几个小时迁移完了,2H4G 数据库。
dgr007
2021-10-12 20:47:24 +08:00
DTS 很快的,你的瓶颈不在 DTS,是不是带宽
betteryjs
2021-10-12 22:22:16 +08:00
oss 拉吧
blue7wings
2021-10-13 09:33:11 +08:00
@Xusually
@encro
@dgr007 感谢回复,按照你们的方法提升了带宽,然后用 DTS 迁移大概 10 分钟完成,再次感谢
scalaer
2021-10-13 11:38:52 +08:00
阿里 DTS 同步很快的, 我之前参加过 DTS 做的比赛,50G 数据迁移 mysql 花了 15 分钟, 排倒数第二

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/807075

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX