MySQL 1000 万数据如何最快全量迁移?

2021-10-11 16:09:27 +08:00
 blue7wings

自建的数据库(大概 1000 万条数据,2M 带宽),现在想迁移到阿里云的 RDS 上,如何用最少的时间迁移过去?

用了阿里云的数据迁移服务 DTS,非常的慢,而且一度把源服务器上的带宽占满,导致整个网站挂了。

问一问,大家有没有比较好的解决方法呢?

5660 次点击
所在节点    MySQL
32 条回复
taobibi
2021-10-11 16:14:32 +08:00
虽然没解答,水 1 楼
https://v2ex.com/t/806269
我这边要迁移几千万个图片现在还在犯愁中
blackeeper
2021-10-11 16:19:23 +08:00
在阿里云的服务器上建一个从库,怎么迁移都没问题,又不影响你自建的主库
xiao109
2021-10-11 16:23:53 +08:00
本地先切成小库,再分批迁移过去
blue7wings
2021-10-11 16:30:51 +08:00
@blackeeper 建立一个从库,历史数据还是要导入过去的吧,我现在想直接把这部分数据导入过去就可以了。
blackeeper
2021-10-11 16:37:27 +08:00
@blue7wings 你这个问题就是限速,避免影响现有的服务呗。你可以导出 SQL,然后压缩、用 rsync 限速传输到阿里云服务器就可以了
myd
2021-10-11 17:15:53 +08:00
1. 导出 SQL 文件
2. 导入到新库
3. 配置主从(新库为从库)
4. 等到主从延迟为 0 的时候,停掉业务服务器
5. 应用这边切换数据库到新库
6. 启动业务
Xusually
2021-10-11 17:40:41 +08:00
1 、做好方案,操作顺序捋清楚。
2 、临时升级带宽到满足迁移需要。
3 、迁移。
4 、带宽回退到 2M 。

花不了多少钱。
gengchun
2021-10-11 18:59:46 +08:00
PB 一级的话,可以考虑阿里的离线迁移服务。比这小的话,其实可以试试看。最少也要几 TB 吧。

当然,没有到 TB,还是直接升带宽吧。
defunct9
2021-10-11 19:43:46 +08:00
很简单啊,做主从。慢慢来就行了
netnr
2021-10-11 19:59:35 +08:00
开一台同区域的临时宽带按量计费的机子,再做端口转发
bing0
2021-10-11 20:02:28 +08:00
添加一块网卡 1G,好像可以找客服申请 5G 口,按量付费,迁移完后删除。
moult
2021-10-11 20:10:02 +08:00
自建的数据库的服务商有没有云存储卖?有的话继续往下看。
导出 SQL 文件 - 打压缩包 - 通过内网传输到云存储上 - 开一台阿里云的按量付费实例 - 下载 SQL 压缩包 - 解压 - 通过内网导入 RDS
整个过程一小时肯定能搞定,因为云存储服务可以按流量计费,基本都不限速的。
Felldeadbird
2021-10-11 21:41:23 +08:00
内网迁移,服务器高度写 1000 万数据很快就完成了。 当然,不知道你 1000 万数据有什么内容。5G SQL 文件服务迁移大概 10 分钟完成。
bybyte
2021-10-12 00:38:16 +08:00
物理迁移
helloworld000
2021-10-12 00:47:49 +08:00
直接邮寄硬盘
Junzhou
2021-10-12 04:42:33 +08:00
备份,然后 srync 或者临时带宽升级
jsrgqinbin
2021-10-12 08:22:14 +08:00
阿里有免费的数据迁移的服务的,你找 DTS 这个产品看下
BeijingBaby
2021-10-12 08:28:28 +08:00
这么小的数据,根本不是问题啊。
qwerthhusn
2021-10-12 08:34:07 +08:00
2M 带宽,说明此站流量不大。
那为啥不把公网 IP 转成按量的,然后使用共享流量包呢?
可以用 200M 带宽,只收个流量包的费用
cxh116
2021-10-12 08:50:08 +08:00
1. XtraBackup 备份导出.
2. 上传备份文件 OSS.
3. 在机器上面拉取 OSS 的文件(走内网,不限速的).
4. 使用 XtraBackup 恢复.
5. 查看 XtraBackup 的备份文件里的信息,设从库连到主库,等从库跟上主库.
6. 同步完成,从库转主库.

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/807075

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX