有没有办法把 4 亿数据在四个小时内打散到 100 张表内

2019-11-25 20:26:12 +08:00
 dackh

rt... 头发快掉完了

4502 次点击
所在节点    程序员
27 条回复
realpg
2019-11-26 15:14:40 +08:00
数据库总占用空间多大?
要是一条记录没多大,那这任务非常简单了。。
盘足够快就完事。
比这数据量还大的物理库上云我都搞过
realpg
2019-11-26 15:36:46 +08:00
之前做的一个项目

MYSQL 5.x,11 亿条数据,数据量不均衡的分布在 47 个表(有的表只有几万条记录,不均衡分布),数据库文件大小 148GiB,数据以 int bigint 类型居多

导出 sql 文件,然后到新服务器导入大约 20 分钟。
新服务器是自建私有云,IPSAN 后端存储+NVME 本地缓存
dackh
2019-11-26 15:48:34 +08:00
@realpg 文件如何导出来,导出来花了多久
dackh
2019-11-26 15:55:21 +08:00
@JunoNin 是啊
@husinhu 导出来的时候比较花时间
@dusu 除了 ssd 都上了
dackh
2019-11-26 15:59:14 +08:00
artandlol
2019-11-26 16:42:55 +08:00
没有 ssd 程序再快也白搭
realpg
2019-11-27 00:11:00 +08:00
@dackh #23
mysqldump 这个没注意时间 都是固态盘的没几分钟

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/623047

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX