mysql 如何导入 20g 的超大文件

2020-11-24 09:44:44 +08:00
 userlijinhong
最近对 mysql 如何导入超大文件比较感兴趣。我看网上的教程方法乱七八糟,什么 navicat 导入都说出来了,我目前的思路是先将文本划分为小文本,然后再导入。不知道有没有更好的办法,求教!
8537 次点击
所在节点    MySQL
51 条回复
laminux29
2020-11-24 22:08:40 +08:00
分批导入并校验 + 实时监控各设备负载并不断解决瓶颈
lostberryzz
2020-11-25 00:32:11 +08:00
@KIzuN1 可能是操作失误,两个文件没有区别
en20
2020-11-25 00:43:41 +08:00
看不懂各位谜语人,什么红薯 8e,谁能明示一下??
zhongjun96
2020-11-25 09:04:55 +08:00
@en20 #43 红薯 39L 解释了,8e 就是 qq 数据
kios
2020-11-25 09:53:04 +08:00
感觉你重新定义了超大这个词汇,哈哈哈哈
funbox
2020-11-25 14:36:42 +08:00
@userlijinhong 这个还好 首先你要吧 sql 文件上传到服务器上 这样的话建立索引的时间会大大缩短 导入会加速的
toomlo
2020-11-25 16:19:04 +08:00
你要是没机器,就去各种云创建个按量付费的,在 docker 里面搞好镜像在上传
userlijinhong
2020-11-27 09:37:40 +08:00
@kios 看来我还是个没长个见识的小白,哈哈哈嗝
csx163
2020-11-28 10:25:46 +08:00
为什么没人提 mysqlsh
Ayersneo
2020-12-05 00:15:58 +08:00
我就是这么干的 我是新手效率很低 用 pandas 分了 10 几个小文件后 load data infile 但是还是动不动就报错啥严格模式,啥满了 bulabula😖
ibin
2022-09-09 21:29:13 +08:00
老哥,分享一份

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/728583

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX