ESL 工具 kettle 导入 MySQL 千万级数据速度快速变慢

2023-01-25 01:47:30 +08:00
 dollck
提前声明环境条件:
Windows 11 Kettle Spoon
java version "1.8.0_351"
Java(TM) SE Runtime Environment (build 1.8.0_351-b10)
MySQL8.0 (本地)
800MB csv 文件 约 3000 万行数据
表输出线程 x10
使用连接池
提交记录数量 10000
useCompression true
rewriteBatchedStatements true
useServerPrepStmts false

问题说明:
使用 Kettle Spoon 向本地 MySQL 服务器导入 CSV 数据。启动转换后发现表输出速度骤降,30s 内从单线程处理速度 9000+降到 100+

尝试措施:
尝试过换成远程数据库,现象相同
1201 次点击
所在节点    数据库
1 条回复
opengps
2023-01-25 12:24:22 +08:00
查一下导入过程磁盘的队列大小,队列大则可能已经触及性能上限了

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/910522

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX