让 mysqldump 变成并发导出导入的魔法

[seanlook]

mydumper 和 mysqlpump 在特定场景下会有些限制，于是自己用 python 封装 mysqldump ，实现以多线程的方式导出库表的操作，再以 mysql 命令多线程导入新库，用于成倍加快导出，特别是导入的速度。这一切只需要在 mysqldump 或 mysql 命令前面加上 mypumpkin.py 即可。

Github 项目地址 https://github.com/seanlook/mypumpkin

介绍和使用见 http://seanlook.com/2016/11/17/python-mysqldump-out-in-concurrency-magic/

[xi_lin]

赞

[veelog]

有没有可以限制 mysqldump 速度的？？现在执行 sqldump 整个数据库操作非常慢

[seanlook]

@veelog 限流这个倒蛮新颖的，我这个工具一开起来基本上能把带宽或磁盘打满，源数据库 IO 会特别高。

mydumper 可以做到表上的多并发，可以每次 select chunk sleep 几毫秒来实现...

[seanlook]

@xi_lin 欢迎提建议...

[julyclyde]

限流（不基于数据语义）可以用 pv 工具