Go 语言 MySQL Update 200 万条数据的正确姿势是什么？

[billion]

根据主键来更新每一条数据。

stmt, err := db.Prepare("update xxx set age=? where primaryid = ?")
panic(err)
_, err2 := stmt.Exec(age, id)

由于主键是唯一的，所以需要一条一条的更新。这种情况下，开了 2000 个 goroute 速度还是非常慢。请问有什么好办法吗？

[billion]

@honeycomb 这正是我想要的东西，非常感谢你的回答。

[realfreesky]

@sunchen 有更具体的操作方法不

[DCjanus]

生成 csv 然后用 MySQL 的 load data infile 功能
使用这个是单个事务且所有数据导入后才重建索引，比其他方法快很多。
注意处理唯一键冲突，选择 ignore 或者 replace

[0x8C]

tide

[jarlyyn]

@billion

觉得 go 拼接 sql 语句麻烦是因为你不知道 sqlx 吧？

[fuxkcsdn]

用 set case when 进行批量更新

[akrf]

上面那个关于 innoDB 的言论说反了

[orvice]

拼接语句，一次生成 1000 条语句在执行

[janxin]

用个 Golang ORM，告别手拼比如 jinzhu 的 gorm

[mchl]

transaction

[cxbig]

@utopia5719 我说的锁表概念是错的
关于 insert ... key update 快是看情况的，处理单条数据 update 当然快，但是 insert ... key update 可以放多条记录在一个 SQL 里的。根据 LZ 的情况，一次处理 1 千条数据，应该是比处理一千条 update 快。除非 age 是同一个值。

[sagaxu]

@cxbig UPDATE a
SET fruit = (CASE id WHEN 1 THEN 'apple'
WHEN 2 THEN 'orange'
WHEN 3 THEN 'peach'
END)
WHERE id IN(1,2 ,3);

很多 orm 支持这种批量 update，不需要用 insert

[cxbig]

@sagaxu 这种我没试过，回头验证一下。

[cxh116]

@utopia5719 因为一行 insert on duplicate 可以一次更新一千条记录，每条记录更新为不同值。

而用 update set 要更新不同值，只能写 1000 条语句。

[mengskysama]

关了 auto commit 一个 query 还是一个 round trip，还是 batch 快，比如 32l 的

[mingyun]

@sagaxu 上百个 id 这个 sql 得有多长

[msg7086]

@mingyun 越长越快啊，没毛病。大量短语句才会变慢。

这里 INSERT ON DUPLICATE 其实比较好，因为只更新一两个值，SQL 语句并不会很臃肿。

[jiazhoulvke]

这和用什么语言没太大关系，主要是这种提交方式的问题，用事务会快很多。

[fuxkcsdn]

@cxbig 我 26 楼就说了，这方法批量更新很快

我昨天特地在我 16 年的 MacBook Air 128G SSD 上测试，200 万条简单数据的情况下（单条 SQL 更新 2000 条数据），60 秒左右更新完（用 PHP 7.0 PDO mysqli 驱动）
预期测试
age 有（无）索引，有（无）事务
单条更新（不打算测试，肯定慢得一逼）
set case when 批量更新（已测无索引，无事务）
insert on dup

[fuxkcsdn]

对了，按理说，楼主举的这例子，先根据 new_age （在程序或 sql 中）进行 group，然后用
update set age=new_age where id in (1, 2...)
更新应该是最快的