请教 go 和 Python 逐行读文件，然后 insert 到数据库，哪个更快？

[sjmcefc2]

用 python 的 mmap 来读文件，insert 到数据库，总感觉速度特别慢？ pgadmin4 显示每秒 600transaction，cpu 使用率也非常低，iostat 貌似才几十 k/s。 是语言问题？ go 能更高效吗？ 或者是数据库设置问题？ 或者是 insert 方式问题？ 如何才能机器性能完全释放，把 postgres 发挥到最大？ 很多配置已经参考了德哥 blog。

[sjmcefc2]

@q2683252 另外这个单机 50w/s 是从哪里得出的数据？一直不知道怎么衡量性能。

[q2683252]

@sjmcefc2 之前我自己导入过一些数据 50w 条我记得 几秒就好了 。
有一个方法 ，你不需要知道哪条 copy 错了，因为每一个 copy 是一个事务，
比如你批量 copy 5000 条 ，中间一条错了是吧，肯定是某一条开始出现问题，
那么就试一下 copy2500 条，如果出现错误，那么错的数据肯定在 2500 条内。
依次类推， 就是二分的思想

[limbo0]

用 begin commit 事务，中间出错会 rollback,然后根据报错信息调整

[sjmcefc2]

@limbo0 貌似这样的话，很难用 python 程序自动处理啊，数据可能只有一条错，也可能整个文件都错了。

[FenGuWu]

跟语言没有关系。我也遇到了一样的问题。我用 java。一个事务提交 1w 条。开始 iostat 只有 16k。后来用 12 个线程往里怼，io 提高到 176k，server cpu 吃满。

[hustlibraco]

这种情况应该校验数据，使用数据库的批量导入方法，跟语言关系不大

[sjmcefc2]

@hustlibraco 很棒的思路啊。就是不知道如何校验数据，如何把能批量导入的弄出来，把不能批量的有错误数据弄出来。一个文件分成两个？

[bbbai]

分组插入 一组 5000 条，然后多开几个线程就会快些，1000w 八线程我跑了 30 分钟

[sjmcefc2]

@bbbai 能分享一下代码吗?机器配置如何?

[YumeMichi]

mysql 的话逐条 insert 肯定是很慢的 我以前的做法是每 5000 条 insert 合并成一条 这样能快很多 如果再加上多线程应该还能更快 但是因为 py 多线程这块当时没研究过 就只是用单线程跑的

[bbbai]

···
insert_p = ("INSERT INTO a_b_v("name","num")" "VALUES(%s,%s)")
for j in range(0,5000):

data_p = ("admin","0001")
data_p_list.append(data_cp)

cursor.executemany(insert_p,data_p_list)
db.commit()···
@sjmcefc2 核心就是这样,数据表多，行列多可能会很繁琐，可以考虑在数据结构进行优化。python2

[Siglud]

你这么写铁定慢，快速的写法是
INSERT INTO a_b_v("name","num") VALUES (%s,%s),(%s,%s),(%s,%s)....
后面拼 1000 条