excel 批量导入数据库并返回导入情况的问题

[admingyu]

Flask 后端开发，现在公司有个需求是将 excel 表内的数据导入到数据库（字段不是一一对应的，有些字段不需要），要求返回导入成功数量，导入失败数量，以及具体哪几条数据导入失败，成功的数据要入库。

目前的方法是： sqlalchemy + xlrd

1. 导入数据库用db.session.bulk_insert_mappings()
2. 检查哪几条数据不成功用的是把数据查出来和 excel 内的数据做对比

-- 但是感觉 2 这样做好蠢，不知道有没有什么更好的方法，有人分享下吗

[mu666]

导入数据库不是存嘛？把存的结果记录一下，导出到 excel 这样？

[admingyu]

@mu666 可是我们怎么知道这些数据有没有真正的存进去呢

[mu666]

@admingyu 你存数据库，save 失败不会报错吗？做个判断？报错把信息记录一下，然后存 excel 里

[admingyu]

@mu666 是写接口，Excel 数据存进数据库，返回 json 数据告诉导入结果, 当 save 失败的时候，并不会把那部分成功的数据保存到数据库，而需求是`成功的保存，失败的返回，并且告知哪几条数据失败了`，如下：
`{
"sys_status": "SUCCESS",
"data": {
"total": 23,
"fail": 1,
"fail_sn":
[
"Wwtr2vf34gd7e940fg"
]
},
"message": "成功"
}`

[ajun727]

用 kettle spoon 水壶工具就可以批量导入吧。。至于成功不成功，我觉得只能通过对比数据库，not exist 来操作吧

[lmingzhi08]

我一般先用 pandas 读取 excel 文件，然后再后续处理。
其实是否可以先将 excel 文件转为 csv,txt 之类的文本文件，后续处理会方便一下？
然后导入数据库之前做数据校验，符合格式的导入数据库，不符合格式的导出到错误日志。

[SingeeKing]

我想说一句请换成 openpyxl

[admingyu]

@lmingzhi08
@ajun727
我最终采取的就是这样的操作，谢了各位