Python 读取 Excel 超大数据文件问题

[joson1205]

一个交易记录数据 xlsx 文件,存在两个 Sheet,行数分别是 2w,15w,列数 45+左右,需要自动化生成一份报表,报表的数据由这两个 Sheet 交叉运算得出,目前做法是 xlrd 读取到内存然后 xlsxwriter 写入一个新的文件中.
因为某些原因,该交易记录的数据不能存入数据库里面,暂时只能以表格形式存放,每次读取的时候都很费时间,考虑分块读取,好像库并不支持,pandas 类的 chunksize,基本都是针对 CSV 文件,有没有更好的办法解决读取速度慢的问题??

[leavic]

xlrd 已经挺快了，但是我印象中 xls 格式比 xlsx 格式快 N 倍。

[leavic]

之前写过一个分析从长生产数据的脚本，大概就是 2~3 万行的样子，我就直接要求他们把 excel 转成 2003 格式，否则太慢了。

[joson1205]

@leavic 限制行数太少了,也满足不了日常业务需求

[joson1205]

@youthfire 简单搜索一下关于 pyExcelerate 的资料,这个库好像不支持添加单元格批注的,是我没找到方法吗?资料实在太少了,知道的可以告诉我一下,谢谢

[chong3397]

插个眼，感觉将来会遇到类似的问题

[omph]

xlsx 转 csv，可以用其它程序做，go、rust 应该都有

[wuwukai007]

xlrd 真的很慢，之前开多个进程，勉强用着

[snw]

@joson1205
VBA 对基本数据格式的加减乘除运算不会慢到哪里去。对于 Black-Scholes 涉及的正态分布之类可以用数值计算自己写，比自带公式快。还有些写法上的注意点（比如 a*a*a 比 a^3 快）。

VBA 的速度劣势是 Object 的 GC 慢（打包在 Collection 或 Dictionary 时能感觉到），时间复杂度是平方关系，10 万个 Object 的 GC 大概在 10 秒左右。
另外 VBA 现成的操作 Array 轮子几乎没有，要快的话需要直接调用库。

VBA 的优势在于可以读写 xlsb 格式，体积和打开保存速度比 xls, xlsx 好得多。

[youthfire]

@joson1205 印象中是没有的，或者我自己也没找到。其实这个库可以说有点简陋，更新频率也低，但对于不复杂的大批量 excel 文本写入，速度惊人，当初也是从 stack overflow 看到别人讨论 xlsx/xlsm 写入速度优化知道的。另外一个我自己遇到的问题是对于日期的支持不理想。

[youthfire]

@snw xlsb 确实是好东西，然而支持他的库太少了，相对 xlsx/xlsm

[joson1205]

@snw 其实刚开始拿到报表的时候就是用的 VBA 实现的,后面经过一系列的调整,运算已经是越来越复杂,而且又涉及到拆分,样式,单元格的合并等等这些,优化过一次,电脑还是都直接卡死,没办法,才考虑用的 Python.
可能是我水平不够....见笑..

[deorth]

我现在每天拿 openpyxl 写入 100w 行的数据到 xlsx，要跑 3 分钟😅

[jiang123574]

xlwings 可以看看这个 读取超快

[joson1205]

@jiang123574 嗯,已经用上了,目前用的就是它

[wangweiggsn]

@snw 我也用了很多 xlsb 格式文件，用 pyxlsb 处理很快。慢是由于 office 的 com 接口引起的，只要能绕开 com 接口，当文本处理 excel 文件，都很快。

[d5d]

前来挖坟

遇到同样的问题，pandas to_excel 用 openpyxl 执行起来循环写入多个 execel 的 sheet.模式用 append 效率比较慢.


大佬们用什么办法？