POI 如何快速导出千万级数据的 Excel

[Kimen]

在使用 POI 导出一千万行数据到 Excel 时，CPU 长时间爆炸💥
现在的解决方案是：

• 使用 SXSSFWorkbook 类
• 每 50W 数据划分 sheet
• 采用多线程，每个 sheet 开一个线程去跑

现已探明的问题：
一千万的数据在创建 Excel 前都存储在 list 中，当 list 占用内存很小时，导出很快，一旦 list 变得很大，分段导出都会变的很慢

[mhycy]

先不说导出，就是成功导出了，这千万级数据的 Excel 有办法开么

[Kimen]

@mhycy 哎，客户要求的，之前 100w 试过是可以打开的

[fengpan567]

为什么要搞一个 1000W 大小的 list 出来，不能分页查吗？

[fox1751]

搞明白客户的真实需求吧.

[7925250]

可以改造成流式导出，一千万的数据 (1.3GB) 导出，耗时 2 分钟

[wangkun025]

Excel 目前单个 sheet 只能容纳 104 万行。不过可以分 sheet，sheet 数量没有限制。

[chendy]

直接走数据库查询导出 csv 吧

[MidGap]

曾经踩过内存溢出的坑，就是用使用 SXSSFWorkbook 类这个方法解决的，但是这样 IO 好像就会变密集，慢也是无法避免的。。 本身这个需求感觉就很扯淡，使劲 battle 一下多好~ 或者用 csv 啊，简单多了

[MidGap]

@fengpan567 excel 的 append 操作很坑，要先读到内存再往下写我记得

[aguesuka]

直接导出 csv 文件, 能提出导出 1000 万行 excel 数据的客户估计也分不清这两种数据的区别

[franklinray]

导出 1000 万行 excel，一般电脑都打不开吧。打开了谁能去查看数据……如果只是为了导出数据，然后导入其他系统做分析，换成 csv 不好吗

[binsys]

我处理大量 EXCEL 数据用 MS 的 OPENXMLSDK ,在直接以 XML SAX 形式写入

[pengtdyd]

什么样的电脑可以打开 1000w 的 excel，很难想象

[jzphx]

easyexcel 尝试用过了吗

[liuxu]

这种阔气的问题，只有 java 节点提的出来

[xuanbg]

50 万行的 excel，我 i9/32G 的 mbp 打开是能打开，但很费劲。100 万行是想都不敢想，何况 1000 万行。SB 客户不能惯着

[7228897]

单位的电脑 4G 内存，打开 40 万条的月数据已经卡的不能动了

[chenqh]

1KW 估计内存会炸把

[EscYezi]

之前用 easyExcel 看官网说是擅长导出大量数据，楼主可以体验一下🤣

[jorneyr]

这是要把整个数据库都给搬家了