请教大佬们如何用 pandas 高效读取被分片的 csv 文件

[sdushn]

背景

使用 pandas 库处理一个性能参数的 csv 文件，但是 csv 文件是分片的，格式如下

time	A	B	C	D
20:00	0	1	2	3
time	E	F	G	H
20:00	4	5	6	7
...

现在想读成如下格式，存成一个 dataframe 便于下游继续处理

time	A	B	C	D	E	F	G	H	...
20:00	0	1	2	3	4	5	6	7	...

现在方案及问题

现在是通过跳过 n 行读取，然后拼接的方案，会存在多次调用 pandas.read_csv，性能太差了，想请教一个 python 大佬们有什么高效的办法

pandas.read_csv(target_file, skiprows=skip_rows, nrows=range, skipinitialspace=True) skip_rows = skip_rows + range

[lpts007]

哪边产生的这种文件，让他改

[sdushn]

@lpts007 上下游都搞不定啊，难顶，只能自己处理了，又赶上鄙人不擅长 python T-T

[starzh]

或者先把文件切片再喂给 pandas，这样读取的次数会少一些

[starzh]

假如按照你的例子，字段从 A 到 L，那就把文件分成 3 个小文件，这样 pandas 就只用读 3 次，最后再把 3 个 dataframe 拼起来就好了

[nano91]

都在一个 csv 文件，那你一次性读完，然后筛不就行了，读完后 EFGH 被当成了行数据，这样的话，你把 EFGH 这种行数据给筛掉不就行了，再不济，既然你已经有 skip 的解决方法，就说明每个分片的长度是固定的，那就先转 list，[begin:end:skip]做切片然后转回 dataframe 不就行了

[nano91]

@nano91 dataframe 也可以直接切片，具体可以自己看看

[learningman]

换 C++预处理（
C++处理 csv 还算能写

[sdushn]

@starzh
@nano91
目前是计划先一次性读取，在给 pandas 之前处理好，按行读取，按分片逻辑把竖着的表处理成横着的，最后一次性给 pandas 转 dataframe

[sdushn]

@learningman 流下了没有技术的泪水，C++更不会写了

[nano91]

@sdushn 不用横过来，直接 dataframe 切片，每行就是一个元素

[sdushn]

@nano91 我去研究一下

[cassidyhere]

各位想复杂了，pandas.read_csv 有现成的 chunksize 参数

[xchaoinfo]

如果你用 Excel 应该怎么处理？
pandas 当成一个可编程的 Excel 。对比下，操作罗辑就很清楚了

[Yinz]

@sdushn #8 你的计划是对的，一次文件读取，处理成 dict （可流处理），转成 DataFrame 就可以了