Python 的 pickle 加载大于内存上限的内容时会分段载入吗？应该怎么处理大文件读取？

[LeeReamond]

要处理很大的内容，比如视频裸流之类的东西，如果全放到内存里内存会撑爆。目前对储存和读取都有疑问，python 的 pickle 模块能简单的解决这个问题吗？就是随便 pickle.dump 一下，比如 dump 了 100G ，然后 load 的时候它会自动分段读吗？还是一次性把 100G 都读进内存之后才能解码？

[ila]

视频流本地存储后应该没有超过 2g 的

[ila]

@ila 超过后自动新文件

[secsilm]

没记错的话，pickle 是都读进内存的。

[skinny]

不要用 Python 存一大坨数据，会炸！

[ysc3839]

翻了下代码，load()是流式处理的，loads()是创建个 BytesIO 再 load()。不过看上去是纯 Python 实现的，性能大概不咋样。

[paopjian]

这操作有点骚啊,不怕死机数据全丢吗

[ruanimal]

视频流需要用 pickle ，直接二进制文件不行吗？ pickle 应该需求完整文件才能加载对象吧，读文件倒是流式读的。

[moomtong]

Memory Map?不确定视频文件行不行

[Volekingsg]

apache arrow ？

[lizytalk]

mmap

[LeeReamond]

@ruanimal 主要是大文件自己切割不太方便，裸流的话，比如 10bit 视频，1080P60FPS ，一分钟二十多 G 出去了，自己要搞储存和读取，还要切割开始和结束的位置，还有可能出错还要纠错，感觉太难搞。。