Python 操作大文件更新 MongoDB 的操作

[linkbg]

题目的表达可能有些问题。 情况是这样的： 现有已经存在大量数据的 MongoDB 集合，现在要添加一个新的字段，然后这样字段的值来自于一个 json 文件。不过这样文件特别大（ 4.5G ）在使用 Python 中 json 的 loads （）来操作会卡死，因为 12G 的内存更本弄不了。我还想过 split 来处理 json 文件，但是生成的文件太多，造成在遍历文件的时候卡主了。 至于为什么不用 MongoDB 自带的处理 json ，是因为 json 有些字段不需要。

不过我想想，目前要是能导入进去就可以了。

问题就是怎么去更新呢？

谢谢

[minvacai]

这个不太懂，不过如果没有其它好办法的话能不能用 MongoDB 自带的先导入到一个临时库里再去掉不需要的部分？

[hareandlion]

使用游标读取数据，手动设置一次更新的数据条数，时间换空间，另外这种可以考虑一下协程或者多进程操作的吧？

[golmic]

你这问题应该和 mongodb 无关吧，主要问题是如何用 python 操作大的 json 文件读写数据

[crayygy]

之前遇到过类似的问题，从一个超大的文本文件倒入到数据库，比你这个还大， 10G 每个文件，本来用的 mongodb ，测了一次以后我转到 postgresql 去了……

[oulongqi]

MongoDB 有 aggregate pipeline / bulk 操作, up 可以查一查

[wangxn]

不生成文件对应的 JSON 对象，直接解析 .json 文件，使用正则表达式或者其他什么手段来提取数据。

[billlee]

你是说用 split(1) 处理？如果可以用分行处理，那也可以直接用 python 的 for line in file_object 来逐行处理啊

[cxbig]

既然 Python 都参与了，没有对数据做 pagination 么？