Java 超大文件统计

[MrXiong]

对于超大文件也就是无法一次性加载到内存，行数据是 key：value，统计同一个，key 的不同 value 个数，并输出到文件，格式为 key：n，输出的文件假设也很大，也无法加载到内存中，求思路

[zynlp]

这种活就交给 python 吧

[MrXiong]

@zynlp 语言其次的，思路是关键

[araraloren]

思路不就是读多少处理多少么。。

[huiyadanli]

把超大文件处理到数据库中，然后用 sql 统计数据

[wplct]

java 不是可以按行读取么

[wplct]

要不，先跑一边计数每个 key 有多少个 value，然后一个个 key 分开处理，慢是慢些

[xylophone21]

超大是多大？目的是什么？（考试还是工程）
如果是工程问题，最简单的方法其实是转嫁矛盾，读一行，写一条数据到文件行不行？文件不好查找，直接用数据库行不行？数据库还不够，分表行不行？分表还不行，用跟牛 X 的数据库分表啊。
如果是考试，那就往 hadoop 生态，MapReduce 上扯。

[MrXiong]

@xylophone21 直接上 MapReduce 进行处理？

[EchoUtopia]

postgres:
insert into words_count(word) values('example') on conflict do update count=words_count.count + 1 returning id

[wplct]

all_key = {}
with open('f.text') as f:
key = f.readline().split(':')[0]
if key not in all_key:
all_key[key] = 0
all_key[key] += 1

result = {}

for key in all_key.keys():
values = set()
with open('f.text') as f:
key, value = f.readline().split(':')
if key == key:
values.add(value)
result[key] = len(values)

[wplct]

你可以再改成一次跑多个 key 的统计，

[EchoUtopia]

postgres:
insert into words_count(word) values('example') on conflict do update set count=words_count.count + 1 returning id

[FreeEx]

流处理了解一下

[kaiser1992]

Java 读取文件哪有一次性加载到内存的

[EchoUtopia]

https://github.com/EchoUtopia/my-python-practices/blob/master/trie.js
之前用 js 统计了《心理学与生活》这本书的词频，用的前缀树，这本书纯文字只有 1M 多，我用 js 读取整本书、将单词插入前缀树、搜索一个单词、列出单词的频次并按照频次排序，所有操作加起来不到 0.5 秒。

[BBCCBB]

bufferreader 啊, 不都是流处理吗?

[SoCrazyStone]

Java 直接读就可以吧,不是一次加载进内存,然后存到数据库里,结束了再导到文件?

[wplct]

@EchoUtopia #15 想啥呢，内存放不下，应该是 gb 量级了

[pathbox]

一行一行的 read 处理 就没有大文件内存限制了

[rrfeng]

awk '!a[key:value]{n[key]++}END{for(i in n)print i,n[i]}'