在 1000 万行的文件里面找相同的行，并且记录行数和重复次数，用前端的代码实现

[hechuanhua]

咋搞？

[Mithril]

这文件传到前端确定不会撑爆用户浏览器？

[hechuanhua]

@Mithril 不知道，题目就是这样的，可以多种代码实现，但是我希望是 JS，不知道能不能解决

[wednesdayco]

老生常谈，先分片。再考虑找行的事情。

[VDimos]

算哈希呗

[123444a]

bloom filter, 浏览器必备

[luckyrayyy]

大流量查重请认准 bloom filter

[asAnotherJack]

先遍历每一行按哈希拆成一万份文件，再对每一个文件找出重复的，最后整合到一起？

[robinlovemaggie]

设计一款浏览器，自动实现文件实时逐行滚动读取，然后凭借一个强大的 AI 内核来完成记录分析，名字就叫：矩阵牌浏览器

[reus]

for 循环不会写？

[xingyuc]

先搞定提出问题的人

[whatsmyip]

分治，先哈希打散到文件，然后随便你怎么搞

[dremy]

纯 hash 费空间，1000w 的 int key 每个需要至少 3 个字节，一共 28MB，bloom filter 省大量空间，估计可以不到 100k

[raymanr]

@Mithril 我觉着既然前提是浏览器不会撑爆, 那就干脆再加个一前万个 key 的字典吧..

[hetiansu5]

@dremy 100K 也就 80W bit，全部占满了。

[crella]

逐行算出哈希值，按哈希值的前几个字母，分类并存到各个文件，然后各个文件内在继续比较。

[0bit]

HyperLogLog