求救！限时 12 小时！ mongodb 存了 5 亿条 email，现有 100 万英文人名，想把包含人名的所有 email 找到，怎么办

[0x0208v0]

如题：
马上下班了，突然来了一个需求，

mongodb 存了 5 亿条 email，现有 100 万英文人名，想把包含人名的所有 email 找到，怎么办，

我想破脑子都没想明白应该怎么做，感觉这个除了遍历没有其他方法了，

如果遍历的话，是 O(mn)，也就是 100 百万 * 5 亿次匹配，这也太慢了，12 个小时也搞不完，求大佬帮忙想想办法。

[0x0208v0]

这种需求能实现吗，如果不能的话我就辞职了 :( 好难过，这数据量已经让我所有办法无效了

[leido]

email 根据人名排序, 然后二分查找.

[xupefei]

多开几台机器分块跑呗。mongo 那边只读，性能瓶颈就是那台机器的硬盘和网络带宽。

同时匹配所有人名用 Aho Corasick 算法。

[a719114136]

人名存字典

[AX5N]

建立索引+多线程？

[br00k]

有索引直接查库效率应该还可以。100w 开多个线程应该也挺快的。

[a719114136]

最好的方法还是临时起个数据库，人名都放进去，这样方便多台机器同时跑

[qq316107934]

每一封 email 不长的话分词然后用布隆过滤器，效率很高的，扫一遍就行。

[0x0208v0]

不行啊，如果人名是 tom，email 是 [e-mail] 那么人名存字典是不行的

[qq316107934]

上面说要建索引的，我理解这是说正文包含指定人名的吧，建立全文索引太慢了。

[qq316107934]

@v2exblog #9 楼主得再说清楚点，是在哪个字段寻找人名，正文还是发件人还是 email，可以精确匹配，左匹配，可以分词，还是只能正则模糊匹配。

[0x0208v0]

在 email 字段寻找人名

[rrfeng]

有索引吗？

没有的话 100w 人名先 hash 一下，然后遍历 5 亿数据，对比只要 O(1)，也就是 5 亿次。
100w 人名也用不了太多存储

[heiheidewo]

先把 100 万英文人名建立好 AC 自动机，然后扫一遍 5 亿 email 用不了多久吧？

[matrix1010]

当然能实现，也不要 100 万 x5 亿次，但如果公司真限定你一个人 12 小时做完那你还是辞职吧

[0x0208v0]

@matrix1010 哭了，太难了

[whahuzhihao]

放到 es 里面搜？空间换时间

[loading]

只有两个字段吗？
排序然后二分不已经很快了吗？

[pcbl]

先随机给每一个邮箱找些出来交差，老板要是说数据不对的话，怼他让他 24 小时内核对下试试。。

[Mutoo]

100 万英文人名 先折分去重一下，不至于有这么多。英文重名率挺高的。