400M 的数据库， 1 亿 9 千行用什么索引比较好

[Andy1999]

直接 TXT 按照 hash 划分可以嘛？

[moeeducn]

[e-mail] ，请楼主好心分享一份

[hongcha]

同 es 楼主好人 [e-mail]

[xngnln]

同求，楼主好人， [e-mail]

[BooksE]

lz 好人。
[e-mail]

[gancl]

这是求种吗? 为什么都留 email

[keysona]

楼主来一份学习
[e-mail]
谢谢了！

[cstj0505]

lz 好人，同求一份 tonytao0505@outlookcom

[thisisvoa]

lz 好人，同求一份 [e-mail] @_@

[dphdjy]

话说楼上那么要数据的人？要来干嘛？既然没正规用途？为何要要？只是留以备用吗~¯\_( •́ω•̀ )_/¯

[xlrtx]

100M 条, 400M 字节..是不是多看了一个零
https://transfer.sh/yqU6x/adddb.py

[3dwelcome]

@xlrtx
我们也下了资源、一般来说、纯文本 400m,数据量在 1900 万条是合理范围。也许楼主用的是压缩过的特殊格式。

[3dwelcome]

对了、我们是按照首字符分组、然后去重复排序、用二分查找的、效率还行。不过数据量要大不少、 400m 应该是很强的压缩技术了。

[Andy1999]

@3dwelcome 我去密码了

[Braid]

多谢楼主，建议看看 http://www.coreseek.cn/，我打算用这个测试下你的 400M 数据

[276562578]

@Andy1999 想知道你是怎么去重的？用 sort 么？

[northisland]

一直怀疑字符串 hash 会占额外的空间，但一直没摸到 hash 的瓶颈。

曾经用 python hash 索引过 20m 数量的文件名，木有问题～～

楼主 100m ，能给个反馈么？