上百亿个键值对使用什么数据库好?

2019-04-17 22:40:11 +08:00
 blackcurrant
键和值都是不超过 70 个字符的字符串。读的速度要求不大,写的速度需要非常快,最好还能节省空间。
什么数据库合适呢?
6498 次点击
所在节点    程序员
38 条回复
wbrobot
2019-04-18 09:53:23 +08:00
信得过豆瓣的话,beansdb
dremy
2019-04-18 10:02:44 +08:00
YY 的面试题吧,要真有这么大的数据量,还会连个数据库都选不定?
qianji201712
2019-04-18 10:06:42 +08:00
Instagram 有一篇介绍 Redis 的 Key 存储的文章,写得很详细,可以参考一下:

https://instagram-engineering.com/storing-hundreds-of-millions-of-simple-key-value-pairs-in-redis-1091ae80f74c

中文翻译: https://www.cnblogs.com/ajianbeyourself/p/4475172.html 不知道翻译是否准确,看英文最好
kex0916
2019-04-18 10:10:38 +08:00
hbase
qq976739120
2019-04-18 10:16:45 +08:00
目测又是哪个面试题
joesonw
2019-04-18 10:19:55 +08:00
TiKV?
gouchaoer
2019-04-18 11:47:50 +08:00
mysql 用 tokudb 引擎啥的?组个 8T 硬盘的 raid 足够存数据了。。。别的分布式方案运维挺麻烦的,用云服务又很贵
zorui
2019-04-18 11:55:27 +08:00
etcd
yuankui
2019-04-18 11:59:18 +08:00
HBase,go go go
abcbuzhiming
2019-04-18 12:01:01 +08:00
这种级别的数据必须考虑是写多还是读多的问题了,楼主你的场景是什么,是写多还是读多?
yanaraika
2019-04-18 12:03:56 +08:00
9 成 9 是面试题……实际中性能最高最简单的做法就是买台几百 G 内存的机子+压缩下元素+LSM Tree。不折腾多机
yanaraika
2019-04-18 12:05:25 +08:00
sap hana 解决 99%的数据问题
blueskea
2019-04-18 12:05:34 +08:00
hbase
txy3000
2019-04-18 12:07:08 +08:00
要求写快 可以上分布式的内存数据库 zookeeper + redis + codis 可扩展 可容灾 可随机读取 丰富的数据结构 还可以异步持久化
如果读确实很少 且一致性要求不高 也可以用 Kafka 做个消息层 把写的消息存起来 后端接个 disk 的数据库 慢慢处理写就行了
blless
2019-04-18 12:17:17 +08:00
问就是分片,redis 或者自己 hash 分都一样
luozic
2019-04-18 13:38:00 +08:00
有錢沒? 有錢 隨便;沒錢自己上 redis/postgresql
hoythan
2019-04-18 13:53:07 +08:00
推荐 redis 都是认真的吗,没有读的需求,只要写呀。
tenyears102
2019-04-18 19:06:16 +08:00
pika

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/556202

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX