求教, 1000 万个总计 30GB 的文件,单机存储,渴望随机读取速度快,怎么存比较好?

2018-03-22 03:42:40 +08:00
 dqh3000

用什么数据库或系统或?

请教

3554 次点击
所在节点    问与答
27 条回复
taobibi
2018-03-22 11:54:27 +08:00
SSD 组 RAID10,这样读取没问题,但是响应时间不太好说。
natforum
2018-03-22 15:07:54 +08:00
借楼问下 1300 多个文件 100g,怎么搞,原来想过 hadoop+hdfs,不知道可行性
macfee
2018-03-22 17:26:49 +08:00
tfs
zts1993
2018-03-22 17:29:30 +08:00
kv 推荐 rocksdb - 具体到实现可以看看 pika
msg7086
2018-03-23 05:52:10 +08:00
@natforum 简单点可以 GlusterFS。
iyg429
2018-03-23 09:18:43 +08:00
@binux 拷贝速度快 和什么关系最大?硬盘和内存?
leekafai
2018-03-23 10:26:56 +08:00
加内存,全部放到内存里面,要读就从内存去读,这样是最快的。

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/440266

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX