廉价 VPS 计划存储 1 亿个 10KB 小文件提供对外访问,这 1 亿个数据怎么存储比较好?

2017-11-09 21:00:32 +08:00
 nonsense
100M*10KB = 10G 大小 廉价 VPS 的机械硬盘读取吞吐量在 50M ~ 130M 左右
首先是不是否定了直接存硬盘? 100M 的 inode 元数据一是得重新格式化分区,二是 inode 元数据也要访问机械硬盘就太慢了。
存储在 mysql/mongo/postgre 之类的数据库中,避免了元数据频繁访问,对每个文件做 hash,根据访问 hash 返回数据。cpu 能撑住的话应该能跑满峰值 1Gbps/125M 的带宽。
除直接存储和存数据库之外还有其它的存储方案吗?
371 次点击
所在节点    VPS
3 条回复
msg7086
2017-11-11 11:16:35 +08:00
文件系统也是一个树形数据库。
元数据不管怎样都会存在硬盘上,你以为数据库就没元数据了吗。
存文件系统的话可以看看 Reiser4。
derek80
2017-11-11 21:37:18 +08:00
光存储的化存储类似 s3 对象存储比较划算吧。
wavingclear
2017-11-12 09:58:45 +08:00
我为什么算出来是 1000G。。。

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/405078

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX