机械硬盘架设静态服务器，支持千万级小文件存储&高并发，有没有开源的解决方案？

[kisshere]

关键字：机械盘、千万级、高并发

同时满足这三个条件可能很苛刻，机械盘对于大量小文件(1Mb 左右)高并发简直是噩梦，但 ssd 做静态服务器有点奢侈，这方面有没有开源的存储解决方案？

[rockyou12]

@90928yao minio 的集群我确实也没深入研究，基本中用做 s3 网关，后端实际存储还是 nfs 或者 ceph 这些。但有状态服务的扩容基本上都挺麻烦的，生产要用基本是没有加个节点就完事的...

但总的来说 minio 已经是最快能搭建的存储服务了，ceph hdfs 这些光看架构设计都要昏了，实际部署更是要吐血

[encro]

Leveldb/Rocksdb/Accumulo

任何一个都支持 10 亿级别，支持压缩，快速读写。

几块企业机械盘，几千块都舍不得花？

Leveldb/Rocksdb/Accumulo 简单比较
https://www.jianshu.com/p/4c57cd82ccde

[NeoChen]

从楼主的标题里，看出了，业务很大，但是没钱，不但要机械硬盘，还要开源的免费解决方案。。。如果上 SSD 就要亏钱的节奏，那咱是不是考虑该放弃这个业务了。。。开个玩笑~

看看业务上是不是还能再优化优化，如果小文件读写很多，机械盘物理条件不适配啊，否则只能想办法减少单盘的读写量了，能否区分高频低频，高频的用内存，中频用 SSD，低频用机械，分个轻重缓急。我觉得，就算有现成的开源解决方案也不一定适配你的业务需求，还是要从业务入手，分解需求，从而在降低费用的情况下，还保持较高的性能。

[allenforrest]

SeaweedFS

[Mithrandir]

ceph 把块大小设置成 1m，然后使用 ssd 做个缓存即可

[rrfeng]

tfs 之流就是解决这个问题的。

[fatelight]

ceph，内存使劲加

[fancy111]

逗，千万级了都，你还用这机械盘？就算机械盘能支撑起来，带宽你也负担不起啊

[kennylam777]

試過了 Ceph 後，我也說一句: SeaweedFS 及 Minio 都是玩具。

維護難度用 ceph-ansible 減輕一下

[q149072205]

可以 RAID 啊。做 RAID 10，再做分布式啊。完全无压力。

[mumonitor]

海量小文件只推荐用分布式文件系统，ceph/mogilefs 都可以，前面辅助于 nginx 就是比较通用的解法了。

[Huozy]

对象存储。机械硬盘存，ssd 是做类似缓存功能的

[baixiangcpp]

机械盘还想要高并发，搬搬手指头算一下也不可能

[xyjincan]

请求是随机的吗，hbase ？

[qibinghua]

TFS 文件系统了解一下

[dorothyREN]

文件直接扔进内存里面，比 ssd 都快

[0312birdzhang]

都 50 多楼了还没有说 FastDFS 的，emmm 是现在用的人少了吗？

[abcdabcd987]

https://www.usenix.org/conference/osdi10/finding-needle-haystack-facebooks-photo-storage

[xcstream]

都千万级了，服务器硬件费用应该不算大头了

[dongqihong]

各大云厂商的对象存储才是你真正的靠谱选择