机械硬盘架设静态服务器，支持千万级小文件存储&高并发，有没有开源的解决方案？

[kisshere]

关键字：机械盘、千万级、高并发

同时满足这三个条件可能很苛刻，机械盘对于大量小文件(1Mb 左右)高并发简直是噩梦，但 ssd 做静态服务器有点奢侈，这方面有没有开源的存储解决方案？

[carmark]

@rockyou12 这个 ceph 维护难度太大，minio 就是一个玩具

@kisshere 海量小文件，上硬件当然可以解决一部分问题，但是从理论上需要分析具体场景，如果你这个小文件是类似图片场景的，那么有不少方案，比如 Haystack 架构，有不少实现比如 fastdfs 以及 seaweedfs，就是为这种场景设计的。

不过这个是对象接口，不是文件接口，POSIX 文件系统对这种海量小文件就是噩梦。

[rockyou12]

@carmark minio 可不是什么玩具，虽然是可以当玩具用，但是很完善的分布式存储方案

[qingpingbao]

@90928yao go 写的 seaweedfs ??

[carmark]

@rockyou12 嗯，我说的不太严谨 。很早之前看过的，不知道现在的情况，想了解下：

1. 目前哪家公司不改代码，直接上生产？
2. 怎么做迁移？集群扩容？机器故障处理，磁盘故障处理？

[zzzmh]

要我说就别折腾了，找个便宜点的 oss 一步到位，服务器就安安心心放 html，估计访问量不大的时候一个月几十块一百块到顶了，访问量大的时候么你收入也起来了，例如申请个 adsense，绝对能抵消 oss 支出。目前性价比最高的应该是又拍云，加入又拍联盟能奖励一点流量费

[Osk]

不用 ssd 的原因？

如果是怕丢数据，且读操作占比多，可以用 ssd 缓存读，不缓存写，有很多现成方案，比如 lvm cache

[neurocomputing]

高并发，高到多少？ 每秒 1000 个文件（每个 1MB ）的话（ 1GB 10Gb ），机械硬盘（按 12Gb 算）的带宽都是问题了，组 raid 话，就算 raid 1，也顶多让并发能力增加不到 1 倍

[zelin44913]

考虑下 bcache + 软阵列

[Reficul]

BFS ？ @realityone

[rockyou12]

@carmark 直接看文档吧 https://docs.min.io/cn/distributed-minio-quickstart-guide.html
您说这些东西明显就是抬杠，对 minio 不了解。minio 本身就是兼容 aws 的 s3 对象存储接口，不存在什么改代码的，所有对象存储基本都是这套协议。至于其它的，所有系统都有这些问题，但看 minio 的用户量我觉得不会有实际的问题。

[wmhx]

hadoop 十分完美了.

[ericgui]

@realpg 老铁，你自己在家建服务器么

[realpg]

@ericgui #32
闹呢
我有九个数据中心 不是九个房间，是九个建筑，分布在省内

[tulongtou]

千万级的项目，ssd 费用都不给，这有点儿过分了

[90928yao]

@rockyou12 minio 集群扩容 确实有问题。。。只能通过增加集群的方式的，然后后端自己去路由到特地集群

[BlackBerry999]

你这问题不在硬盘上，你需要多级的分布式缓存系统。

[nrtEBH]

单机的话 没戏 物理限制靠代码解决不了
多机分布式集群加 SSD 缓存是可以解决 很多方案

[catcalse]

试试阿里专门做的 小文件系统？

[encro]

千万级 RMB/并发 /文件个数 /文件大小 /PV 还是其他？

[qiyuey]

上云