对搭建 MinIO 对象存储的一些疑问

[heiya]

背景

• 最近对已搭建的 MinIO 做了一些性能测试。服务为单实例部署，服务器配置为阿里云 ECS 实例 2c8g 、100Mbps 外网带宽、ESSD Entry 硬盘。
• 在文件大小为 1000kb 、并发为 10 、持续时间 300s 、90%读文件的维度上，测试结果是（以读文件数据为例）：平均响应时间是 606ms ，服务器处理时间是 29ms ，吞吐量是 16.35op/s ，服务器带宽被完全占满，cpu ，内存，硬盘各项指标均正常。
• 由此可见主要的瓶颈是服务器的外网带宽，于是想到组建 MinIO 集群的方法提高吞吐量。

疑问

• 问题随之而来。假设采用四台上述相同配置的 ECS 实例组成集群，使用单实例 Nginx （官方推荐的负载均衡器之一）做负载，理论上在 MinIO 层面带宽比单实例的带宽会高，吞吐量也会随之提高。但是否部署 Nginx 所在的服务器的带宽（假设也是 100Mbps ）会是性能瓶颈？
• 如果是性能瓶颈，那我现在想到的办法是做成 Nginx 集群，然后使用更高层的负载均衡器（例如 DNS 轮询、F5 等）将流量分发到不同的 Nginx 服务器上。不知道我这种想法是否正确？
• 如果我的想法不正确，请不吝赐教。

[heiya]

@laminux29 说真的，我不是不能接受批评的人，如果他在反问之后再追加你说的这些，我会谢谢他。最后，谢谢你的回复，对我而言很有价值。

[heiya]

@chinanala 我现在的方案也是两台 ECS ，一台部署前端和 Nginx ，Nginx 转发到了另一台内网相通部署了 MinIO 的机器上。找这么说，咱们的方案是不是一样的？

[heiya]

@NessajCN 你说我臭嘴我同意，你要说他说的好听我不认可。你看别人的回答什么叫友好互助，良好沟通。

[abc0123xyz]

大厂 100m 公网可不便宜

[heiya]

@Karte 感谢回复，这对我非常有价值。我现在已采用的有两种方案，一种是公网部署，采用 OSS+MinIO ；另一种是私有化部署，不通外网，采用 MinIO 。另还有一个问题想咨询一下，如果一个文件几百 M 、上 G ，采用 CDN 是否合理呢？

[heiya]

@layxy 好的，谢谢

[heiya]

@clf @layxy 感谢回复。那如果一个文件几百 M 、上 G ，采用 CDN 是否合理呢？

[chinanala]

@heiya #42 本质上不同，因为如果没有低价的大带宽机器，我就不会自建 MinIO 。如果只是两台常规的服务器，那就没必要一台搭建 Nginx 一台搭建 MinIO ，没有任何优势。一台大带宽做入口，一台大硬盘做业务，这种搭配多好

[heiya]

@chinanala 我明白了，感谢。这两天在阿里云上也在找大带宽的机器，结果没找到。另外，有一个点与#12 楼说的一致，在公网上部署 MinIO 需要公开该项目的所有代码，如果不想公开需要商业授权；在内网不需要。您这边是怎么解决这个的呢？

[pengtikui]

好奇觉得一楼没问题的人都是啥人，平时说话都这么阴阳怪气吗

[ryan4290]

@billbob 对，你这个方案不错。

[mx1700]

如果你仅仅是因为 OSS 外网流量价格高而部署 MinIO ，那不去直接 ECS 反代 OSS ，OSS 内网流量应该是免费的。

[skiy]

我看海外很多 devploy 之类的平台，很多都是用 Traefik 。

[wunonglin]

OSS 内网是免费的。。。仅仅收存储费

[Mithril]

@heiya 那倒是不需要。GPL 系的核心是你的客户要能拿到代码，内网部署你自己就是你的客户了，自然无所谓。

但如果你是在客户的内网部署，按理说也需要。但和 SaaS 不同，你能私有化部署的客户相当于是筛选过一遍的，一般没这么闲的去起诉你要代码。只是当你的客户要在你这产品的基础上发布他们的产品时，他也要考虑这个问题。

很多人都会忽略掉，这种风险以及研究清楚这些问题要花的时间和精力其实也是一种成本。而且从 Github 的 Issue 来看，MinIO 这公司在这项上还是比较激进的。你甚至去提个 issue ，都会警告你拿它商用可能违反 license 。

https://github.com/minio/minio/discussions/13571#discussioncomment-1583482

不过这不重要，毕竟还有 Swift 什么的一大堆的替代选项。总之一个可靠性高，性能不错的存储系统的复杂度并不低，维护成本也很高。所以只是建议你在考虑成本的时候除了流量费以外把这些也算进去。
当然你要给客户私有化部署那就没办法了。你在你的 App 端做 S3 接口，然后去客户那里根据数据量选解决方案就行。比如说小型客户不在乎 License 直接跑 MinIO ，大型客户，有自己专业 IT 团队的，让他们自己去部署 Ceph 或者 Swift 。

当然还有个更好的选项，让客户直接买带 S3 API 的存储产品。毕竟你存储量上去以后肯定要买专门的存储设备，Dell 一类的厂商，有直接带 S3 API 的存储服务器。这样维护什么的问题直接甩给 Dell 就好了，毕竟需要买这些设备保存重要数据的客户，也不差那点服务费。

[wangyzj]

minio 没有那种流量 redirect 方式吗

[chihuokobe]

@kk2syc 为什么很迷惑？难道你玩的是单机版？官网集群模式推荐 Nginx 和 HAProxy 你没看到？

[SingeeKing]

minio 部署在云服务上，硬盘成本远远比 OSS 高吧

[wxw752]

@pengtikui #50 如果是对一个初学小白，不应该像一楼那样讲话。

但是对 OP 这类 ECS 、OSS 等各类云服务长期使用的人，还会搞阿里云 ECS 部署 minio 这样奇葩操作，我觉得一楼的反应没问题。把内心疑虑不加包装的发出来了而已

[wy315700]

@heiya #38 云服务的 OSS 都是内网联通的。而且内网流量免费。访问文件无需外网