对搭建 MinIO 对象存储的一些疑问

[heiya]

背景

• 最近对已搭建的 MinIO 做了一些性能测试。服务为单实例部署，服务器配置为阿里云 ECS 实例 2c8g 、100Mbps 外网带宽、ESSD Entry 硬盘。
• 在文件大小为 1000kb 、并发为 10 、持续时间 300s 、90%读文件的维度上，测试结果是（以读文件数据为例）：平均响应时间是 606ms ，服务器处理时间是 29ms ，吞吐量是 16.35op/s ，服务器带宽被完全占满，cpu ，内存，硬盘各项指标均正常。
• 由此可见主要的瓶颈是服务器的外网带宽，于是想到组建 MinIO 集群的方法提高吞吐量。

疑问

• 问题随之而来。假设采用四台上述相同配置的 ECS 实例组成集群，使用单实例 Nginx （官方推荐的负载均衡器之一）做负载，理论上在 MinIO 层面带宽比单实例的带宽会高，吞吐量也会随之提高。但是否部署 Nginx 所在的服务器的带宽（假设也是 100Mbps ）会是性能瓶颈？
• 如果是性能瓶颈，那我现在想到的办法是做成 Nginx 集群，然后使用更高层的负载均衡器（例如 DNS 轮询、F5 等）将流量分发到不同的 Nginx 服务器上。不知道我这种想法是否正确？
• 如果我的想法不正确，请不吝赐教。

[superchijinpeng]

1 楼说的不明白吗

[wunonglin]

@heiya #10 另外，阿里云的 OSS 搭配阿里云的 CDN ，我记得价格最低可以节省到 0.15 左右。自建何必

[hnbcinfo]

一楼回复没问题，并没有恶意，只是调侃的方式建议你别这么搞。你又何必这么玻璃心呢。
你自己认真想一想，心里回答一下一楼的问题，难道不觉得人家的建议很有价值吗

[vopsoft]

MinIO 集群能在线扩容吗

[wy315700]

@heiya #6 ECS 的流量费我没记错是 0.8 元/G 怎么也轮不到比 OSS 贵。而且为啥不套 CDN 呢

[songyoucai]

MinIO + CDN

[kzfile]

云厂商的 oss 综合成本比自建的低，实在想不出自建的必要性，除非有特殊的定制业务？

[NessajCN]

@heiya 1 楼说得对
而且人家也没说啥不好听的，你应激什么？
明明最不友善的就是你自己
本来还想跟你好好讨论的，一看你这臭嘴那我也不客气了

「奇葩需求没事找事，建议直接买百度云会员」

[hefish]

我觉着还是用在内网吧。。
我觉着能用 oss 之类的，还是 oss ，自建需要强大的能力和精力。 当然，一两个节点也许是可以的。 不过一两个节点不如多搞几块盘跑单机啊。。。

[Karte]

说实在的, 有 OSS 不用非得自己搭. 图啥啊?

自建存在以下问题:
- 安全措施 (即使 MINIO 有账户校验和链接校验, 但只要有漏洞数据就全丢了)
- 磁盘限制 (云厂商提供的硬盘是按照容量分配 IOPS 的, 你容量越小, IO 越小. 存个大文件直接把 IO 吃满了)
- 带宽限制 (你也说了带宽瓶颈了, 既然你是对外提供服务, 为什么不选择 CDN ?)
- 高可用 (自建没有现成的好)


PS: 如果只是出于学习的目的, 那尽管折腾.

[tclm]

我以前采取的是 OSS+CDN 替换本地自建 MinIO ，主要带宽成本太高，而且容易成瓶颈，自己的运维硬件还要考虑容灾，多备，还不如全走云。

[clf]

我们这边用下来。建议直接 CDN+OSS 的方案，可能成本比你买服务器的硬盘便宜。如果这么搞的话，你甚至可以把外网带宽缩了，api 访问用不到这么大的宽带。

[layxy]

1.有瓶颈
2.可行
3.如果你 2 可以做，也可以把 minio 直接暴漏公网，可以节省 nginx 集群资源，这套方案下来我感觉成本还是使用云厂商的对象存储比较好

[defunct9]

这么多人都支持用云产品，我提个反例。aws 的极光数据库，真的拉跨，又贵吧，还它瞄的恢复又慢。自建的话便宜多了。所以我支持自建，总以为它们水平很高，结果啪啪打脸。

[billbob]

怕贵,你可以买 OSS,走内网,买个 ES 代理走固定带宽.

你如果是给公司弄的,只能说你不专业,坑老板

你给你自己弄,那你随便.

[viking602]

我们用 minio 都是在内网 公网都是 OSS 如果一定在云上那还是用 OSS 最好

[heiya]

@Mithril 感谢回复，您的回复对我而言十分有用。另外，如果是把 MinIO 部署到内网上，也需要公开相关的所有代码吗？

[heiya]

@kzfile 是的，这个项目有私有部署的要求，在私有部署的机器上不通外网，于是采用了 MinIO 的方案。

[heiya]

@erhandsome 好的 谢谢

[heiya]

@kosgug 我这边也是公网部署和私有化部署