用于 k8s 的最佳分布式存储框架是什么

[leiuu]

RT

没有分布式存储

k8s 部署有状态服务时将面临繁琐和困难

请问各位大佬

哪些方案实践过比较好用

有个前提是：团队较小，可能特别重量级的组件不适用

[twl007]

@jigege2019 你这个只是最基本的 后面 Ceph 自己出了问题才是最麻烦的

rook-ceph 的坑不在 Rook 而在 Ceph 而且因为 rook-ceph 藏住了很多细节 真到 Ceph 出问题的时候就是两眼一黑

而且还有很多细节 rook-ceph 部署的时候配置 rack awarness 了么 k8s 升级的时候怎么配合一起重启 Ceph docker 升级的时候怎么逐步重启 全是坑 甚至 k8s 出问题的时候你想要恢复 Ceph 也是个挑战

[twl007]

当然如果最后需求很多 那还是上 Ceph 不过建议独立部署 遵循 KISS

k8s 挂了你还能重新部署 存储挂了可是你数据就没了

[jigege2019]

@twl007 ceph 官方推荐在 k8s 中使用 rook ，我们要求也不高，服务器也就三台，也没遇到什么坑，主要感觉 ceph 挺稳的。根据 rook 文档从 ceph15 版本升级到 17 ，也没问题，服务也没中断。担心 k8s ，把 k8s 做成高可用/多主节点，kube-vip

[twl007]

@jigege2019 个人建议慎重吧 另外现在 Ceph 官方也推荐他们自己的 Cephadm 建院尝试下这个 对于存储这种基础中的基础 还是建议遵循 KISS Ceph 已经足够复杂了

另外版本升级的话最好加一下邮件组看看 Ceph 15 出现过升级中 OSD 格式转换错误导致数据丢失的问题 你看一下版本历史就知道了

只能说没出问题一切安好 一旦出了问题就是两眼一黑

[eephee]

@leiuu 楼主打算将 MySQL 部署中 k8s 中吗

[nrtEBH]

看存什么数据 用云盘 pvc 直接挂也没什么问题吧
生产环境别搞太重

[leiuu]

@eephee 是的 想将很多有状态组件部署在 k8s 中 所以需要一个稳定的存储解决方案

[jigege2019]

@twl007 也是。longhorn 我遇到丢过数据，nfs 有时要掉线。不管用啥还是得多备份，有啥其他稳定的推荐？

[twl007]

@jigege2019 整体来说 开源基本都这样

相比其他而言 Ceph 算是最成熟的了 毕竟 Linode 和 Digital Ocean 也在用 看邮件组也有很多别的大公司不断的贡献代码 但是想用好要付出巨大的成本就是了 用好难

真的推荐的话 如果负担得起 直接找成熟的商业存储吧 商业有 bug 可以快速修 Ceph 一个 bug 修好几年都很常见 至少我遇到的问题在最新的 Reef 才算彻底修好

毕竟数据无价

[Desdemor]

我们不是 k8s ， 日常业务中用的 Seaweed , 这是项目地址: https://github.com/seaweedfs/seaweedfs

[hezhiming1993]

@BugCry
踩坑的告诉你: Longhorn 这个东西很坑.

情商低的说法是: 这东西就是垃圾

[BugCry]

@hezhiming1993 展开说说

[hezhiming1993]

@BugCry

都是血泪,
建议只看 CNCF 里面已经毕业的项目

[ExplodingFKL]

单独搞机器使用 cephadm 部署 ceph, 然后再在 rook 下接入,也不怕数据丢失,就是 ceph 运维复杂 ....