k8s 分布式存储

[pydiff]

最近在调研 k8s 上有状态应用，关于分布式存储方面，对比了下，打算用 ceph ，想看看大家生产上的 k8s 都是用什么存储的

[yijihu]

ceph nfs 一起用

[vicalloy]

我比较好奇的是 NFS 的性能损耗有多大。如果性能损耗大的话，部分 IO 敏感的应用是否不上 K8S ？

[pydiff]

@yijihu 我这边目前已经用 nas 做 nfs 在用，但是还是想看看其他的，ceph 坑多吗

[tommydong]

ceph 坑还是很多的，小 team 不建议用

[pydiff]

@vicalloy 我这边自建的单个 nas 的 iops 最大可以达到 4w ，不知道够不够，预计上几万个容器

[pydiff]

@tommydong 不是小 team ，就是之前大家都没接触过而已

[defunct9]

glusterfs

[liaohongxing]

存储附件还马马虎虎 ，要是放 mysql , 你要哭 ，试了几个块存储 和 nas 感觉跟 local path provisione 相差一半左右，忍住没上 k8s

[flexbug]

minio 可以看看

[CallMeReznov]

维护过一段时间 ceph,搭建设备拉垮+开发一个 BUCKET 写到死,导致天天爆炸.
至今仍有阴影.

[hxsf]

已经有 nas 的话，直接试试 iscsi ？

[tommydong]

都没接触过更不建议了，ceph 真心复杂

[szq8014]

@CallMeReznov 哈哈哈哈 哈哈 哈哈

[tanhui2333]

@tommydong 我记得部署就挺复杂的吧

[pydiff]

@tommydong 这个可以学的嘛，反正有好几个人搞

[tommydong]

@tanhui2333 部署是有点复杂。不过相比以后的维护和遇到问题 debug 就不值得一提了

[Reficul]

@tommydong

前同事在他上上家跑路的原因就是因为 Ceph ，hhhhh 。据说是因为一个极小概率发生的数据不一致问题，debug 了 1 个多月毫无头绪最后羞愧辞职。

[zmxnv123]

拒绝在生产环境使用 c++ 写的开源产品，主要是太复杂了，根本 hold 不住。

[FullBridgeRect]

商用私有化产品 openstack ？不过这个东西就更复杂了哈哈哈
分布式存储主流的是 ceph glusterfs 这两个，如果单机存储比较充足可以用 iscsi 对外，或者有买存储服务器的就更省事了😉
还有个项目是在 k8s 上面搭 ceph 的，叫 rook ceph ，我没用过不知道坑有多大🤣

===
涉及存储都是一堆坑，k8s 自己又是另一堆坑，我们用阿里云 aws 上 k8s 还是在坑里打滚😂

[Deardrops]

iomesh 了解一下，国内公司 Smartx 推出，一键部署，社区版可以免费使用。性能不会比 ceph glusterfs 差。

https://www.iomesh.com/
https://www.smartx.com/