分布式存储方案的选择

[ray1888]

有大佬们试过在用 Kubernetes 上面直接对接上分布式的存储方案进行容器数据的存储吗？在开源方案上面个人知道 CephFs 和 GlusterFs，想请问一下，哪个分布式的存储系统可以直接部署起来使用（坑比较少的），求踩过坑的大佬们推荐一下

[defunct9]

ceph

[defunct9]

忘记说了，gfs 是文件系统，ceph 是块设备

[ray1888]

@defunct9 Ceph 不是支持三种（块存储、对象存储、文件存储）都支持么？其实我的场景是这样的，本质上是把容器运行完之后的一些数据（主要是文件）进行统一集中的存储管理，以便给其他新的容器来使用，这样的场景 Ceph 是比较好吗？

[aijam]

S3 比较好

[defunct9]

块设备池比文件系统效率高些，尤其涉及到 kvm 或者 docker 的容器转移的时候。GFS 和 Ceph 都用过，更喜欢块设备一些吧。

[ray1888]

@aijam 因为是内网的集群，不考虑这种外部的系统

[swulling]

ceph 架构比较复杂，毕竟同时支持对象 块 文件，但是使用和运维不难

glusterfs 架构比较简单，但是使用起来就不容易了

[lfzyx]

https://kubernetes.io/docs/concepts/storage/volumes/#types-of-volumes

https://kubernetes.io/docs/concepts/storage/persistent-volumes/#types-of-persistent-volumes

[catror]

从代码设计上面，我支持 glusterfs，但是 ceph 用的人多，遇到问题更容易从网上搜索到解决办法。

[xencdn]

最近也在折腾 kubernetes
给你一个分享
http://www.yangguanjun.com/2017/09/04/kubernetes-storage-confuse/

Ceph 分为
ceph rdb(块存储)
cephFS (文件存储)

ceph 块存储 很消耗网络带宽 块一般都几 G 或几十 G ceph 是最少存三份 强一至性 存储网络一般都 10GE 的网卡
成熟的开源分布式块存储 选择性不多 社区活跃 稳定 成熟度相对较高 还有给力的 Redhat 驱动
但是 ceph 维护复杂 考验团队技术驾驭能力

kubernetes 的应用场景
容器存储 大部份是文件存储
块存储 这个需求应是不明显
上手比较快的应是:
1.NFS
2.GlusterFS


NFS 方便灵活 只是性能太差

如果对性能没有太多的需求 先上 NFS 吧

个人理解有限 轻拍

[grzhan]

如果是在 K8S 里使用 Ceph RBD 来进行持久化存储的话，可能需要注意下这个 issue：

https://github.com/kubernetes/kubernetes/issues/38923

`kube-controller-manager` 中没有 RBD Client 导致无法正常创建 PV，issue 回复提到的解决方案是使用这个第三方的 provisioner： https://github.com/kubernetes-incubator/external-storage/tree/master/ceph/rbd/examples

以及在我们的环境中，CephFS 的性能并不理想，推荐使用 RBD

感觉 Ceph 和 K8S 集成的坑大致上是这样，Ceph 本身用起来倒是挺方便的。

[natforum]

tfs ？

[znood]

ceph 是大规模 PB 级别的分布式存储方案，当然小规模集群也能用，坑比较多，运维麻烦，没有深入研究使用不建议

[f2f2f]

我选择付费的 Netapp

[WinMain]

实习的时候，旁边一个团队的是把 ceph 的代码都读了一遍才确定用 ceph 的。

[wanghanlin]

可以试试 rook，rook 底层用的也是 ceph，但是配置部署和使用都方便很多. https://rook.io/

[ray1888]

@grzhan 想请问一下，你们的环境（需求）大概是怎么样的呢？因为我这边其实数据的转移不是很多的，对性能要求一般，但是主要是可能单个文件的 size 可能几 G 到几十 G 不等，所以想参考一下你们那边的数据（我这边暂时没有机器，没办法自己测试，目前只是调研阶段）

[grzhan]

@ray1888

集群只是一个 18T HDD 10 OSD + 万兆网络的小集群

之前我们有把 300G 的数据库放在 CephFS （ FUSE Client ）上，因为需求关系还把一个 Windows 虚拟机丢在上面。

CephFS 使用下来感觉是 IO 的延迟严重（同事在上面跑虚拟机体验下来很卡），前两天换成 RBD 挂载（ http://docs.ceph.com/docs/giant/rbd/libvirt/ ）以及折腾了下 KVM 的驱动之后速度就有明显的改善，SQL 查询的效率也在可以接受的范围。

按理说 CephFS 的 Client 换成 Kernel Client 可能性能也会好一些，不过跑过 Benchmark 感觉改善不多。

把 Ceph Journal 挂到 SSD 上可以明显改善性能（ http://docs.ceph.com/docs/jewel/start/hardware-recommendations/），还有就是增加 OSD 的数量，不过我们这边就是够用就成了。

所以 CephFS 的话一般放放文件没有频繁的读写需求还是可以用的，也挺方便，如果还是有些性能要求的话还是用 RBD。如果想看 fio 的 benchmark 结果的话可以回我个邮箱，有空我可以发给你

[ray1888]

@grzhan 感谢，我的邮箱 YWxhbDE5OTVAaG90bWFpbC5jb20=