K8S 在多个 pod 中需要共享数据的时候,会使用 Persistant Volume 么?

2021-02-09 10:07:32 +08:00
 v2byy

或者其他方式?比如先把数据传递到其他 storage,比如 aws 的 s3,然后另外的 pod 再下载下来使用?

4273 次点击
所在节点    Kubernetes
26 条回复
dreamusername
2021-02-10 10:45:19 +08:00
S3 是对象存储,是不可以修改文件内容的,适合一定的场景,但不适合文件交换,那么对于文件交换就需要用到块存储。
以 AWS 为例,支持的块存储有 EBS 、EFS 、FSx 等,其中 EBS 又分为 GP2 、GP3 、io1,除了 io1 某几种特殊型号外,都是 ReadWriteOnly 的,顾名思义就是单读单写,不适合我们的场景,另外的 EFS 与 FSx 是 ReadWriteMany 的,适合我们的场景,FSx 是属于高性能磁盘,价格昂贵,根据需求选择,EFS 是 NFS 在 AWS 的封装产品,使用上与 NFS 基本无异。
但是要注意的是,对于这类需求的服务,本身状态是很强的,是需要考虑他们是不是有更好的部署方式。
dayeye2006199
2021-02-11 07:26:30 +08:00
我们有很多计算密集型的任务(数据管道,机器学习),就是通过这个模式来的。每一个 pod 是一个 task,通过一个 RWX 的 PV 来做数据交换。
dayeye2006199
2021-02-11 07:28:23 +08:00
@dayeye2006199 底下 storageclass 用的是类 NFS,例如 aws 的 EFS 或者 glusterFS 等
v2byy
2021-02-11 08:35:48 +08:00
@dayeye2006199 我们的业务也有点类似,也是 pod 会从 queue 里接 task,处理完的数据要暂存起来,最后汇总
zhoudaiyu
2021-02-12 07:39:07 +08:00
ceph ?
kaneg
2021-02-17 00:19:05 +08:00
NFS 可以 RWX 模式挂载多次

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/752530

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX