看看大佬们的个人 K8S 集群以及存储方案

2023-03-13 21:15:59 +08:00
 Cola98

小弟搭建了一个三节点 K8S 集群,master 节点是 4C8G node 节点都是 2C4G ,目前在集群上跑着 cilium,prometheus,后期打算跑 kafka/redis/es 等等中间件,但是奈何配置问题,存储一直是一个问题,之前使用 openEBS 体验还行,后来换成 rook 后配置似乎跟不上了,请教各位大佬的存储方案都有些啥

3936 次点击
所在节点    Kubernetes
35 条回复
CodeWind
2023-03-13 21:29:56 +08:00
乞丐版路过。先说背景,目前是腾讯云三台轻量,Master 2H4G ,Node 一台 4H4G ,一台 2H4G ,Master 挂载一块 100G 轻量云硬盘,使用 NFS 给 K3S 集群使用。
计划通过 Alist 来挂载三方存储(主要是阿里云盘),定期将本地 hostpath 的存储文件转移到 Alist 挂载的三方存储里。
tftk
2023-03-13 21:57:35 +08:00
个人搞个集群使用场景是啥呢
wxw752
2023-03-13 22:01:48 +08:00
@tftk 对于我来说就是模拟实战,不会就没法在公司用。
optional
2023-03-13 22:05:48 +08:00
klafka/es/redis ,这些本身支持分布式部署,可以直接用 local storage 获取性能提升。
Cola98
2023-03-13 22:12:25 +08:00
@optional ok 之前没有注意到这点,一直都是 CSI 这种,感谢大佬
Cola98
2023-03-13 22:13:37 +08:00
@CodeWind 了解,我看 hostpath 好像发生调度之后就会使用不了,所以就没考虑过 hostpath
Cola98
2023-03-13 22:14:24 +08:00
@tftk 和楼下大哥一样,主要是个人学习和开发~
levelworm
2023-03-13 22:18:57 +08:00
@wxw752 我也准备自学一下,搞了台二手 32gb 内存 2T 硬盘的乞丐服务器,不知道能不能用。。。
ysicing
2023-03-13 22:20:58 +08:00
搞了 3 套 k3s 集群,国内两套,香港一套,反正都在吃灰。
国内跑主要服务,其中一套用腾讯云 cfs 基于 nfs ,另外一套基于某个节点做的 nfs
香港跑的 web 服务没有持久化,即使有丢弃也没事 empty 方式

目前体验还行,除了 prometheus 需要控制一下,其他都还行。
Actrace
2023-03-13 22:27:20 +08:00
怎么说呢,这个时间节点,我觉得 k8s 可能撑不久了。
毕竟 OpenAI 出来之后,只需要把服务器交给它管理就行了。
lhx2008
2023-03-13 22:33:27 +08:00
真到了生产其实也不建议搞数据库,维护很困难
lhx2008
2023-03-13 22:36:45 +08:00
本地存储,阿里有开源一套本地盘做的还不错,用的 LVM ,不怕困难也可以 Longhorn
sniperking1234
2023-03-13 22:46:55 +08:00
@Actrace 出了问题怎么办,调试 AI 源码?
echo1937
2023-03-13 23:03:09 +08:00
@Actrace #10 你说的那是<流浪地球 2>当中的智能量子计算机 550 系列。
hhjswf
2023-03-13 23:05:42 +08:00
@CodeWind 单 master 也能算集群吗
liuhan907
2023-03-13 23:07:56 +08:00
我是用二手 r730 + k0s 搭建的集群。本身带副本的服务就直接用 openebs 的 local 存储,不带的则是用 NFS 接 TrueNAS 共享出来的存储。反正个人用,也不在乎 HA 啥的,NFS 够用了。Rook 那玩意太吃配置了,ceph 本身三主+三副本就需要六节点,还有 k8s 自己的资源消耗。
securityCoding
2023-03-13 23:31:47 +08:00
公司配了 16u32g 测试服务器,几乎没用过,jetbrains gateway 太废物了
xxfye
2023-03-14 01:38:05 +08:00
通通都扔到 s3 上,计算和存储分离
yzld2002
2023-03-14 07:52:48 +08:00
idblife
2023-03-14 08:50:51 +08:00
@securityCoding
vscode ssh remote

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/923699

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX