我是自己搭的, 就用的 k3s, 已经跑了快两年.
首先是网络问题:
GFW 问题不多说
组网问题, ipvs 不稳, ECS 内没有公网 IP, 我花了很长时间尝试 ipvs, 没有找到稳定的方法最后放弃, 使用 iptables 模式一直没什么问题.
异地组网问题, 集群的流量很大, 异地组网费公网流量, 同一地区可走内网, 流量免费. 因此建议一个地区一个集群, 如果要一个集群多个地区, 则需要考虑买固定带宽, 不然别说业务流量, 光是集群组件间的流量就不少.
存储问题, 可以挂阿里的 oss, nas, 磁盘, oss 和 nas 主要针对文件不便支持数据库之类数据流业务, 可以封装为 nfs 共享, 磁盘支持数据库之类, 但需和 ECS 地理位置绑定, 不便切节点.
自动扩容问题, 我有两个固定 ECS, 其它的用抢占服务器, 需要至少两个 master 在不同节点, 监控集群资源是否够. 抢占会被强制释放, 释放前 5 分钟会通知, 确保用户服务不中断, 需要利用这 5 分钟完成很多事. 我写过一篇博客:
https://blog.jqknono.com/zh-cn/blog/2025/12/05/抢占服务器是个大便宜/我没用过 ACK, 那个起步就较贵, 我这套方案便宜, 抢占服务器长期一折的价格, 但我折腾了近一年, 在网上几乎找不到什么资料, 问题很多, 全靠自己摸索. 值不值要自己判断.