你们自建的生产环境的 Kubernetes，是怎样运维管理的？

[Haujilo]

感觉可以裸机部署，也可以基于 openstack 上用虚拟机部署。

问题：

1. 能裸机部署，是否还有必要用虚拟机，会遇到什么问题？有什么难点？
2. 基于 openstack 的话，我看官方网络层有kuryr-kubernetes的方案，但是实际性能损耗是否能接受？基于 VM 是否能带来很多的好处？

[nieqibest]

招个人吧

[Haujilo]

@nieqibest 不裁员已经不错了……

[Lax]

@Haujilo 选 k8s 得有这觉悟，这东西安装就不太省力。要达到出故障能排查的程度，真需要一个专职的人来研究

[Haujilo]

@Lax k8s 目前团队能用了，只是如果上生产，还在犹豫到底需不需要用到 openstack 这种东西，目前公司的生产状态用的还是 virsh 跑的 kvm……

[GM]

@Lax 小团队可以考虑一下 Rancher 新发布的 K3S，K3S 精简了很多不必要的、过时的功能，各方面都比直接装 K8S 简单方便好多，但是依然是个通过认证的 K8S 发行版。

[GM]

@Haujilo 上面的回复应该是 @你的，结果点错 @错人了

[Haujilo]

@GM 可能我表达不够清除，其实我的主要问题不是怎么部署 K8S 省心，而是需不需要多一层 VM，VM 相关的技术是否还有必要的问题。我们测试环境用 K8S 也有一年多了，我在思考生产环境怎么来弄，我对这块还不是很有经验。目前我感觉 K8S 更多是 PAAS，openstack 这类是 IAAS，如果直接跳过 IAAS 层跟测试环境这样来弄，不知道会有啥风险点。

[Lax]

单单从你提到的情况，没必要加上 openstack，性能损耗倒在其次，增加额外的复杂度并不值得。使用容器之后，虚拟机的价值就不大了

[wiken]

注意证书。。。我们之前就是没注意，一年后证书过期了，整个环境炸了

[Haujilo]

@Lax 比如公司内两个完全不同的业务，你们是单独建立两个不同的 k8s 集群？然后其他的 VM 需求，比如开个 Windows 机器，是单独 KVM 命令行管理？

[Haujilo]

@wiken 已经领教过了。😂

[bowser1701]

@wiken 同，昨天刚炸，k3s 。

[bowser1701]

@wiken 炸了之后你们都是怎么修的？

[wiken]

@bowser1701 我们是直接重新签过证书

[jinzhongyuan]

@wiken 我们也遇到这事的，运维同事吓尿了，当时

[allposs]

k8s 生产已经使用一年多了，证书问题也遇到过。在底层主机上不建议使用配置不一致的主机做 node 节点。这边正在从虚拟机迁移到物理机上。至于平台用的是自研的。

[buaacss]

没试过 openstack，阿里云里自建 k8s，使用两年左右，记录下问题：除了初期遇到过因为没有删除 default cni 插件配置导致 flannel 更新路由失败的问题

[buaacss]

其它问题没遇到过。

没用过 openstack，只说 VM 的话应该就是扩容快吧，
配置好一个 node 镜像，需要扩容的时候直接开机就加好节点。
api-server 节点最好用域名而不是 ip，比较方便在故障时迁移服务。

遇到过比较大的故障都是和我们自己误操作有关，比如将测试环境
的配置上线到生产环境、coredns 的服务器到期没续费被回收了，然后
又在节点上打了 taint 导致无法调度，云环境里唯一一个比较坑的是
SLB 不允许 4 层后端节点通过 SLB 访问自己，只能用 7 层。另外就是跨
机房要注意延迟，有时候会导致 api-server 超时之类的。

我感觉，如果是自建服务器才需要 openstack 来管理物理服务器吧
如果是云环境直接上 k8s 就可以了。如果是自建物理服务器的话，应该
不需要 vxlan 了，传输效率上可以再高一些。

P.S.前一条回复本来想换行，结果不小心按错了。。。

[Haujilo]

@buaacss 其实就是思考的自建机房的时候怎么管理，如果上云的话，你们当时不考虑直接用云厂商提供的 k8s 服务是遇到过什么坑吗？

[Haujilo]

@buaacss 感觉固定流量的服务器放自建机房，推广时期的高峰流量用云主机去抗，会不会总体成本更低一些？