K8s 发布失败后,大家第一眼先看哪?

6 月 25 日
 EthanWalkerTech
最近在看 K8s 的发布链路,发现一个挺现实的问题:发布失败以后,每个人下手的位置不太一样。

有人先翻 CI ,看是不是镜像没打出来;有人先看 Helm / Argo CD ,确认资源有没有真正下到集群;也有人直接 kubectl describe pod ,先扫 Events 、Pod 状态、Deployment ;还有人第一反应是去看业务日志。

我有点纠结的是:第一步到底该先确认发布动作有没有真正执行成功,还是直接进集群看 Pod 为什么没起来。

大家平时遇到这种发布失败,一般第一步看哪里?
有固定顺序吗,还是看报错现象临时判断?
3203 次点击
所在节点    Kubernetes
24 条回复
weiwenhao
6 月 26 日
@EthanWalkerTech 是的,比如我收到了告警,然后我把告警信息给到 cladue ,比如下面这个是昨天的


'''
使用 kubectl 看一下是什么应用导致了 oom

Description: OOM kill detected
VALUE = 6
LABELS = map[xxxxx 隐私信息,就是 k8s 集群上的故障]

'''


然后他会给一组命令,我就看这些命令前缀是不是查询相关的,是的话就直接放行。

其实我 apply 命令也是让 cladue 写 yaml, 然后我过一遍,然后让 cladue 进行 apply 。
EthanWalkerTech
6 月 26 日
@weiwenhao 放行的时候一般只关注命令是不是查询,还是会看下 namespace 资源类型这些是否越界?
defunct9
6 月 27 日
k9s 看状态
hancai2
7 月 23 日
我看一眼运维

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/1222873

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX