最近遇到了 3 次非常难查的问题，很无助

[zhoudaiyu]

本人是 sre ，负责 k8s 和一些如 kafka zk 的中间件的运维，最近遇到了 3 个问题好久都没查出来。第一次是 3 节点 zk 集群夜间突然 1 台 cpu 拉到 100%几分钟后 cpu 掉下来了，但节点不可用，然后 2 个小时后另外一台又这样了，也挂了，然后集群不可用了。第二次是 6 节点 kafka 突然有一台 cpu 很高，重启没用，停掉后部分业务又开始报错，提高 cpu 配置（容器），并迁移了受影响的一个业务后启动后突然就一切正常，cpu 使用率也没那么高了，其他业务也没事了。第三个是 docker info 、docker images 突然 hang 住，几个小时自己恢复了，然后又开始反复。这几次中间件除了 zk 那个日志被清理了看不到当时报错，其他都没有什么报错，无从查起，很无力，领导 又要结果。

[zhoudaiyu]

@sjkdsfkkfd #20 也有 4.19 的几台，但是没出这些幺蛾子

[Liv1Dad]

@clocean #10 都是搬砖，也没啥难不难的。

[hellolinuxer]

这也叫 sre 吗

[feedcode]

kafka JVM 的 thread stack, heap dump 有吗？
dockerd 的 stack, trace 有吗？
没有的话只能靠猜

[zhoudaiyu]

@hellolinuxer 那您理解啥叫 SRE ？

[zhoudaiyu]

@feedcode docker strace 了一下，发现是一直在扫镜像 imagedb/sha256 中的文件，都是小文件所以慢 kafka 没打 dump 和 jstack 😂