线上故障应急处理： 4 年多 on call 经验总结

[swananan]

https://jt26wzz.com/posts/0007-online-firefighting-real-world-lessions-from-4-years-on-call/

最近写了一篇回忆过去故障应急的博客，写的还是挺开心的，发现自己博客没有被收录在 VXNA 节点，就自己在这里发出来，交流交流。已经尽力隐藏了很多公司相关的细节，希望不要被熟人看见，有点羞耻，哈哈。

[Glauben]

粗略的看了一下，感觉是不错的分享，收藏了有空看，点个赞

[maxwellz]

喜欢文中的配图，是最近很火的吉卜力风格的吗

[yzqn]

另外还有一个特别的技巧，如果在屏幕共享的时候，你甚至不想去问 chatGPT ，毕竟如果是一个愚蠢的问题，一般都会觉得挺尴尬的。这个时候，你可以快速的阐明你的意图，然后把验证任务打包分配出去，指派给会上在场的另外一个同学，这样就可以完美避开了这个尴尬局面

有一个运维大哥，当时发布的时候，先去抽烟放松了一下，然后上来操作的时候，就把版本发错了中心机房，直接 game over ，引发了故障。但是在故障 review 上还是谈笑风生，甚至可以说是挥斥方遒，各种分析系统的根因，熟练的安排各种 action ，丝毫不受影响。我当时觉得不管怎么说，这种心态还是值得学习的。

这两段太真实了...

[wuyiccc]

业务系统功能回滚怎么做呢，看了蛮多博客都说要做功能回滚，但是一直没看到具体的操作案例

[swananan]

@maxwellz 不是，我是最简单让 chatGPT Dall.E 3 绘图模型帮我生成的，只是要求是动漫风格。用的还是免费版的 chatGPT ，虽然有冷却时间（一次只能画 3 ，4 张吧），但是我很满意，毕竟单独写文字有点干巴巴的，有图片感觉视觉上都好看不少

[kingcanfish]

写得挺好的
以我在字节当了几年牛马也就是那么三板斧
一是 出现问题先止血
二是 发布新版的时候要做到可观察 可监控 可灰度 可回滚

[swananan]

@wuyiccc 一般会分配置回滚和二进制回滚，具体得看你当前系统相关配置系统和发布系统是怎么设计的了，不过这些都是核心保命的东西，一般都是很傻瓜式的一键操作。

[kingcanfish]

还有一个就是 做方案是不能只做需求方案 还得做应急方案 sop, 就是出现问题了 你又不在现场 有人能按照你的 sop 恢复

[swananan]

@kingcanfish 是的，sop 也是必做的，但是故障现场还是得具体问题具体分析，如果相关功能负责人不在，其余不熟悉的人无脑照着 sop 来恢复，我觉得很大概率会雪上加霜。
另外，就是故障发生的时候，相关人士有一口气在，就必须得上线，这是隐藏红线了，哈哈（🐶🐶保命，我并没有共情资本家，只是既然干了这行，就只能拥抱这样的规则

[opengps]

写的不错，运维过程中确实有很多案例非常有意思。我当年遇到过：地铁挖断光纤、机房停电、跨网通信不通、缓存泄漏、句柄泄漏、并发多异常退出。。。其中每一个拿出来都可以讲个几千字的原因分析和反思出来

[celiachu207]

感触很深，曾经遇到过修复版本的问题会引发更大的问题，不过当时先灰度了一下，避免了这个版本。

[jydeng]

写的真不错👍
看我司的稳定性组就在做这些事情，故障止血、指挥、复盘，蛮专业的。
可惜我是前端，很少参与，有故障一般回滚即可。

[kuanat]

写的很好啊，有很多点我也有类似的经历。

我补充一点关于定责和复盘这些非技术的事情。因为这些年我做过一线、负责人和老板，所以各个角度都有体验。定责复盘，实际上可以分为负责人（项目、组织经理）向老板汇报、向团队成员复盘两个部分，只是经常放在一起，而且以前者居多。

我的建议是负责人要勇于承担责任，团队成员的失误就是负责人的失误。即使承担责任压力很大，也切忌甩锅。（开发、测试和运维团队之间可以适当相互帮忙背锅，分担一下压力。）从老板的角度上说，损失已经发生了，也不会非要把直接责任人找出来开掉。老板也需要台阶下，不然后续还怎么继续展开工作。从权责对等的角度上讲，如果一个团队总是不粘锅，那它就不重要，所以是极有可能最先被优化掉的那个。

作为负责人，向团队成员做技术复盘的时候，更要注意对事不对人。本质上换个人并不能解决根本问题，能解决问题的只有排除人为失误的可能。那种出事临时工背锅的思路是不利于带团队的，人心散了。

[ponng]

写的太好了

[lilyou]

学习了，前几个月出事故的时候手忙脚乱脑子空白，还是得多做些准备

[XuHuan1025]

不错不错 有大帝之姿

[z67nnciQnb7r8bLf]

给 OP 点个赞，能沉下心来总结，写的太棒了

[timeisweapon]

运维工作类似急诊、消防，年轻没经验干不了 ，年老没精力受不了

[gxy2825]

写的很好，感觉对我们这种刚工作几年的很有帮助

[0x663]

看完了，看的血压上来了。
真的受不了在休息的时候突然来个电话会议喊我排查问题，一点几把边界感都没有，就不能等到工作日再看问题？党的 XX 届全国代表大会都能推迟延期，什么勾八项目比党开会还重要？
该休息休息，什么故障都没有身体熬夜加班出了故障重要。不用焦虑，天还塌不了。