求助, gitlab pipeline 同时推了三个,服务器干爆了

156 天前
 wisetc

发现常用的这个网页打不开才去服务器上看看,还以为是网速慢,结果服务器登录不上去。

因为测试的缘故,在新增了一个特性的时候又发现了一个 bug ,然后代码改完就又推了一遍,与此同时,马上又发现了一个问题,于是又改了推上去。因为 pipeline 设置组内 runner 有两个独立运行,所以没有等待 pedding 就并行就行了,CPU 飙高到 97.5%。

ssh 登录不进去了,云服务器服务商后台的登录工具亦如是。

现在是已经停掉了所有的 pipeline, 但是登录还是卡着。

我该怎么办,才能救活它,现在负载满,不听指令了,怕等不及

922 次点击
所在节点    GitLab
5 条回复
kiml
156 天前
看看 vnc 能不能连上->等几分钟->服务器后台重启->发紧急工单->跑好咖啡->等待
wisetc
156 天前
@kiml 没错,在已经等了近 10 来分钟以后跑完了其中的一个 pipeline ,尽管已经停掉了,然后收到通知就再去登录服务器试试,进去了🤦‍♀️。
然后过会儿收到了第二个 pipeline 完成的通知,释然了。
碰到这种情况就很紧张,干等。
没想到干等等到了...
谢谢
Kinnice
156 天前
ci 和 git 别放一个机器上,或者限制一下占用
julyclyde
155 天前
这时候估计内存都不太够了吧
fork 都出不来
所以各种远程访问都不会成功的
wisetc
149 天前
@Kinnice
@julyclyde 是在服务器上 build, docker 启动的过程中会 build 镜像,所以资源不够用,真的是

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/998490

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX