Docker 容器内存一直增长被 OOM Killer 的问题

[JamesTao]

在两台服务器上使用 docker 部署了相同的服务
基础镜像是 openjdk:17-oracle, 容器限制了 2G 内存
容器内运行了 springboot, JAVA_OPTS 设置为 -Xms512m -Xmx1536m
容器运行一段时间后, 被系统 oom killer, 被 kill 前观测到容器使用内存接近 2G. 进入容器用 top 命令查看, java 占用内存和容器使用内存保持一致, 都是接近 2G
两个容器均发生此现象

在排除 jvm heap 内存泄漏后. 做了如下调整
JAVA_OPTS 设置为 -Xms750m -Xmx750m -XX:MaxDirectMemorySize=750m, 进入容器查看 NMT 数据如下




现在的问题是
1. 为什么两个容器实际使用的内存不一样, 但是 NMT 的数据几乎一致
2. 如何定位和解决现在 java 内存一直在增长并造成 oom killer 的问题

谢谢

[FaustY]

之前遇到过类似的，换了 oracle jdk 的容器就好了

[FaustY]

自己打基础镜像或者用 bitnami/java

[lingcen000]

实际就是堆外内存一直增长导致的，加了限制就好了

[guanzhangzhang]

有个最常见问题就是，低版本 jdk 无法识别 cgroup 内存限制

[JamesTao]

@lingcen000 请问下如何限制堆外内存呢?

@guanzhangzhang 用的基础镜像也是官方的, 系统和 jdk 的版本应该都对上吧

[zhady009]

容器限制了 2G, JVM 最大堆 1536m 堆外一般不会那么大具体得看你啥应用, 排查的话用 JFR 看事件很容易就能看出来

[fredcc]

堆内存只是一部分，还有其他内存消耗。为什么慢慢变大上工具分析咯。比如
https://arthas.aliyun.com/doc/expert/user-question-history13508.html

[zhongpingjing]

堆外内存只能限制元空间还有直接内存，但是堆外内存不止这两个，所以解决方案就是把最大堆内存调低一些

[JamesTao]

JFR, Arthas 似乎都是分析 jvm 内存的. 但是从现象上看, jvm 内存没有问题. 一直增大的是 jvm 外的内存