Linux 内存使用率缓慢增长原因排查

[wxd21020]

背景：

Linux 内存使用率缓慢增长排查，目前有一台服务器，上面部署了 17 个微服务应用，24G8C 的配置，所有应用启动后内存占用率在 45%左右，经过一个月的运行后内存会涨到 75%左右，然后服务器就 hung 住了，连 ssh 都无法连接，已经出现过两次了。

目前排查方案：

• 方案 1：将所有应用的 jvm 参数（包括 heap 、noheap 、codecache 、metaspace 、eden space 、old gen 、GC 、Thread ）等都存储监控，未发现异常
• 方案 2：使用阿里 arthas 对各个应用进行查看，也未发现异常

请问大佬们这种情况改从哪个方向再去排查一下。 目前即使向定位原因。

接下来会将应用拆分放到多台服务器上。

[vivisidea]

@wxd21020 如果是生产，建议还是把业务流量切走再操作，或者低峰期，drop cache 有一定概率会导致系统 hang 个几秒~几十秒不等，也可能毫无感知

没有 root 权限就算了。。

[crsmk01]

1 、上面说分析 dump 文件的同学都没审题，LZ 说了是 java.lang.OutOfMemoryError: Unable to create new native thread ，而且 LZ 像是做主机运维的 ？不要只盯着服务器内存，可能有误导性；
2 、可以看下 https://www.cnblogs.com/rexcheny/p/9502248.html 这篇文章;
3 、昨晚一个客户遇到了一个几乎一样的问题，还没完全排查完，但看第 2 点的文章就比较有用。

[wxd21020]

@tdy218 java 后端，看了你提示的文章，感觉有点相似的味道，前几天我查了到一个服务一直在起线程，这个服务是上传文件服务，里边有个获取进度的功能，没上传一个文件都会起一个 thread ，每个 1S 去查一次进度条。导致这个服务的 timed_waiting 线程达到了一万大几。最近我把这个地方优化了一下，还在观察别的服务。