故障重现, JAVA进程内存不够时突然挂掉模拟

背景，服务器上的一个JAVA服务进程突然挂掉，查看产生了崩溃日志，如下：

# Set larger code cache with -XX:ReservedCodeCacheSize= # This output file may be truncated or incomplete. # # Out of Memory Error (os_linux.cpp:2673), pid=28610, tid=139813184919296 　

日志分析原因很简单，服务器的内存不够用，导致进程崩溃

JAVA涉及到内存不够用分两种情况：

1, 当超出JVM的分配的内存时，JAVA进程并不会退出只是结束当前的线程

2, 当服务器内存不够时，linux杀死使用内存的一个进程

很简单，但很容易忽略，因为在启动JAVA进程时，服务器检查的是当前内存，并不是可用额度。如，服务器有1G内存，而启动了两个1G内存的JAVA服务是不会报错的，但当内存紧张时，linux会kill任意JAVA服务，造成影响

我用代码重现模拟下这种情况

准备如下

服务器1台，1G内存

模拟JAVA进程，以每秒递增10m内存分配的去榨干服务器

服务器内存总量

发现整个可用内存大小在 3G附近（小于）

加入一个JAVA程序，开启一个线程以每秒10m的内存去申请内存

代码如下：

模拟第一种情况：

运行  java -Xmx1024m -Xms1024m org.hejinbin.memory.test.TestStepByStep

观察JVM垃圾回收情况，发现在程序把JVM的内存的heap慢慢耗光

直到再也无法分配10m大小的对象，然后程序输出

观察后发现， 知道JVM内存被榨干，这条JAVA线程已经被停止，但JAVA进程

也是存活的，而且等待下一次垃圾回收，死去线程的内存将被回收，系统恢复。 造成的影响仅仅是影响本次请求。

模拟第二种情况：

我模拟3个JAVA服务进程，每个进程分配1G, 然后同时递增分配内存

开启多个linux窗口同时运行：

java -Xmx1024m -Xms1024m org.hejinbin.memory.test.TestStepByStep

一段时间后：

the total use : 830m 
the total use : 840m 
the total use : 850m 
the total use : 860m 
Killed

其中一条线程被kill了

另外两个进程继续跑，知道线程异常，当然最后两个进程也不会挂掉

另：观察到kswapd0占用CPU 高，交互虚拟内存

结论：

1, 当超出JVM的分配的内存时，JAVA进程并不会退出只是结束当前的线程

2, 当服务器内存不够时，linux杀死使用内存的一个进程

3,  把系统拆分成多个服务部署在同一台机时需要特别注意，JVM启动时分配的内存只是申请（其实体现在VIRT），当一台服务器运行多个JAVA进程时请保留足够的可用内存 (大于分配给各个JVM的进程之和)

接下来的问题：

1， 如何确认是因为内存过大被linux系统kill掉

答： 可以去linux的日志在/var/log/syslog 里能找到日志，如： grep "Out of memory" syslog ， 能找到刚刚被杀线程的原因

2，除了内存占用过大被kill，还有哪种原因会被kill

答： CPU时间占用过久也是会被杀掉，详情下一篇模拟

3，为什么我模拟的没有产生hs_err_pid*.log日志？

答： 因为日志是再进程尝试重启后产生， 当系统内存不足，系统kill掉进程，此时守护进程又尝试拉起进程，故产生了err日志。可以在进程A占用了大部分内存时手工重启线程B模拟，能在JAVA程序的运行生成该日志

欢迎关注我的公众号，专注重现各种线上的BUG

或搜 “包子的实验窝”