现象描述

  • 大概1个月多以前 在启动脚本中增加了tail -f

  • 用来启动后追踪日志判断是否启动成功

  • 后发现无法执行shutdown.sh(卡住 利用curl) 然后无奈使用kill -9

  • 但通过ps -el 发现此时进程变为defunct 即僵尸进程

  • 当时的解决办法无奈 只能找到僵尸进程的父进程kill

  • 当时认为可能是tail的问题 后来启动脚本中去掉tail 发现问题解决

  • But

    • 当时一直没有来得及排查是如何引起僵尸进程的问题

    • 这两天抽时间排查了一下 发现和tail没有一毛钱关系

艰难的排查过程1-尝试复现

测试代码Defunct.java

启动脚本start.sh

启动脚本start_tail.sh 使用了tail

关服脚本stop.sh 这里使用kill关服

分别用两个脚本测试,得出下面几个结论:

  • 所以初步结论是貌似和tail没有什么关系

  • 此时sh和tail两个进程都结束了

  • 而此时java进程的父进程变为了1

  • sh分别有两个子进程

  • 一个是java子进程 一个是tail子进程

  • start.sh启动的java进程的父进程是1 即init进程

  • start_tail.sh启动后 java进程的父进程是sh

  • 当启动start_tail.sh后 因为tail是前台进程 所以ctrl+c可以结束

  • 用这个例子做各种测试 都无法复现僵尸进程的问题

艰难的排查过程2-游戏服务器尝试复现

  • 当初出现是在游戏服务器复现的 那么应该比较复现吧

  • 修改了一个游戏服务器的启动脚本 默认是没有加tail 现在加上了tail -f

  • 启动游戏服务器脚本 看到日志 启动成功 ctrl+c 退出tail

  • 调用shutdown.sh 发现服务器顺利关闭

结论:竟然无法在游戏服务器复现

艰难的排查过程3-各种思考、查阅资料

首先从僵尸进程的产生原因入手,猜测是否是sh这个父进程没有调用waitpid去回收java子进程。

查询网上类似的tomcat tail -f问题,思考当初1个多月以前的情形,其中有一个很重要的当初情形是shutdown的时候ctrl卡住了。灵光一现,难道是当初操作失误了,没有按下ctrl+c而是按下了ctrl+z。

神奇的ctrl+z 复现测试代码defunct

启动start_tail.sh 然后ctrl+z

启动stop.sh 发现进程(3974)无法被stop

使用kill -9 尝试杀死进程 此时发现进程已经是defunct了

此时只要使用fg命令从后台调到前台然后按下ctrl+c 则僵尸进程自动消失

神奇的ctrl+z 复现游戏服务器defunct

启动脚本(有tail) 等待一段时间(将所有服务器全部开启) 并ctrl+z

此时执行shutdown.sh 发现没有任何反应(卡住) 无奈ctrl+c

此时执行jstack 也发现没有任何反应(卡住) 无奈ctrl+c

此时执行kill -9 此时java进程已经变为了僵尸进程

此时用fg将暂停的脚本恢复 然后ctrl+c 则僵尸进程消失 顺利被回收

总结1

  • tail和造成defunct没有任何关系

  • 根本原因是因为按下ctrl+z 将start_tail.sh切换到了后台

  • 测试1 当start_tail.sh后 按下ctrl+z 如果直接被crt#session关闭了呢

    • 更神奇的事情发生了 java进程直接被干掉了

    • !!这个在游戏服务器也测试了 一定要注意!!

  • 测试2 执行start_tail.sh 直接关闭ctr#session 则java进程还在 因为是nohup启动

  • 测试3 当start_tail.sh后 按下ctrl+z 再按fg 恢复执行 此时之后可以顺利shutdown

总结2

  • 正常启动脚本 没有tail java进程的父进程是1 即init进程 使用shutdown脚本关闭java进程后 自动被init进程回收

  • 启动脚本加了tail

    • 此时java进程的父进程是sh进程

    • sh进程有两个子进程 一个是java子进程 一个是tail子进程

    • 直接ctrl+c 则sh进程和tail进程都结束 java进程的父进程变为了1

    • 如果不ctrl+c 直接shutdown java进程 则java进程也会正常结束,即sh父进程会回收java子进程

总结3

  • 最终'罪魁祸首'是ctrl+z ,它会暂停程序的运行

  • 如果我们启动脚本没有加tail 则执行完nohup & 自动到后台

  • 但是我们加了tail后 因为tail是前台进程 所以要么ctrl+c结束 要么ctrl+z

  • 如果我们按下了ctrl+z 则sh启动的所有子进程都会暂停

  • 所以我们的java进程此时处于暂停状态 所以shutdown/jstack都卡住了一样 只能ctrl+c退出

  • 然后错误的操作就是使用kill -9 这个会把进程给干掉 但是因为父进程sh被暂停了 所以无法waitPid 执行子进程的回收操作 从而导致java进程变为了僵尸进程

  • 而通过fg恢复后 ctrl+c 父进程和tail都退出 java进程被init进程接管 自动回收

总结4

    • 加tail -f 没有问题,但是一定不要忘了ctrl+c;

    • 如果ctrl+z 那么一定要fg然后ctrl+c;

    • 当出现shutdown.sh卡住或者操作jvm都没反应,则可以怀疑是暂停引起的;

————————————

原文链接:https://www.jianshu.com/u/21add3dce532

 

神奇的Java僵尸(defunct)进程问题排查过程的更多相关文章

  1. 僵尸进程的产生和避免,如何kill杀掉linux系统中的僵尸defunct进程

    在 Unix系统管理中,当用ps命令观察进程的执行状态时,经常看到某些进程的状态栏为defunct,这就是所谓的"僵尸"进程."僵尸"进程是一个早已 死亡的进程 ...

  2. 【转】Defunct进程 僵尸进程

    在测试基于 DirectFB+Gstreamer 的视频联播系统的一个 Demo 的时候,其中大量使用 system 调用的语句,例如在 menu 代码中的 system("./play&q ...

  3. <转>杜绝 Defunct进程 僵尸进程

    http://hanover.iteye.com/blog/881972 在测试基于 DirectFB+Gstreamer 的视频联播系统的一个 Demo 的时候,其中大量使用 system 调用的语 ...

  4. Linux中的defunct进程(僵尸进程)

    一.什么是defunct进程(僵尸进程)?在 Linux 系统中,一个进程结束了,但是他的父进程没有等待(调用wait / waitpid)他,那么他将变成一个僵尸进程.当用ps命令观察进程的执行状态 ...

  5. 杀死Linux中的defunct进程(僵尸进程)的方法指南

    杀死Linux中的defunct进程(僵尸进程)的方法指南_LINUX_操作系统_脚本之家https://www.jb51.net/LINUXjishu/457748.html 这样能看到僵尸进程.

  6. Kill杀死Linux中的defunct进程(僵尸进程)

    一.什么是defunct进程(僵尸进程)? 在 Linux 系统中,一个进程结束了,但是他的父进程没有等待(调用wait / waitpid)他,那么他将变成一个僵尸进程.当用ps命令观察进程的执行状 ...

  7. JAVA程序CPU 100%问题排查

    做JAVA开发的同学一定遇到过的爆表问题,看这里解决  https://www.cnblogs.com/qcloud1001/p/9773947.html   本文由净地发表于云+社区专栏 记一次Ja ...

  8. (转)[sh] <defunct>进程

    我也碰到僵尸进程了,必须通过关闭僵尸进程的父进程或者重启解决. 来自:http://jerrybear.blog.51cto.com/629421/387846 今日发现服务器上多了一些名称为[sh] ...

  9. 如何杀死defunct进程

    原文: How to kill defunct process 译者: youngsterxyf defunct进程是指出错损坏的进程,父子进程之间不会再通信.有时,它们会演变成“僵尸进程”,存留在你 ...

随机推荐

  1. 第四篇 跟踪过程以及openvslam中的相关实现详解

    在成功初始化之后,会创建地图以及局部地图. 创建地图 在初始化正常过后,紧接着会创建地图 // src/openvslam/module/initializer.cc:67 // create new ...

  2. 如何使用Java访问双向认证的Https资源

    本文的相关源码位于 https://github.com/dreamingodd/CA-generation-demo 0.Nginx配置Https双向认证 首先配置Https双向认证的服务器资源. ...

  3. map转java对象

    pom依赖: <dependency> <groupId>commons-beanutils</groupId> <artifactId>commons ...

  4. 基于Arduino和Blynk平台的远程控制智能小车

    /------转载请附上本文链接 https://i.cnblogs.com/EditArticles.aspx?opt=1 -------啦啦啦我是快乐的分割线- ------------/ 小车图 ...

  5. C++解决最基本的迷宫问题

    问题描述:给定一个最基本的迷宫图,用一个数组表示,值0表示有路,1表示有障碍物,找一条,从矩阵的左上角,到右下角的最短路.求最短路,大家最先想到的可能是用BFS求,本文也是BFS求最短路的. 源代码如 ...

  6. 11 (OC)* CoreImage

    coreimage framework 组成 apple 已经帮我们把image的处理分类好,来看看它的结构: 主要分为三部分: 1)定义部分:CoreImage 何CoreImageDefines. ...

  7. C++ const 引用 指针

    先简单回忆一下常量的性质: int main() { const int buffSize = 512; buffsize = 512; //× buffSize是常量 } 初始化时: const i ...

  8. Sping学习笔记(一)----Spring源码阅读环境的搭建

    idea搭建spring源码阅读环境 安装gradle Github下载Spring源码 新建学习spring源码的项目 idea搭建spring源码阅读环境 安装gradle 在官网中下载gradl ...

  9. Vue学习之vue属性绑定和双向数据绑定

    <!DOCTYPE html> <html lang="en"> <head> <meta charset="UTF-8&quo ...

  10. App的功能测试要点

    一 UI测试 (1)界面(菜单.窗口.按钮)布局.风格是否满足客户要求,文字和图片组合是否美观,操作是否友好. (2)清晰.简洁.美观.响应.一致 (3)图形测试.内容测试.导航测试    (图形包括 ...