最近生产环境中出现了一起CPU突然飙升的事件,下面介绍一下 CPU飙升问题排查的过程和解决方法. 该方案参考自:https://www.jianshu.com/p/e96c74133be6,感谢路遥Neo的分享 一.查看导致CPU飙升的线程 首先需要定位到是服务里的那些线程导致CPU飙升的.具体查找方法:1.在服务器上通过命令行输入 top 命令可以查到服务的进程号. (输入top回车,然后按下大写M按照memory排序,按下大写P按照CPU排序) 如上,占用CPU最多的进程ID是:18507…

linux Java项目CPU内存占用高故障排查 top -Hp 进程号 显示进程中每个线程信息,配合jstack定位java线程运行情况 # 线程详情 jstack 线程PID # 查看堆内存中的对象的情况,如果有大量对象在持续被引用,没有被释放掉,就产生了内存泄露,要结合代码,把不用的对象释放掉 jmap -histo 线程PID # 查看堆的使用情况,各个堆空间的占用情况 jmap -heap # 查询进程id垃圾回收情况 jstat -gcutil 线程PID…

因为这段时间一直在弄监控,但是工作还是在进行中 因为机器不多,所以今天早上巡检了一下,看到一台生产机器上的CPU飙高 top…

cpu是整个电脑的核心计算资源,对于一个应用进程来说,cpu的最小执行单元是线程. 导致cpu飙高的原因有几个方面: cpu上下文切换过多,对于cpu来说,同一时刻下每个cpu核心只能运行一个线程,如果有多个线程要执行,cpu只能通过上下文切换的方式来执行不同的线程.上下文切换需要做两个事情: 保存运行线程的执行状态 让处于等待中的线程执行 这两个过程需要CPU执行内核相关指令实现状态保存,如果较多的上下文切换会占据大量cpu资源,从而使得cpu无法去执行用户进程中的指令,导致响应速度下降. 在…

yarn就先不介绍了,这次排坑经历还是有收获的,从日志到堆栈信息再到源码,很有意思,下面听我说 问题描述: 集群一台NodeManager的cpu负载飙高. 进程还在但是看日志已经不再向ResourceManager发送心跳,不断重复下文2的动作. 心跳停止一段时间后会重连上RM但是cpu仍然很高,再过一段时间心跳再停,一直循环. NodeManager的日志解析 1.NM的localizing过程 localizing:container开始从hdfs下载resource,hdfs文件的状态从…

---------------------------------------linux下如何定位代码问题------------------------------- 1.先通过top命令找到消耗cpu很高的进程id假设是123 2.执行top -p 123单独监控该进程 3.在第2步的监控界面输入H,获取当前进程下的所有线程信息 4.找到消耗cpu特别高的线程编号,假设是123 5.执行jstack 123456对当前的进程做dump,输出所有的线程信息 6 将第4步得到的线程编号11354…

最近线上机器偶尔有台cpu达到100%,还居高不下.同样负载的其他机器却正常,我想肯定是代码哪里有问题了 首先我们top看下 可定位到对应占用高的PID 然后=>ps -mp PID -o THREAD,tid,time | sort -rn 就可定位到对应TID. 然后=>printf "%x\n" TID 把TID转成16进制格式 然后=>jstack pid |grep TID -A 30 (这里TID是转16进制后的) 接下来就可看到线程堆栈数据了 我们这里用…

1. 概述 提供一种简单的方法来定位CPU高的问题. 找到CPU高的进程,比如232543: 执行top -H -p pid,找到占用CPU最高的线程号,比如232544,转换成16进制38c60: 执行jstack 232543 > 232543.log用来dump出目前代码栈: 从232543.log中根据线程号38c60查找其中的线程相应的代码栈,则可快速定位相应的业务代码: 2. 步骤 2.0 模拟CPU占用的例子 public class Cpu { public static voi…

GitHub 20k Star 的Java工程师成神之路,不来了解一下吗! GitHub 20k Star 的Java工程师成神之路,真的不来了解一下吗! GitHub 20k Star 的Java工程师成神之路,真的真的不来了解一下吗! 前段时间我们新上了一个新的应用,因为流量一直不大,集群QPS大概只有5左右,写接口的rt在30ms左右. 因为最近接入了新的业务,业务方给出的数据是日常QPS可以达到2000,大促峰值QPS可能会达到1万. 所以,为了评估水位,我们进行了一次压测.压测在预发布…

现网CPU飙高,Full GC告警 https://www.cnblogs.com/QG-whz/p/9647614.html 问题出现:现网CPU飙高,Full GC告警 CGI 服务发布到现网后,现网机器出现了Full GC告警,同时CPU飙高99%.在优先恢复现网服务正常后,开始着手定位Full GC的问题.在现场只能够抓到四个GC线程占用了很高的CPU,无法抓到引发Full GC的线程.查看了服务故障期间的错误日志,发现更多的是由于Full GC引起的问题服务异常日志,无法确定Full…