昨天下午突然收到运维邮件报警,显示数据平台服务器cpu利用率达到了98.94%,而且最近一段时间一直持续在70%以上,看起来像是硬件资源到瓶颈需要扩容了,但仔细思考就会发现咱们的业务系统并不是一个高并发或者CPU密集型的应用,这个利用率有点太夸张,硬件瓶颈应该不会这么快就到了,一定是哪里的业务代码逻辑有问题. 1.排查思路 1.1 定位高负载进程 首先登录到服务器使用top命令确认服务器的具体情况,根据具体情况再进行分析判断. 通过观察load average,以及负载评判标准(8核),可以确认…

https://blog.csdn.net/MrZhangXL/article/details/77711996 第一步 :执行top命令,查出当前机器线程情况 top - 09:14:36 up 146 days, 20:24, 1 user, load average: 0.31, 0.37, 0.45 Tasks: 338 total, 1 running, 337 sleeping, 0 stopped, 0 zombie Cpu(s): 0.4%us, 0.4%sy, 0.0%ni,…

步骤一.找到最耗CPU的进程 工具:top 方法: 执行top -c ,显示进程运行信息列表 键入P (大写p),进程按照CPU使用率排序 图示: 如上图,最耗CPU的进程PID为10765 步骤二:找到最耗CPU的线程 工具:top 方法: top -Hp 10765 ,显示一个进程的线程运行信息列表 键入P (大写p),线程按照CPU使用率排序 图示: 如上图,进程10765内,最耗CPU的线程PID为10804 步骤三:将线程PID转化为16进制 工具:printf 方法:printf “…

kubelet CPU 使用率过高问题排查 问题背景 客户的k8s集群环境,发现所有的worker节点的kubelet进程的CPU使用率长时间占用过高,通过pidstat可以看到CPU使用率高达100%.针对此问题对kubelet进程的异常进行问题排查. 集群环境 软件 版本 kubernetes v1.18.8 docker 18.09.9 rancher v2.4.8-ent CentOS 7.6 kernel 4.4.227-1.el7.elrepo.x86_64 排查过程 使用strac…

linux Java项目CPU内存占用高故障排查 top -Hp 进程号 显示进程中每个线程信息,配合jstack定位java线程运行情况 # 线程详情 jstack 线程PID # 查看堆内存中的对象的情况,如果有大量对象在持续被引用,没有被释放掉,就产生了内存泄露,要结合代码,把不用的对象释放掉 jmap -histo 线程PID # 查看堆的使用情况,各个堆空间的占用情况 jmap -heap # 查询进程id垃圾回收情况 jstat -gcutil 线程PID…

一个执着于技术的公众号 问题背景 昨天下午突然收到运维邮件报警,显示数据平台服务器cpu利用率达到了98.94%,而且最近一段时间一直持续在70%以上,看起来像是硬件资源到瓶颈需要扩容了,但仔细思考就会发现咱们的业务系统并不是一个高并发或者CPU密集型的应用,这个利用率有点太夸张,硬件瓶颈应该不会这么快就到了,一定是哪里的业务代码逻辑有问题. 1.排查思路 1.1 定位高负载进程 首先登录到服务器使用top命令确认服务器的具体情况,根据具体情况再进行分析判断. 通过观察load average,…

load average的概念 top命令中load average显示的是最近1分钟.5分钟和15分钟的系统平均负载. 系统平均负载被定义为在特定时间间隔内运行队列中(在CPU上运行或者等待运行多少进程)的平均进程数.如果一个进程满足以下条件则其就会位于运行队列中: 它没有在等待I/O操作的结果 它没有主动进入等待状态(也就是没有调用'wait') 没有被停止(例如:等待终止) 在Linux中,进程分为三种状态,一种是阻塞的进程blocked process,一种是可运行的进程runnable…

---------------------------------------linux下如何定位代码问题------------------------------- 1.先通过top命令找到消耗cpu很高的进程id假设是123 2.执行top -p 123单独监控该进程 3.在第2步的监控界面输入H,获取当前进程下的所有线程信息 4.找到消耗cpu特别高的线程编号,假设是123 5.执行jstack 123456对当前的进程做dump,输出所有的线程信息 6 将第4步得到的线程编号11354…

1. 性能优化是什么? 1.1 性能优化就是发挥机器本来的性能 1.2 性能瓶颈在哪里,木桶效应.   CPU占用过高 1.现象重现 CPU占用过高一般情况是代码中出现了循环调用,最容易出现的情况有几种: a)递归调用,退出机制设计的不够合理: b)定时器启动过频繁: c)代码出现死循环  GC频繁也可能导致CPU占用过高 我用最简单的死循环来举例: while (true){ ... } 执行后用top 命令查看系统情况 这个时候可以看大pid 21270 的进程 cpu占用率为100% 这里…

load average的概念 系统平均负载定义:在特定时间间隔内运行队列中(在CPU上运行或者等待运行多少进程)的平均进程数.如果一个进程满足以下条件则其就会位于运行队列中: 它没有在等待I/O操作的结果 它没有主动进入等待状态(也就是没有调用’wait’) 没有被停止(例如:等待终止) 在Linux中,进程分为三种状态,一种是阻塞的进程blocked process,一种是可运行的进程runnable process,另外就是正在运行的进程running process 进程可运行状态时,它…