一：背景

1.讲故事

前些天有位朋友微信找到我，说他的程序出现了CPU阶段性爆高，过了一会就下去了，咨询下这个爆高阶段程序内部到底发生了什么？ 画个图大概是下面这样，你懂的。

按经验来说，这种情况一般是程序在做 CPU 密集型运算，所以让朋友在 CPU 高的时候间隔 5~10s 抓两个 dump 下来，然后就是用 WinDbg 分析。

二：WinDbg 分析

1. CPU 真的爆高吗

耳听为虚，眼见为实，我们用 !tp 观察下当前的CPU情况。



0:000> !tp

CPU utilization: 100%

Worker Thread: Total: 16 Running: 2 Idle: 14 MaxLimit: 32767 MinLimit: 2

Work Request in Queue: 0

--------------------------------------

Number of Timers: 2

--------------------------------------

Completion Port Thread:Total: 2 Free: 2 MaxFree: 4 CurrentLimit: 2 MaxLimit: 1000 MinLimit: 2

果不其然，CPU直接打满，接下来就是看看当前有几个CPU逻辑核，这么不够扛。。。



0:000> !cpuid

CP  F/M/S  Manufacturer     MHz

 0  6,106,6  <unavailable>   2700

 1  6,106,6  <unavailable>   2700

我去，一个生产环境居然只有两个核。。。果然这大环境下公司活着都不够滋润。

2. 到底是谁引发的

既然是阶段性爆高，最简单粗暴的就是看下各个线程栈，使用 ~*e !clrstack 命令即可，因为只有两核，所以理论上两个线程就可以把 CPU 干趴下，扫了一下线程栈，果然有对号入座的，输出信息如下：



0:000> ~*e !clrstack

OS Thread Id: 0x146c (42)

        Child SP               IP Call Site

00000089abcfca18 00007ffc4baffdb4 [InlinedCallFrame: 00000089abcfca18] System.Drawing.SafeNativeMethods+Gdip.IntGdipDisposeImage(System.Runtime.InteropServices.HandleRef)

00000089abcfca18 00007ffbdd4a7a48 [InlinedCallFrame: 00000089abcfca18] System.Drawing.SafeNativeMethods+Gdip.IntGdipDisposeImage(System.Runtime.InteropServices.HandleRef)

00000089abcfc9f0 00007ffbdd4a7a48 DomainNeutralILStubClass.IL_STUB_PInvoke(System.Runtime.InteropServices.HandleRef)

00000089abcfcaa0 00007ffbdd52ad0a System.Drawing.SafeNativeMethods+Gdip.GdipDisposeImage(System.Runtime.InteropServices.HandleRef)

00000089abcfcae0 00007ffbdd52ac3f System.Drawing.Image.Dispose(Boolean)

00000089abcfcb30 00007ffbdd556b5a System.Drawing.Image.Dispose()

00000089abcfcb60 00007ffbe39397c7 NPOI.SS.Util.SheetUtil.GetCellWidth(NPOI.SS.UserModel.ICell, Int32, NPOI.SS.UserModel.DataFormatter, Boolean)

00000089abcfcc00 00007ffbe3939654 NPOI.SS.Util.SheetUtil.GetCellWidth(NPOI.SS.UserModel.ICell, Int32, NPOI.SS.UserModel.DataFormatter, Boolean)

00000089abcfcd30 00007ffbe39382e1 NPOI.SS.Util.SheetUtil.GetColumnWidth(NPOI.SS.UserModel.ISheet, Int32, Boolean)

00000089abcfcdc0 00007ffbe39380bc NPOI.XSSF.UserModel.XSSFSheet.AutoSizeColumn(Int32, Boolean)

...

OS Thread Id: 0x1c8c (46)

        Child SP               IP Call Site

00000089ad43dba8 00007ffc4baffdb4 [InlinedCallFrame: 00000089ad43dba8] System.Drawing.SafeNativeMethods+Gdip.IntGdipDisposeImage(System.Runtime.InteropServices.HandleRef)

00000089ad43dba8 00007ffbdd4a7a48 [InlinedCallFrame: 00000089ad43dba8] System.Drawing.SafeNativeMethods+Gdip.IntGdipDisposeImage(System.Runtime.InteropServices.HandleRef)

00000089ad43db80 00007ffbdd4a7a48 DomainNeutralILStubClass.IL_STUB_PInvoke(System.Runtime.InteropServices.HandleRef)

00000089ad43dc30 00007ffbdd52ad0a System.Drawing.SafeNativeMethods+Gdip.GdipDisposeImage(System.Runtime.InteropServices.HandleRef)

00000089ad43dc70 00007ffbdd52ac3f System.Drawing.Image.Dispose(Boolean)

00000089ad43dcc0 00007ffbdd556b5a System.Drawing.Image.Dispose()

00000089ad43dcf0 00007ffbe39397c7 NPOI.SS.Util.SheetUtil.GetCellWidth(NPOI.SS.UserModel.ICell, Int32, NPOI.SS.UserModel.DataFormatter, Boolean)

00000089ad43dd90 00007ffbe3939654 NPOI.SS.Util.SheetUtil.GetCellWidth(NPOI.SS.UserModel.ICell, Int32, NPOI.SS.UserModel.DataFormatter, Boolean)

00000089ad43dec0 00007ffbe39382e1 NPOI.SS.Util.SheetUtil.GetColumnWidth(NPOI.SS.UserModel.ISheet, Int32, Boolean)

00000089ad43df50 00007ffbe39380bc NPOI.XSSF.UserModel.XSSFSheet.AutoSizeColumn(Int32, Boolean)

...

00000089ad43e460 00007ffbe115b193 System.Web.Mvc.ControllerActionInvoker.InvokeActionMethod(System.Web.Mvc.ControllerContext, System.Web.Mvc.ActionDescriptor, System.Collections.Generic.IDictionary`2<System.String,System.Object>)

...

00000089abcfd310 00007ffbe115b147 System.Web.Mvc.Async.AsyncControllerActionInvoker+c.b__9_0(System.IAsyncResult, ActionInvocation)

...

有些朋友要问了，你是怎么确定就是这两个线程呢？ 其实有两个方法可以验证。

  1. 使用 !whttp 看http请求

既然是 web 请求，自然就可以拿到里面的 HttpContext，这里面记录着当前请求的运行时间，这个信息非常重要，截图如下：

从图中可以看到，有两个 xxxx/Export 请求运行时间非常高，一个是 4min30s ，一个是 50s ，刚好落在了 42 和 46 号线程上。

  1. 借助第二个 dump 文件

这就是为什么要抓二个dump的原因了，因为另一个dump会给我们相当有价值的对比信息，同样使用 !whttp 验证。

接下来我们就要调研为什么这两个线程会运行这么久？

3. 为什么会运行这么久

既然是 Export 导出文件，第一时间就应该想到是不是和数据量有关？通过线程栈上的方法，发现是一个List 集合，接下来用 !dso 命令找出来看看。



0:042> !dso

OS Thread Id: 0x146c (42)

RSP/REG          Object           Name

00000089ABCFCAC8 0000020683b7c128 System.Drawing.Bitmap

00000089ABCFCAF8 0000020683b7c158 System.Drawing.Graphics

00000089ABCFCB10 0000020683b7c128 System.Drawing.Bitmap

00000089ABCFCB30 0000020683b7c128 System.Drawing.Bitmap

00000089ABCFCB40 0000020683b7c4d0 NPOI.XSSF.UserModel.XSSFCellStyle

00000089ABCFCB50 0000020683b7c198 NPOI.XSSF.UserModel.XSSFRichTextString

00000089ABCFCB68 0000020683b7c198 NPOI.XSSF.UserModel.XSSFRichTextString

00000089ABCFCBC0 0000020683b7c198 NPOI.XSSF.UserModel.XSSFRichTextString

00000089ABCFCBC8 0000020683b7c2e8 System.String[]

00000089ABCFCBD0 0000020683b7c360 System.Drawing.Font

00000089ABCFCDE8 0000020666501240 System.Collections.Generic.List`1[[System.Collections.Generic.List`1[[System.Object, mscorlib]], mscorlib]]

...

0:042> !do 0000020666501240

Name:        System.Collections.Generic.List`1[[System.Collections.Generic.List`1[[System.Object, mscorlib]], mscorlib]]

MethodTable: 00007ffbde342440

EEClass:     00007ffc36fc2af8

Size:        40(0x28) bytes

File:        C:\Windows\Microsoft.Net\assembly\GAC_64\mscorlib\v4.0_4.0.0.0__b77a5c561934e089\mscorlib.dll

Fields:

              MT    Field   Offset                 Type VT     Attr            Value Name

00007ffc36e4e250  40018a0        8     System.__Canon[]  0 instance 00000207658592d8 _items

00007ffc36e385a0  40018a1       18         System.Int32  1 instance            44906 _size

00007ffc36e385a0  40018a2       1c         System.Int32  1 instance            44906 _version

00007ffc36e35dd8  40018a3       10        System.Object  0 instance 0000000000000000 _syncRoot

00007ffc36e4e250  40018a4        0     System.__Canon[]  0   shared           static _emptyArray

                                 >> Domain:Value dynamic statics NYI 0000020563eec3c0:NotInit dynamic statics NYI 0000020795f5b9a0:NotInit  <<

可以清楚的看到，这个list高达 4.5w，这个量级说多也不多，说少也不少，言外之意就是代码写的也不好不到哪里去。

4. 用户代码要承担责任吗

要判断用户代码是不是很烂，除了白盒看代码，也可以黑盒观察这几个线程栈，可以发现两个dump 显示的栈信息都和 AutoSizeColumn 方法有关。



00000089abcfcae0 00007ffbdd52ac3f System.Drawing.Image.Dispose(Boolean)

00000089abcfcb30 00007ffbdd556b5a System.Drawing.Image.Dispose()

00000089abcfcb60 00007ffbe39397c7 NPOI.SS.Util.SheetUtil.GetCellWidth(NPOI.SS.UserModel.ICell, Int32, NPOI.SS.UserModel.DataFormatter, Boolean)

00000089abcfcc00 00007ffbe3939654 NPOI.SS.Util.SheetUtil.GetCellWidth(NPOI.SS.UserModel.ICell, Int32, NPOI.SS.UserModel.DataFormatter, Boolean)

00000089abcfcd30 00007ffbe39382e1 NPOI.SS.Util.SheetUtil.GetColumnWidth(NPOI.SS.UserModel.ISheet, Int32, Boolean)

00000089abcfcdc0 00007ffbe39380bc NPOI.XSSF.UserModel.XSSFSheet.AutoSizeColumn(Int32, Boolean)

从名字看是 NOPI 提供的自动调整列宽 的方法，那是不是这个方法的单次性能很慢呢？要寻找答案，只能求助百度啦。。。

  • 图一

  • 图二

到这里我们基本就搞清楚了，导致 reqeust 高达 5min + 的诱因大概有三个。

  1. 数据量大

  2. AutoSizeColumn 速度慢

  3. 代码上的其他因素

跟朋友沟通后，朋友说这块请求中的 AutoSizeColumn 方法忘了改掉。

三：总结

这个 Dump 分析起来其实非常简单，思路也比较明朗，重点还是提醒一下大家慎用 NPOI 的 AutoSizeColumn 方法，弄不好就得出个生产事故！

记一次某制造业ERP系统 CPU打爆事故分析的更多相关文章

  1. 再记一次 应用服务器 CPU 暴高事故分析

    一:背景 1. 前言 大概有2个月没写博客了,不是不想写哈

  2. 记一次 .NET 某HIS系统后端服务 内存泄漏分析

    一:背景 1. 讲故事 前天那位 his 老哥又来找我了,上次因为CPU爆高的问题我给解决了,看样子对我挺信任的,这次另一个程序又遇到内存泄漏,希望我帮忙诊断下. 其实这位老哥技术还是很不错的,他既然 ...

  3. 记一次 .NET医疗布草API程序 内存暴涨分析

    一:背景 1. 讲故事 我在年前写过一篇关于CPU爆高的分析文章 再记一次 应用服务器 CPU 暴高事故分析 ,当时是给同济做项目升级,看过那篇文章的朋友应该知道,最后的结论是运维人员错误的将 IIS ...

  4. 解析大型.NET ERP系统 业务逻辑设计与实现

    根据近几年的制造业软件开发经验,以我开发人员的理解角度,简要说明功能(Feature)是如何设计与实现的,供参考. 因架构的不同,技术实现上会有所差异,我的经验仅限定于Windows Form程序. ...

  5. 解析大型.NET ERP系统 权限模块设计与实现

    权限模块是ERP系统的核心模块之一,完善的权限控制机制给系统增色不少.总结我接触过的权限模块,以享读者. 1 权限的简明定义 ERP权限管理用一句简单的话来说就是:谁 能否 做 那些 事. 文句 含义 ...

  6. 解析大型.NET ERP系统 高质量.NET代码设计模式

    1 缓存 Cache 系统中大量的用到缓存设计模式,对系统登入之后不变的数据进行缓存,不从数据库中直接读取.耗费一些内存,相比从SQL Server中再次读取数据要划算得多.缓存的基本设计模式参考下面 ...

  7. 为什么我会认为SAP是世界上最好用最牛逼的ERP系统，没有之一？

    为什么我认为SAP是世界上最好用最牛逼的ERP系统,没有之一?玩过QAD.Tiptop.用友等产品,深深觉得SAP是贵的有道理! 一套好的ERP系统,不仅能够最大程度承接适配企业的管理和业务流程,在技 ...

  8. 解析大型.NET ERP系统 20条数据库设计规范

    数据库设计规范是个技术含量相对低的话题,只需要对标准和规范的坚持即可做到.当系统越来越庞大,严格控制数据库的设计人员,并且有一份规范书供执行参考.在程序框架中,也有一份强制性的约定,当不遵守规范时报错 ...

  9. 面向企业客户的制造业CRM系统的不成熟思考

    CRM就是客户关系管理(Customer Relationship Management),一直一知半解,最近有涉及这方面的需求,所以稍作研究,并思考一些相关问题. CRM是什么? CRM具体如何定义 ...

随机推荐

  1. python在执行命令时添加环境变量或指定执行路径

    cwd: 命令的执行路径,相当于os.chdir('/home')提前切换到对应路径 env: 环境变量,某些执行路径需要添加必须的环境变量,例如fastboot依赖与adb路径下的环境变量 impo ...

  2. 提交代码的其他方式，不单单只有git

    1.  xftp提交代码至服务器,直接连接服务器(如果使用可以直接到官网下载一个试用版或者家庭教育版的,本人不推荐使用破解版毕竟是直接和公司服务器对接出问题不好交代) // https://www.n ...

  3. Modbus转Profinet网关案例 | 三菱FR-A700系列变频器配置方法

    本案例是利用小疆智控Modbus转Profinet网关GW-PN5001把三菱FR-A700变频器接入到西门子1200PLC.实现Profinet转Modbus的通讯协议的互转. 用到设备有:三菱FR ...

  4. LuoguP2254 [NOI2005]瑰丽华尔兹 （单调队列优化DP）（用记忆化过了。。。）

    记忆化 #include <cstdio> #include <iostream> #include <cstring> #include <algorith ...

  5. 使用dotnet-monitor分析在Kubernetes的应用程序：Sidecar模式

    dotnet-monitor可以在Kubernetes中作为Sidecar运行,Sidecar是一个容器,它与应用程序在同一个Pod中运行,利用Sidecar模式使我们可以诊断及监控应用程序. 如下图 ...

  6. OpenCV CMake VSCode Windows 平台下运行配置及其解决方案

    前言 最近在搞 计算机图形学相关的东西,有个 demo 用到了 opencv,找了 google 一圈,发现国内都没有比较好的配置和解决的办法,要不就是几年前的教程,最近正好踩坑完,其中经历了自己编译 ...

  7. redis淘汰策略和过期策略

    淘汰策略 https://blog.csdn.net/qq_55961709/article/details/124568269 LRU算法和LFU算法的区别: LRU:最近最少使用,淘汰时间长没有使 ...

  8. 域渗透-Kerberos身份验证流程

    域渗透-Kerberos身份验证流程 Kerberos协议框架 在 Kerberos 协议中主要是有三个角色的存在: 1. 访问服务的 Client: 2. 提供服务的 Server: 3.KDC(K ...

  9. IP地址最后一位斜杠是什么意思？比如192.168.1.10/27?还有IP地址和子网掩码相加得到的网络地址是什么意思

    IP地址最后一位斜杠是什么意思?比如192.168.1.10/27?还有IP地址和子网掩码相加得到的网络地址是什么意思 IP地址最后一位斜杠是什么意思?比如192.168.1.10/27?还有IP地址 ...

  10. LibTorch | 使用神经网络求解一维稳态对流扩散方程

    0. 写在前面 本文将使用基于LibTorch(PyTorch C++接口)的神经网络求解器,对一维稳态对流扩散方程进行求解.研究问题参考自教科书\(^{[1]}\)示例 8.3. 目录 0. 写在前 ...