一:背景

1. 讲故事

上个月有位朋友加微信求助,说他的程序跑着跑着就内存爆掉了,寻求如何解决,截图如下:

从聊天内容看,这位朋友压力还是蛮大的,话说这貌似是我分析的第三个 MES 系统了,看样子 .NET 在传统工厂是巨无霸的存在哈。。。

话不多说,一起用 Windbg 一探究竟吧。

二:Windbg 分析

1. 托管还是非托管

先看下进程的commit内存,用 !address -summary 即可。


0:000> !address -summary Mapping file section regions...
Mapping module regions...
Mapping PEB regions...
Mapping TEB and stack regions...
Mapping heap regions...
Mapping page heap regions...
Mapping other regions...
Mapping stack trace database regions...
Mapping activation context regions... --- Type Summary (for busy) ------ RgnCount ----------- Total Size -------- %ofBusy %ofTotal
MEM_PRIVATE 971 e7d6b000 ( 3.622 GB) 95.24% 90.56%
MEM_IMAGE 1175 ac5d000 ( 172.363 MB) 4.43% 4.21%
MEM_MAPPED 34 d08000 ( 13.031 MB) 0.33% 0.32% --- State Summary ---------------- RgnCount ----------- Total Size -------- %ofBusy %ofTotal
MEM_COMMIT 1806 edfd9000 ( 3.719 GB) 97.77% 92.97%
MEM_FREE 190 c920000 ( 201.125 MB) 4.91%
MEM_RESERVE 374 56f7000 ( 86.965 MB) 2.23% 2.12% ...

可以看到,当前占用内存是 3.79G,从内存地址看是一个 32bit 程序,看样子程序在崩溃的边缘哈,接下来我们看下 托管堆内存 占用,使用 !eeheap -gc 命令。


0:000> !eeheap -gc
Number of GC Heaps: 1
generation 0 starts at 0xf35a90c0
generation 1 starts at 0xf33a1000
generation 2 starts at 0x01db1000
ephemeral segment allocation context: none
segment begin allocated size
...
f7790000 f7791000 f8058854 0x8c7854(9205844)
f33a0000 f33a1000 f3ba6e84 0x805e84(8412804)
Large object heap starts at 0x02db1000
segment begin allocated size
02db0000 02db1000 0387e988 0xacd988(11327880)
Total Size: Size: 0xdcab5ca8 (3702217896) bytes.
------------------------------
GC Heap Size: Size: 0xdcab5ca8 (3702217896) bytes.

从输出信息看,托管堆内存占用 3.7G,这是一个相对简单的 托管内存泄漏 问题了。

2. 探究托管堆

要查看托管堆还是很简单的,先来一个大一统的命令 !dumpheap -stat


0:000> !dumpheap -stat
Statistics:
MT Count TotalSize Class Name
...
04b045d0 67663 25711940 xxx.Product.Mes.DataStore.EF.MesDbContext
719f0100 3458387 41500644 System.Object
719f1b84 281492 42391384 System.Int32[]
0489adb0 2238394 44767880 xxx.Application.Features.FeatureChecker
71551e00 2238503 53724072 System.Collections.Generic.List`1[[System.String, mscorlib]]
07c473e0 5615923 67391076 System.Data.Entity.Core.Objects.Internal.ObjectQueryExecutionPlanFactory
07c68954 5683589 68203068 System.Data.Entity.Core.Common.Internal.Materialization.Translator
04c7e3a8 4042677 71990132 Castle.DynamicProxy.IInterceptor[]
014a80c0 3142755 80480594 Free
042ecd18 5869494 93911904 xxxx.Domain.Uow.UnitOfWorkInterceptor
096ed32c 67663 97164068 System.Collections.Generic.Dictionary`2+Entry[[System.Type, mscorlib],[System.Data.Entity.Internal.Linq.IInternalSetAdapter, EntityFramework]][]
0488edb0 12641117 151693404 xxx.Domain.Uow.AsyncLocalCurrentUnitOfWorkProvider
0488fa50 10769173 215383460 xxx.Domain.Uow.UnitOfWorkManager
07cc0fb0 5548261 355088704 System.Data.Entity.Core.Objects.EntitySqlQueryState
719efd60 11275964 1268805768 System.String

从卦象上看,沉底的基本都是和 EF 相关的类,相对来说 string 一般都是被这些 EF 所持有,而且还发现了一个非常异常的地方,就是 MesDbContext 居然有 6w 多,看样子有些不正常,接下来就抽几个查一下引用,大概都是如下输出:


0:000> !gcroot 17d2e438
HandleTable:
014313c8 (pinned handle)
-> 02dd9020 System.Object[]
-> 0260abf4 System.Collections.Concurrent.ConcurrentDictionary`2[[System.Data.Entity.DbContext, EntityFramework],[System.Collections.Concurrent.ConcurrentDictionary`2[[System.String, mscorlib],[EntityFramework.DynamicFilters.DynamicFilterParameters, EntityFramework.DynamicFilters]], mscorlib]]
-> b96074a4 System.Collections.Concurrent.ConcurrentDictionary`2+Tables[[System.Data.Entity.DbContext, EntityFramework],[System.Collections.Concurrent.ConcurrentDictionary`2[[System.String, mscorlib],[EntityFramework.DynamicFilters.DynamicFilterParameters, EntityFramework.DynamicFilters]], mscorlib]]
-> 02fcddb0 System.Collections.Concurrent.ConcurrentDictionary`2+Node[[System.Data.Entity.DbContext, EntityFramework],[System.Collections.Concurrent.ConcurrentDictionary`2[[System.String, mscorlib],[EntityFramework.DynamicFilters.DynamicFilterParameters, EntityFramework.DynamicFilters]], mscorlib]][]
-> b955eecc System.Collections.Concurrent.ConcurrentDictionary`2+Node[[System.Data.Entity.DbContext, EntityFramework],[System.Collections.Concurrent.ConcurrentDictionary`2[[System.String, mscorlib],[EntityFramework.DynamicFilters.DynamicFilterParameters, EntityFramework.DynamicFilters]], mscorlib]]
-> 17d2e438 xxx.DataStore.EF.MesDbContext

从引用链来看,这些 MesDbContext 都是被 ConcurrentDictionary<DbContext,ConcurrentDictionary<string,DynamicFilterParameters>> 所持有,接下来需要判断下这个字典的 size 到底有多大,可以用 !objsize 命令。

0:000> !objsize 0260abf4
e06d7363 Exception in c:\mysymbols\SOS_x86_x86_4.7.3701.00.dll\5F4FF1AE6f0000\SOS_x86_x86_4.7.3701.00.dll.objsize debugger extension.
PC: 757ea842 VA: 022ce8f4 R/W: 19930520 Parameter: 7b9bb528 0:000> !DumpObj /d 02fcddb0
Name: System.Collections.Concurrent.ConcurrentDictionary`2+Node[[System.Data.Entity.DbContext, EntityFramework],[System.Collections.Concurrent.ConcurrentDictionary`2[[System.String, mscorlib],[EntityFramework.DynamicFilters.DynamicFilterParameters, EntityFramework.DynamicFilters]], mscorlib]][]
MethodTable: 0973cb60
EEClass: 715c4fc0
Size: 573440(0x8c000) bytes
Array: Rank 1, Number of elements 143357, Type CLASS (Print Array)
Fields:
None

经过漫长的等待,害,最后报错了,但也可以看到这个 dictionary 有 14.3w 条记录, 接下来严峻的问题就来了,这个 ConcurrentDictionary 是朋友定义的还是框架内的?所以下一步就需要找到它的归属类?

3. 探究字典到底属于哪个类

要想找到 字典 的归属类,这个相对有点麻烦,我为此在 B 站上录了一集专门聊这个,有兴趣的朋友可以看一看。



https://b23.tv/Rq47Vxp

总而言之,整体思路是:

  1. 先找 17d2e438(MesDbContext) 在 0260abf4(dictionary) 中的 address (address1) 。
  2. 再从内存中寻找这个 address(address1) 的 address (address2)。

这个 address2 就存在于那个引用此dictionary的方法体,然后就可以反编译出该方法体,查看它的EEClass,最终找到所属类名。

接下来我们就实战一下。

  1. 查看 object[] 的 size。

0:000> !do 02dd9020
Name: System.Object[]
MethodTable: 719f0154
EEClass: 715c4fc0
Size: 65532(0xfffc) bytes
Array: Rank 1, Number of elements 16380, Type CLASS (Print Array)
Fields:
None
  1. 寻找 address1

s -d 搜索内存。


0:000> s -d 02dd9020 L?0xfffc 0260abf4
02de11a4 0260abf4 0260ad04 0260ad2c 08320d20 ..`...`.,.`. .2.

这个 02de11a4 就是我要找的 address1,这里稍微解释一下,-d 表示按 32bit 搜索, -q 按 64bit 搜索, L?0xfffc 是 object[] 数组的 size

  1. 寻找 address2

这里将地址拆成 02de11a4 = a4 11 de 02 去搜索,不然有坑的哈。


0:000> s-b 0 L?0xffffffff a4 11 de 02
0695d2f9 a4 11 de 02 e8 be 14 f9-6b b9 18 3c 34 70 e8 bc ........k..<4p..
09e9438b a4 11 de 02 39 09 e8 9a-11 af 67 8b f0 a1 bc 11 ....9.....g.....

从输出看,有两个代码区域用到了 dict, 因为是全内存搜索的,这里就挑选最后一个 address2=09e9438b 吧。

  1. 反编译address2

使用 !U 反编译,然后再 !name2ee + !dumpmd + !dumpclass 即可。


0:000> !U 09e9438b
Normal JIT generated code
EntityFramework.DynamicFilters.DynamicFilterExtensions.GetOrCreateScopedFilterParameters(System.Data.Entity.DbContext, System.String)
Begin 09e94320, size 1e1
09e94320 55 push ebp
...
09e9433a 8bf1 mov esi,ecx
09e9433c b95088ea09 mov ecx,9EA8850h (MT: EntityFramework.DynamicFilters.DynamicFilterExtensions+<>c__DisplayClass71_0)
09e94341 e882ed5af7 call 014430c8 (JitHelp: CORINFO_HELP_NEWSFAST)
09e94346 8bf8 mov edi,eax
09e94348 8d5704 lea edx,[edi+4]
09e9434b e800a5a568 call clr!JIT_WriteBarrierESI (728ee850) 0:000> !name2ee *!EntityFramework.DynamicFilters.DynamicFilterExtensions.GetOrCreateScopedFilterParameters
Module: 0973aef4
Assembly: EntityFramework.DynamicFilters.dll
Token: 0600005e
MethodDesc: 0973b8fc
Name: EntityFramework.DynamicFilters.DynamicFilterExtensions.GetOrCreateScopedFilterParameters(System.Data.Entity.DbContext, System.String)
JITTED Code Address: 09e94320 0:000> !dumpmd 0973b8fc
Method Name: EntityFramework.DynamicFilters.DynamicFilterExtensions.GetOrCreateScopedFilterParameters(System.Data.Entity.DbContext, System.String)
Class: 0974c7d8
MethodTable: 0973b938
mdToken: 0600005e
Module: 0973aef4
IsJitted: yes
CodeAddr: 09e94320
Transparency: Critical 0:000> !dumpclass 0974c7d8
Class Name: EntityFramework.DynamicFilters.DynamicFilterExtensions
mdToken: 02000006
File: D:\xxx\Debug\EntityFramework.DynamicFilters.dll
Parent Class: 715415b0
Module: 0973aef4
Method Table: 0973b938
Vtable Slots: 4
Total Method Slots: 20
Class Attributes: 100181 Abstract,
Transparency: Critical
NumInstanceFields: 0
NumStaticFields: 5
MT Field Offset Type VT Attr Value Name
0973bfcc 400000d c ....DynamicFilters]] 0 static 0260a9d4 _GlobalParameterValues
0973c3f4 400000e 10 ...ers]], mscorlib]] 0 static 0260abf4 _ScopedParameterValues
70343c18 400000f 14 ...tring, mscorlib]] 0 static 0260ad04 _PreventDisabledFilterConditions
71a34804 4000010 43 System.Boolean 1 static 1 _Initialized
05ec9adc 4000011 18 ...rsion, mscorlib]] 0 static 0260ad2c _OracleInstanceVersions

终于给找到了,原来是EF底层的 EntityFramework.DynamicFilters.DynamicFilterExtensions 类哈,导出源码如下:

最后就是拿 6w多的 MesDbContext 和 14w+的 _ScopedParameterValues 字典和朋友做了沟通,朋友也找到了解决办法。





三:总结

根据朋友提供的信息,最后注释掉了构造函数中的 MesDbContext 解决了问题,EF我不熟,有懂的朋友可以留言分析下哈。

记一次 WinDbg 分析 .NET 某工厂MES系统 内存泄漏分析的更多相关文章

  1. 记一次 .NET 某智能服装智造系统 内存泄漏分析

    一:背景 1. 讲故事 上个月有位朋友找到我,说他的程序出现了内存泄漏,不知道如何进一步分析,截图如下: 朋友这段话已经说的非常言简意赅了,那就上 windbg 说话吧. 二:Windbg 分析 1. ...

  2. 记一次 .NET 某智慧水厂API 非托管内存泄漏分析

    一:背景 1. 讲故事 七月底的时候有位朋友在wx上找到我,说他的程序内存占用8G,托管才占用1.5G,询问剩下的内存哪里去了?截图如下: 从求助内容看,这位朋友真的太客气了,动不动就谈钱,真伤感情, ...

  3. 记一次 .NET 某电厂Web系统 内存泄漏分析

    一:背景 1. 讲故事 前段时间有位朋友找到我,说他的程序内存占用比较大,寻求如何解决,截图就不发了,分析下来我感觉除了程序本身的问题之外,.NET5 在内存管理方面做的也不够好,所以有必要给大家分享 ...

  4. 记一次 .NET 某外贸Web站 内存泄漏分析

    一:背景 1. 讲故事 上周四有位朋友加wx咨询他的程序内存存在一定程度的泄漏,并且无法被GC回收,最终机器内存耗尽,很尴尬. 沟通下来,这位朋友能力还是很不错的,也已经做了初步的dump分析,发现了 ...

  5. Java内存泄漏分析与解决方案

    Java内存泄漏是每个Java程序员都会遇到的问题,程序在本地运行一切正常,可是布署到远端就会出现内存无限制的增长,最后系统瘫痪,那么如何最快最好的检测程序的稳定性,防止系统崩盘,作者用自已的亲身经历 ...

  6. Android内存泄漏分析及调试

    尊重原创作者,转载请注明出处: http://blog.csdn.net/gemmem/article/details/13017999 此文承接我的另一篇文章:Android进程的内存管理分析 首先 ...

  7. android 内存泄漏分析技巧

    java虚拟机执行一般都有一个内存界限,超过这个界限,就会报outofmemory.这个时候一般都是存在内存泄漏.解决内存泄漏问题,窃以为分为两个步骤:分析应用程序是否真的有内存泄漏,找到内存泄漏的地 ...

  8. Android 内存泄漏分析与解决方法

    在分析Android内存泄漏之前,先了解一下JAVA的一些知识 1. JAVA中的对象的创建 使用new指令生成对象时,堆内存将会为此开辟一份空间存放该对象 垃圾回收器回收非存活的对象,并释放对应的内 ...

  9. Java内存泄漏分析系列之六:JVM Heap Dump(堆转储文件)的生成和MAT的使用

    原文地址:http://www.javatang.com JVM Heap Dump(堆转储文件)的生成 正如Thread Dump文件记录了当时JVM中线程运行的情况一样,Heap Dump记录了J ...

随机推荐

  1. Nginx SERVER块配置

    1 Listen 指令 Example Configuration Directives 2 server_name指令 2.1 规则 指令后可以跟多个域名,第一个是主域名 *泛域名:进支持在最前或最 ...

  2. [Java Web 王者归来]读书笔记3

    第四章 JSP JSP基本语法 1 JSP中嵌入Java 代码 <% Java code %> 2 JSP中输出 <%= num %> 3 JSP 中的注释 <%-- - ...

  3. ciscn_2019_s_3

    拿到题目例行检查 64位程序开启了nx保护,将程序放入ida 看到没有system函数第一时间想到的就是泄露libc来做,后来才知道是我学识尚浅,需要用execve函数来做 进入main发现跳转到vu ...

  4. 2. Go中defer使用注意事项

    1. 简介 defer 会在当前函数返回前执行传入的函数,它会经常被用于关闭文件描述符.关闭数据库连接以及解锁资源. 理解这句话主要在三个方面: 当前函数 返回前执行,当然函数可能没有返回值 传入的函 ...

  5. CF80B Depression 题解

    Content 有一个时针,给定时间为 \(\text{HH}\) 时 \(\text{MM}\) 分,求图中 \(\alpha\) 和 \(\beta\) 角的值. 手画勿喷/kk 数据范围:\(0 ...

  6. 谷歌protobuf(protocol-buffers)各种开发语言数据类型转换说明

    官方文档:https://developers.google.cn/protocol-buffers/docs/proto proto2 proto3

  7. cmake配置项目引用动态库

    note 本文将介绍使用FIND_PACKAGE配置项目动态库的方法 cmake version: 3.18 platform: win10 20H2 概述 创建了一个动态库,再由主项目调用该动态库. ...

  8. 【LeetCode】1041. Robot Bounded In Circle 解题报告(Python)

    作者: 负雪明烛 id: fuxuemingzhu 个人博客: http://fuxuemingzhu.cn/ 目录 题目描述 题目大意 解题方法 找规律 日期 题目地址:https://leetco ...

  9. 【LeetCode】415. Add Strings 解题报告(Python)

    作者: 负雪明烛 id: fuxuemingzhu 个人博客: http://fuxuemingzhu.cn/ 目录 题目描述 题目大意 解题方法 日期 [LeetCode] 题目地址:https:/ ...

  10. 【LeetCode】788. Rotated Digits 解题报告(Python)

    作者: 负雪明烛 id: fuxuemingzhu 个人博客: http://fuxuemingzhu.cn/ 目录 题目描述 题目大意 解题方法 日期 题目地址:https://leetcode.c ...