[翻译] 编写高性能 .NET 代码--第二章 GC -- 减少大对象堆的碎片,在某些情况下强制执行完整GC,按需压缩大对象堆,在GC前收到消息通知,使用弱引用缓存对象
减少大对象堆的碎片
如果不能完全避免大对象堆的分配,则要尽量避免碎片化。
对于LOH不小心就会有无限增长,但LOH使用的空闲列表机制可以减轻增长的影响。利用这个空闲列表,我们可以在两块分配区域中间找到你所想要的可分配区域。
要做到这一点,就需要保证你在LOH里的分配都按照同一个尺寸或者同一个尺寸的倍数进行。例如,一个常见的需求是在LOH里分配缓冲区。要确保分配的每个缓冲区都是一个大小,或者是一个知名数字(1M)的倍数,而不要创建大小不一的缓冲区。这样做的话,如果一个缓冲区被回收,那么下一个缓冲区在分配的时候,很大概率不会在堆结尾分配,而是会在被回收的地方重新分配。
继续用前面的MemoryStreams的的故事。我们的第一个实现我们只对PooledMemoryStream进行的池化,它的缓冲区增长还是沿用MemoryStreams的默认算法,当超过容量是,会按照当前的缓冲区大小加倍申请。这虽然解决分配问题,但是又造成了碎片问题。第二次迭代的时候,我们抛弃了这种申请算法,我们倾向于实现一个流的抽象类,将多个128K直接的缓冲区合并使用,将这些小的缓冲区用链接的方式组成一个大的缓冲区,他们大小为1MB的倍数(最大为8MB)。这个新的实现大大减少了我们的碎片问题,当然我们偶尔还会不得不将一些128KB的数据复制到1MB的缓冲区里,但这样的改进也是值得的。
在某些情况下强制执行完整GC
在几乎所有的正常情况下,你是不应该主动执行完整GC操作的,这可能会打乱GC的自动处理流程,导致一些不好的结果。但是,在一些高性能系统里存在一些情况,我们还是会建议你进行一次完整GC。
通常,在有合适的时间窗口下进行完整GC,可以避免在今后不好的时间段执行GC。注意,这里讨论的只是耗时比较多完整GC,对于0代和1代的回收还是应该频繁出发,以避免构建的0代内存区太大。
在下面情况可以做一次完整的完整GC:
你如果使用了低延迟模式,在这种模式下,堆的大小会一直增长,这个时候你需要在合适的时间点来执行一次完成GC。
如果会偶尔大量分配一些长生命周期的对象(初始化对象池),在对象创建后,可以执行一次完整GC,将对象尽快转为2代对象。或者当你不再使用这些对象,也最好在删除引用后强制回收他们。
如果你现在所处的状态,因为碎片太多,必须要做大对象堆做压缩的时候。
对于情况1,2都是在特定时间里通过强制执行GC来避免在不合适的时机被执行GC。情况3,如果你在LOH里有很大的碎片,则可以帮助你减少堆的大小。如果不是上面的情况,你最好另外想一些其它优化方案。
要执行完整GC,可以使用GC.Collect来回收所希望的代纪。还可以通过GCCollectionMode的枚举参数告诉GC是否立即执行。参数有3个值
Default--(默认)当前,强制
Forced--(强制)告诉GC立即开始收集
Optimized--(优化)由GC决定现在是否是要的时机执行回收
GC.Collect(2);
// 等价于
GC.Collect(2, GCCollectionMode.Forced);
按需压缩大对象堆
即使使用了对象池,仍然可能会在大对象堆里分配对象,随着时间的推移,在里面会存在很多碎片。从.NET 4.5.1 开始,你可以告诉GC在下一次做完整GC时顺便也对LOH做一次压缩。
GCSettings.LargeObjectHeapCompactionMode = GCLargeObjectHeapCompactionMode.CompactOnce;
根据LOH的大小,这个压缩过程可能会很慢,甚至会用到好几秒。你最好是在你的程序能够长时间暂停的时候,才让垃圾回收器做一次这样的完整GC。修改该设置值,只会在下一次完整GC时会触发压缩,一旦完成了LOH的压缩,GCSettings.LargeObjectHeapCompactionMode就会被重新设置为GCLargeObjectHeapCompactionMode.Default。
因为这个过程很耗时,我还是建议你减少对LOH的分配或者使用对象池。这样将大大减少压缩的数据。压缩LOH功能只能作为碎片过多,分配的堆太大时的最后手段。
在GC前收到消息通知
如果你的应用完全不希望受到2代的的GC影响,你可以在GC快来临前收到一个通知。这样可以给你一个机会,暂停现有的业务处理,将请求分流到其它服务器,或者进入某种对你更合理的状态。
但是我建议你谨慎使用,这个GC通知机制可能会给你产生一些意料之外的情况。你应该在所有的优化手段都使用后才考虑它。如果你有下面的情况,你可以利用GC通知功能。
- 系统在进行一次完整GC时耗时太长,你完全无法接受
- 你可以完全关闭进程。(可以动态将相应请求交给其它进程)
- 你可以快速停止当前的业务处理。(暂停逻辑处理时间不要比执行GC的时间更多)
- 2代GC发生的几率很少,值得你这样处理。
2代的回收起始很少发生,更多的时候是在很多0代小对象分配时会达到触发的阈值,所以在收到GC的通知时,你还有很多工作需要做。
不幸的是,由于GC通知触发的不精确性,你只能在1-99范围你指定一个合适的触发时机。如果数字比较小,你可能会在里真正GC前才会收到消息,没有足够的时间做相应处理。但如果你的数字太高,这可能会被频繁触发而不会触及真正的GC。这两个选择取决你当前内存的分配率与内存负债。注意,这里会指定2个阈值数字,一个用于2代对象,一个用于LOH。与其它功能一样,GC会尽最大努力给你通知,但它不会保证你能不做这次GC。
要使用此功能,请按照一下步骤进行。
- 使用 GC.RegisterForFullGCNotification 方法,设置2个触发用的阈值
- 轮询的方式使用 GC.WaitForFullGCApproach 方法,你可以一直等待,或者配置超时返回值
- 如果 WaitForFullGCApproach 返回Success,请将程序的状态设置为可以进行完整GC状态(例如:暂停请求处理)
- 使用 GC.Collect 方法强制进行回收
- 调用 GC.WaitForFullGCComplete(可传入超时时间) 方法,等待GC完成。
- 重新打开对外的访问请求
- 如果你不再需要收到GC的通知,可以使用 GC.CancelFullGCNotification 方法进行取消。
因为通知需要一个轮询的机制,你需要有一个线程定期的检查状态。如果你的程序里已经有这样的定时检查功能,你可以将它嵌入到检查流程里。当然也可以单独为GC检查创建一个独立的线程。
下面的是一个 GCNotification 的完整例子。它会不断的分配内存用来测试通知过程。
internal class Program
{
private static void Main(string[] args)
{
const int ArrSize = 1024;
var arrays = new List<byte[]>();
GC.RegisterForFullGCNotification(25, 25);
// Start a separate thread to wait for GC notifications
Task.Run(() => WaitForGCThread(null));
Console.WriteLine("Press any key to exit");
while (!Console.KeyAvailable)
{
try
{
arrays.Add(new byte[ArrSize]);
}
catch (OutOfMemoryException)
{
Console.WriteLine("OutOfMemoryException!");
arrays.Clear();
}
}
GC.CancelFullGCNotification();
}
private static void WaitForGCThread(object arg)
{
const int MaxWaitMs = 10000;
while (true)
{
// There is also an overload of WaitForFullGCApproach
// that waits indefinitely
GCNotificationStatus status = GC.WaitForFullGCApproach(MaxWaitMs);
bool didCollect = false;
switch (status)
{
case GCNotificationStatus.Succeeded:
Console.WriteLine("GC approaching!");
Console.WriteLine("-- redirect processing to another machine -- ");
didCollect = true;
GC.Collect();
break;
case GCNotificationStatus.Canceled:
Console.WriteLine("GC Notification was canceled");
break;
case GCNotificationStatus.Timeout:
Console.WriteLine("GC notification timed out");
break;
}
if (didCollect)
{
do
{
status = GC.WaitForFullGCComplete(MaxWaitMs);
switch (status)
{
case GCNotificationStatus.Succeeded:
Console.WriteLine("GC completed");
Console.WriteLine("-- accept processing on this machine again --");
break;
case GCNotificationStatus.Canceled:
Console.WriteLine("GC Notification was canceled");
break;
case GCNotificationStatus.Timeout:
Console.WriteLine("GC completion notification timed out");
break;
}
// Looping isn't necessary, but it's useful if you want
// to check other state before waiting again.
} while (status == GCNotificationStatus.Timeout);
}
}
}
}
另外一种触发方式是压缩LOH堆,但是基于内存使用触发更合适一些。
使用弱引用缓存对象
被弱引用对象引用的对象时可以在GC的时候被回收的。这与强引用形成对别,强引用后的对象是不会被回收的。弱引用主要用来缓存你想保留的不是很重要的对象,一旦应用有内存上的压力,就有可能被回收。
WeakReference weakRef = new WeakReference(myExpensiveObject);
…
// Create a strong reference to the object,
// now no longer eligible for GC
var myObject = weakRef.Target;
if (myObject != null)
{
myObject.DoSomethingAwesome();
}
[翻译] 编写高性能 .NET 代码--第二章 GC -- 减少大对象堆的碎片,在某些情况下强制执行完整GC,按需压缩大对象堆,在GC前收到消息通知,使用弱引用缓存对象的更多相关文章
- [翻译] 编写高性能 .NET 代码--第二章 GC -- 将长生命周期对象和大对象池化
将长生命周期对象和大对象池化 请记住最开始说的原则:对象要么立即回收要么一直存在.它们要么在0代被回收,要么在2代里一直存在.有些对象本质是静态的,生命周期从它们被创建开始,到程序停止才会结束.其它对 ...
- [翻译] 编写高性能 .NET 代码--第二章 GC -- 减少分配率, 最重要的规则,缩短对象的生命周期,减少对象层次的深度,减少对象之间的引用,避免钉住对象(Pinning)
减少分配率 这个几乎不用解释,减少了内存的使用量,自然就减少GC回收时的压力,同时降低了内存碎片与CPU的使用量.你可以用一些方法来达到这一目的,但它可能会与其它设计相冲突. 你需要在设计对象时仔细检 ...
- [翻译] 编写高性能 .NET 代码--第二章 GC -- 配置选项
配置选项 在基于"less rope to hang yourself with"思想下,.NET 框架没有给开发提供很多太多的配置选项.但在大多数情况下,GC会跟你的硬件配置,及 ...
- [翻译] 编写高性能 .NET 代码--第二章 GC -- 避免使用终结器,避免大对象,避免复制缓冲区
避免使用终结器 如果没有必要,是不需要实现一个终结器(Finalizer).终结器的代码主要是让GC回收非托管资源用.它会在GC完成标记对象为可回收后,放入一个终结器队列里,在由另外一个线程执行队列里 ...
- [翻译]编写高性能 .NET 代码 第二章:垃圾回收
返回目录 第二章:垃圾回收 垃圾回收是你开发工作中要了解的最重要的事情.它是造成性能问题里最显著的原因,但只要你保持持续的关注(代码审查,监控数据)就可以很快修复这些问题.我这里说的"显著的 ...
- [翻译]编写高性能 .NET 代码 第二章:垃圾回收 基本操作
返回目录 基本操作 垃圾回收的算法细节还在不断完善中,性能还会有进一步的提升.下文介绍的内容在不同的.NET版本里会略有不同,但大方向是不会有变动的. 在.net进程里会管理2个类型的内存堆:托管和非 ...
- [翻译]编写高性能 .NET 代码 第一章:性能测试与工具 -- 平均值 vs 百分比
<<返回目录 平均值 vs 百分比 在考虑要性能测试的目标值时,我们需要考虑用什么统计口径.大多数人都会首选平均值,但在大多数情况下,这个正确的,但你也应该适当的考虑百分数.但你有可用性的 ...
- [翻译]编写高性能 .NET 代码 第一章:工具介绍 -- Visual Studio
<<返回目录 Visual Studio vs虽然不是全宇宙唯一的IDE,但它是.net开发人员最常用的开发工具.它自带一个性能分析工具,你可以使用它来做开发,不同的vs版本在工具上会略有 ...
- [翻译]编写高性能 .NET 代码 第一章:工具介绍 -- Performance Counters(性能计数器)
<<返回目录 Performance Counters(性能计数器) 性能计数器是监视应用程序和系统性能的最简单的方法之一.它有几十个类别数百个计数器在,包括一些.net特有的计数器.要访 ...
随机推荐
- 浅谈mysql innodb缓存策略
浅谈mysql innodb缓存策略: The InnoDB Buffer Pool Innodb 持有一个存储区域叫做buffer pool是为了在内存中缓存数据和索引,知道innodb buffe ...
- eclipse中git解决冲突
摘录自http://blog.csdn.net/rosten/article/details/17068285 1. 工程->Team->同步 2.从远程pull至本地,就会出现如下内容 ...
- mysql-SQL优化总结
1.查询首先考虑在where和order by设计的列上建立索引,尽量避免全表扫描. 2.尽量避免在where子句中对字段进行null值判断,否则将导致引擎放弃使用索引而进行全表扫描. select ...
- Intellij 设置生成serialVersionUID的方法
- 主页面刷新 illegalStateException:stream
其实是:jsonmappingexception:no serializer found for class 由于后台错误堆栈打印很快,只看到illegalStateException:stream ...
- centos7 安装jdk 1.8
1.下载jdk1.8 for linux的安装包 jdk-8u11-linux-x64.tar.gz,下载地址:http://download.oracle.com/otn-pub/java/jdk ...
- java1.8--Null Object模式
整理这篇博客是因为现在在整理java8中的optional,所以觉得很有必要整理下Null Object模式.java.lang.NullPointerException,只要敢自称Java程序员,那 ...
- Redis Crackit漏洞防护
Redis Crackit漏洞利用和防护 注意:本文只是阐述该漏洞的利用方式和如何预防.根据职业道德和<中华人民共和国计算机信息系统安全保护条例>,如果发现的别人的漏洞,千万不要轻易入侵, ...
- dotween tips
涉及kill及复用的行为比较奇怪. 使用shortcut方式调用dotween时,每次调用都是增加一个新的tweener,如果该tweener控制的属性与上次调用相同时,会出现奇怪的行为,应该是多个t ...
- Javascript的异步和回调
介绍JavaScript的一些同步.异步.单线程多线程,回调基本概念:https://segmentfault.com/a/1190000002999668