STL源代码分析--第二级空间配置器
本文解说SGI STL空间配置器的第二级配置器。
相比第一级配置器,第二级配置器多了一些机制,避免小额区块造成内存的碎片。不不过碎片的问题,配置时的额外负担也是一个大问题。由于区块越小,额外负担所占的比例就越大。
额外负担是指动态分配内存块的时候,位于其头部的额外信息。包含记录内存块大小的信息以及内存保护区(推断是否越界)。要想了解具体信息,请參考MSVC或者其它malloc实现。
SGI STL第二级配置器详细实现思想
例如以下:
- 假设要分配的区块大于128bytes,则移交给第一级配置器处理。
- 假设要分配的区块小于128bytes,则以内存池管理(memory pool),又称之次层配置(sub-allocation):每次配置一大块内存,并维护相应的自由链表(free-list)。下次若有同样大小的内存需求,则直接从free-list中取。
假设有小额区块被释放。则由配置器回收到free-list中。
以下具体节介绍内存池管理技术。
在第二级配置器中。小额区块内存需求大小都被上调至8的倍数,比方须要分配的大小是30bytes。就自己主动调整为32bytes。系统中总共维护16个free-lists,各自管理大小为8,16。...,128bytes的小额区块。
为了维护链表,须要额外的指针,为了避免造成第二种额外的负担,这里採用了一种技术:用union表示链表节点结构:
- union obj {
- union obj * free_list_link;//指向下一个节点
- char client_data[1]; /* The client sees this. */
- };
union可以实现一物二用的效果,当节点所指的内存块是空暇块时,obj被视为一个指针,指向还有一个节点。
当节点已被分配时,被视为一个指针,指向实际区块。
下面是第二级配置器整体实现代码概览:
- template <bool threads, int inst>
- class __default_alloc_template {
- private:
- // 實際上我們應該使用 static const int x = N
- // 來代替 enum { x = N }, 但眼下支援該性質的編譯器還不多。
- # ifndef __SUNPRO_CC
- enum {__ALIGN = 8};
- enum {__MAX_BYTES = 128};
- enum {__NFREELISTS = __MAX_BYTES/__ALIGN};
- # endif
- static size_t ROUND_UP(size_t bytes) {
- return (((bytes) + __ALIGN-1) & ~(__ALIGN - 1));
- }
- __PRIVATE:
- union obj {
- union obj * free_list_link;
- char client_data[1]; /* The client sees this. */
- };
- private:
- # ifdef __SUNPRO_CC
- static obj * __VOLATILE free_list[];
- // Specifying a size results in duplicate def for 4.1
- # else
- static obj * __VOLATILE free_list[__NFREELISTS];
- # endif
- static size_t FREELIST_INDEX(size_t bytes) {
- return (((bytes) + __ALIGN-1)/__ALIGN - 1);
- }
- // Returns an object of size n, and optionally adds to size n free list.
- static void *refill(size_t n);
- // Allocates a chunk for nobjs of size "size". nobjs may be reduced
- // if it is inconvenient to allocate the requested number.
- static char *chunk_alloc(size_t size, int &nobjs);
- // Chunk allocation state.
- static char *start_free;
- static char *end_free;
- static size_t heap_size;
- /* n must be > 0 */
- static void * allocate(size_t n){...}
- /* p may not be 0 */
- static void deallocate(void *p, size_t n){...}
- static void * reallocate(void *p, size_t old_sz, size_t new_sz);
- template <bool threads, int inst>
- char *__default_alloc_template<threads, inst>::start_free = 0;//内存池起始位置
- template <bool threads, int inst>
- char *__default_alloc_template<threads, inst>::end_free = 0;//内存池结束位置
- template <bool threads, int inst>
- size_t __default_alloc_template<threads, inst>::heap_size = 0;
- template <bool threads, int inst>
- __default_alloc_template<threads, inst>::obj * __VOLATILE
- __default_alloc_template<threads, inst> ::free_list[
- # ifdef __SUNPRO_CC
- __NFREELISTS
- # else
- __default_alloc_template<threads, inst>::__NFREELISTS
- # endif
- ] = {0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, };
空间配置函数allocate()
详细实现例如以下:
- 要分配的区块小于128bytes。调用第一级配置器。
- 否则,向相应的free-list寻求帮助。
- 相应的free list有可用的区块,直接拿过来用。
- 假设没有可用的区块。调用函数refill()为free list又一次填充空间。
代码例如以下:
- /* n must be > 0 */
- static void * allocate(size_t n)
- {
- obj * __VOLATILE * my_free_list;
- obj * __RESTRICT result;
- if (n > (size_t) __MAX_BYTES) {
- return(malloc_alloc::allocate(n));
- }
- my_free_list = free_list + FREELIST_INDEX(n);
- // Acquire the lock here with a constructor call.
- // This ensures that it is released in exit or during stack
- // unwinding.
- # ifndef _NOTHREADS
- /*REFERENCED*/
- lock lock_instance;
- # endif
- result = *my_free_list;
- if (result == 0) {
- void *r = refill(ROUND_UP(n));
- return r;
- }
- *my_free_list = result -> free_list_link;
- return (result);
- };
这里须要注意的是,每次都是从相应的free list的头部取出可用的内存块。
图演示样例如以下:
图一 从free list取出空暇区块示意图
refill()-为free list填充空间
当发现相应的free list没有可用的空暇区块时,就须要调用此函数又一次填充空间。新的空间将取自于内存池。内存池的管理后面会讲到。
缺省状况下取得20个新区块。可是假设内存池空间不够。取得的节点数就有可能小于20.以下是SGI STL中的源码:
- /* Returns an object of size n, and optionally adds to size n free list.*/
- /* We assume that n is properly aligned. */
- /* We hold the allocation lock. */
- template <bool threads, int inst>
- void* __default_alloc_template<threads, inst>::refill(size_t n)
- {
- int nobjs = 20;
- char * chunk = chunk_alloc(n, nobjs);
- obj * __VOLATILE * my_free_list;
- obj * result;
- obj * current_obj, * next_obj;
- int i;
- if (1 == nobjs) return(chunk);
- my_free_list = free_list + FREELIST_INDEX(n);
- /* Build free list in chunk */
- result = (obj *)chunk;
- *my_free_list = next_obj = (obj *)(chunk + n);
- for (i = 1; ; i++) {//将各节点串接起来(注意,索引为0的返回给客端使用)
- current_obj = next_obj;
- next_obj = (obj *)((char *)next_obj + n);
- if (nobjs - 1 == i) {
- current_obj -> free_list_link = 0;
- break;
- } else {
- current_obj -> free_list_link = next_obj;
- }
- }
- return(result);
- }
chunk_alloc-从内存池中取空间供free list使用
详细实现思想例如以下:
- 内存池剩余空间全然满足20个区块的需求量,则直接取出相应大小的空间。
- 内存池剩余空间不能全然满足20个区块的需求量,可是足够供应一个及一个以上的区块,则取出可以满足条件的区块个数的空间。
- 内存池剩余空间不能满足一个区块的大小,则
- 首先推断内存池中是否有残余零头内存空间,假设有则进行回收,将其编入free list。
- 然后向heap申请空间,补充内存池。
- heap空间满足。空间分配成功。
- heap空间不足,malloc()调用失败。则
- 搜寻适当的free list(适当的是指:尚有未用区块,而且区块足够大),调整以进行释放。将其编入内存池。然后递归调用chunk_alloc函数从内存池取空间供free list。
- 搜寻free list释放空间也未能解决这个问题,这时候调用第一级配置器,利用out-of-memory机制尝试解决内存不足问题。假设能够就成功,否则排除bad_alloc异常。
源码例如以下:
- /* We allocate memory in large chunks in order to avoid fragmenting */
- /* the malloc heap too much. */
- /* We assume that size is properly aligned. */
- /* We hold the allocation lock. */
- template <bool threads, int inst>
- char*
- __default_alloc_template<threads, inst>::chunk_alloc(size_t size, int& nobjs)
- {
- char * result;
- size_t total_bytes = size * nobjs;
- size_t bytes_left = end_free - start_free;
- if (bytes_left >= total_bytes) {
- result = start_free;
- start_free += total_bytes;
- return(result);
- } else if (bytes_left >= size) {
- nobjs = bytes_left/size;
- total_bytes = size * nobjs;
- result = start_free;
- start_free += total_bytes;
- return(result);
- } else {
- size_t bytes_to_get = 2 * total_bytes + ROUND_UP(heap_size >> 4);//注意此处申请的空间的大小
- // Try to make use of the left-over piece.
- if (bytes_left > 0) {
- obj * __VOLATILE * my_free_list =
- free_list + FREELIST_INDEX(bytes_left);
- ((obj *)start_free) -> free_list_link = *my_free_list;
- *my_free_list = (obj *)start_free;
- }
- start_free = (char *)malloc(bytes_to_get);
- if (0 == start_free) {
- int i;
- obj * __VOLATILE * my_free_list, *p;
- // Try to make do with what we have. That can't
- // hurt. We do not try smaller requests, since that tends
- // to result in disaster on multi-process machines.
- for (i = size; i <= __MAX_BYTES; i += __ALIGN) {
- my_free_list = free_list + FREELIST_INDEX(i);
- p = *my_free_list;
- if (0 != p) {
- *my_free_list = p -> free_list_link;
- start_free = (char *)p;
- end_free = start_free + i;
- return(chunk_alloc(size, nobjs));
- // Any leftover piece will eventually make it to the
- // right free list.
- }
- }
- end_free = 0; // In case of exception.
- start_free = (char *)malloc_alloc::allocate(bytes_to_get);
- // This should either throw an
- // exception or remedy the situation. Thus we assume it
- // succeeded.
- }
- heap_size += bytes_to_get;
- end_free = start_free + bytes_to_get;
- return(chunk_alloc(size, nobjs));
- }
- }
注意:从heap中配置内存时,配置的大小为需求量的两倍再加上一个随配置次数逐渐添加的附加量。
内存池实例演示:
图二 内存池实例演示
程序一開始。客户调用chunk_alloc(32,20),由于此时内存池和free list空间均不够,于是调用malloc从heap配置40个32bytes区块,当中一个供使用。还有一个交给free_list[3]维护。
剩余的20个留给内存池。
接下来调用chunk_alloc(64,20)。 此 时 free_list[7] 空空如也,必须向记忆池要求支持。
记忆池仅仅够供应 (32*20)/64=10 个
64bytes区块。就把这 10 个区块传回,第 1 个交给客端。余 9个由 free_list[7] 维护。此时记忆池全空。接下来再呼叫chunk_alloc(96, 20),此时 free_list[11] 空空如也,必须向记忆池要求支持,而记忆池此时也是空的。于是以malloc()配 置 40+n(附加量)个 96bytes 区块,当中第 1 个交出,另 19 个交给 free_list[11] 维护,余 20+n(附加量)个区块留给记忆池……。
万一山穷水尽,整个system heap 空间都不够了(以至无法为记忆池注入活水源 头),alloc()行动失败,chunk_alloc()就到处寻找有无可用区块, 且区块够大之free lists。
找到的话就挖一块交出,找不到的话就调用第一级配 置器。
第一级配置器事实上也是使用malloc()来配置内存,但它有 out-of-memory 处理机制(类似 new-handler 机制)。也许有机会释放其他的内存拿来此处使用。
假设能够。就成功。否则发出bad_alloc异常。
deallocate()-空间释放函数
- 假设须要回收的区块大于128bytes。则调用第一级配置器。
- 假设须要回收的区块小于128bytes。找到相应的free -list,将区块回收。
注意是将区块放入free -list的头部。
SGI STL源码:
- /* p may not be 0 */
- static void deallocate(void *p, size_t n)
- {
- obj *q = (obj *)p;
- obj * __VOLATILE * my_free_list;
- if (n > (size_t) __MAX_BYTES) {
- malloc_alloc::deallocate(p, n);
- return;
- }
- my_free_list = free_list + FREELIST_INDEX(n);
- // acquire lock
- # ifndef _NOTHREADS
- /*REFERENCED*/
- lock lock_instance;
- # endif /* _NOTHREADS */
- q -> free_list_link = *my_free_list;
- *my_free_list = q;
- // lock is released here
- }
写在后面:
为什么SLT要自己定制空间配置器?为了效率,假设不进行处理的话,在用户使用时任意调用系统调用。是非常费时间。
SLT中空间配置器为什么分为两层?在寻常使用的时候,都是调用new或者delete来进行初始化和删除heap空间,可是在调用new的时候,首先是分配空间,然后调用构造函数进行空间的初始化,在调用delete时,首先是调用对象的析构函数然后再delete空间,这样的操作对于STL中有些时候是不合适的。所以SLT空间配置器使用了两极的初始化。要明确SGI标准的空间配置器std::allocator和SGI特殊的空间配置器std:;alloc是有差别的,这里说的都是后者
使用的策略例如以下:假设用户申请的空间大于128bytes。那么就调用第一级的空间配置器,假设小于128bytes,那么就使用memory pool来进行处理,在用户使用的时候。都是使用再次封装好的了simple_alloc模板类,这里着重说使用空间小于128时。使用的是__default_alloc_template的情况,这里有一个数组free_list,数组中每个元素都是一个链表,数组每个元素相应的都是逐渐增大的小的内存空间,假设申请空间时。在free_list相关位置能够找到合适的空间时就直接使用。在没有合适的空间时,就须要refill了,就是又一次填充free_list。在refill中首先调用chunk_alloc尝试取得20个区块free_list的新节点,事实上在chunk_alloc中是申请了2倍的空间,当中一半是给free_list。一半给memory
pool,给了free_list的部分在refill中整合各个节点空间。在memory pool是为了下一层更好的使用。
介绍一个书上的样例就知道空间怎是产生和使用了:
如果程序以開始。client就调用chun_alloc(32,20),于是malloc配置40个(2倍的空间)32bytes区块。当中1个叫出来让用户使用,另外19个交给free_list[3]维护,剩余20个留给内存池,接下来client调用chunk_alloc(64,20),此时free_list[7]空空如也。必须向内存池要求支持。内存池仅仅够供应(32*20)/64 =10个64bytes区块,就把这10个区块返回,第一个交给client。剩余9个由free_list[7]维护。此时内存池全空。接下来在调用chunk_alloc(96,20),此时free_list[11]空空如也。
必须向内存要求支持。而内存池此时也是空的。于是以malloc()配置40+n(附加量)个9bytes区块。当中第1个交出,另外19个交给free_list[11]维护。剩余20+n(附加量)个区块留给内存
參考资料:
STL源代码分析--第二级空间配置器的更多相关文章
- stl第二级空间配置器详解(1)
SGI STL考虑到小型内存区块的碎片问题,设计了双层级配置器,第一级配置直接使用malloc()和free():第二级配置器则视情况采用不同的策略,当配置区大于128bytes时,直接调用第一级配置 ...
- STL源码剖析之空间配置器
本文大致对STL中的空间配置器进行一个简单的讲解,由于只是一篇博客类型的文章,无法将源码表现到面面俱到,所以真正感兴趣的码农们可以从源码中或者<STL源码剖析>仔细了解一下. 1,为什么S ...
- STL源码分析读书笔记--第二章--空间配置器(allocator)
声明:侯捷先生的STL源码剖析第二章个人感觉讲得蛮乱的,而且跟第三章有关,建议看完第三章再看第二章,网上有人上传了一篇读书笔记,觉得这个读书笔记的内容和编排还不错,我的这篇总结基本就延续了该读书笔记的 ...
- STL源码剖析(空间配置器)
前言 在STL中,容器的定义中都带一个模板参数,如vector template <class T, class Alloc = alloc> class vector {...} 其中第 ...
- STL之空间配置器
在前面很多随笔里都有提到new对象是先分配内存然后初始化对象,主要是对operator new和placement new的使用 在SGI STL中内存的分配和初始化是分开的,分配内存是使用类模板,模 ...
- stl空间配置器alloc
new运算包含两阶段操作: 1) 调用::operator new分配内存 2) 调用构造函数构造对象内容 delete运算包含两阶段操作: 1)调用析构函数将对象析构 2)调用::op ...
- [stl] SGI STL的空间配置器
第一级空间配置器 第一级配置以malloc(), free(), realloc()等c函数执行实际的内存配置,释放.重配置操作,并实现出类似c++ new handler的机制.它不能直接使用c++ ...
- 带你深入理解STL之空间配置器(思维导图+源码)
前不久把STL细看了一遍,由于看得太"认真",忘了做笔记,归纳和总结这步漏掉了.于是为了加深印象,打算重看一遍,并记录下来里面的一些实现细节.方便以后能较好的复习它. 以前在项目中 ...
- STL——模拟实现空间配置器
目录 问题 SGI版本空间配置器-std::alloc 一级空间配置器 二级空间配置器 Refill.chunkAlloc函数 最后,配置器封装的simple_alloc接口 问题 我们在日常编写C+ ...
随机推荐
- Servlet+Json代码
package com.brmoney.servlet; import java.io.IOException; import java.io.PrintWriter; import java.uti ...
- mrpt安装
1.mrpt2.0参 See PPA for mrpt 2.0 branch (for mrpt 1.5.* read here). sudo add-apt-repository ppa:josel ...
- jquery - 设置/获取内容和属性
一般我们会遇到给某个元素添加或更改原有的文字: 1. 设置/获取内容 - text().html() 以及 val() 设置内容常用的三个方法: text() - 设置或返回所选元素的文本内容 htm ...
- jquery 实践操作:div 动态嵌套页面
此篇记录如何在指定 div 中嵌套一个页面 load() 方法: 1. 使用 $.load() 直接导入一个页面 $('#addPage_div').load("temp/handle.ht ...
- mongodb学习(2)--- nodeJS与MongoDB的交互(使用mongodb/node-mongodb-native)
转载:http://www.cnblogs.com/zhongweiv/p/node_mongodb.html 目录 简介 MongoDB安装(windows) MongoDB基本语法和操作入门(mo ...
- react 复习4- 生命周期
实例化 首次实例化 getDefaultProps getInitialState componentWillMount render componentDidMount 实例化完成后的更新 getI ...
- Java下使用Swing来进行图形界面开发
1. GUI从创建window开始,通常会使用JFrame.JFrame frame = new JFrame(); 2. 你可以这样加入按钮,文字字段等组件.frame.getContentPane ...
- mdf 与 mdb的对比
下面的内容从网上搜索而来,未经过本人严格验证,仅供参考. 1.问:mdb数据库能否脱离Access运行?即,没有安装Access,可以打开mdb吗? 答:可以,脱离Access运行,可以到微软的同类产 ...
- C#Json转Xml格式数据的方法
第一种方法 string Xml = "在这里写Json字符串"; XmlDictionaryReader reader = JsonReaderWriterFactory.Cre ...
- 广州地区常用的DNS解析服务器
广州电信DNS: 首选:202.96.128.143 备用:202.96.128.68 首选:202.96.134.133 备用:202.96.128.166 首选:61.144.56.100备用:6 ...