MySQL系列:innodb源代码分析之内存管理
在innodb中实现了自己的内存池系统和内存堆分配系统,在innodb的内存管理系统中,大致分为三个部分:基础的内存块分配管理、内存伙伴分配器和内存堆分配器。innodb定义和实现内存池的主要目的是提供内存的使用率和效率,防止内存碎片和内存分配跟踪和调试。我们先来看看他们的关系和结构。
下面是它的关系结构图:
上图中的:
ut_mem_block块是基础内存管理
Buddy allocator是内存伙伴分配器
mem_heap是内存堆分配器
1.基础内存管理
通过一个链表结构体来管理已经分配的内存。结构体例如以下:
typedef ut_mem_block_struct
{
ulint size; /*这个被分配block的内存大小*/
ulint magic_n; /*节点魔法字,用于校验所用*/
UT_LIST_NODE_T(ut_mem_block_t) mem_block_list; /*block list node,指定prev node和next node*/
};
关于block的list定义是个全局的变量。UT_LIST_BASE_NODE_T(ut_mem_block_t)
ut_mem_block_list;全部分配的block都会增加到这个list其中。
在ut_malloc_low函数分配内存的时候会将分配的block增加到list其中。在ut_free的时候会所释放的内存所在的block从list其中删除。
除了这两个函数以外,innodb还提供ut_free_all_mem函数来释放全部分配的block和统计分配内存的总数ut_total_allocated_memory功能。
ut_malloc_low 分配一个n长度的内存块,并将分配的块记录到ut_mem_block_list其中.
ut_malloc 与ut_malloc_low功能同样,可是会用0初始化所分配的内存。
ut_free 释放一个分配的内存块,并将其从ut_mem_block_list其中删除。
ut_free_all_mem 释放ut_mem_block_list全部的内存块并清空ut_mem_block_list
以上函数是支持多线程并发操作的。也就是说是线程安全的。
2.伙伴分配器
innodb的伙伴分配器是基于2的基数为基础的管理方式,其buddy alloc pool的定义例如以下:
struct mem_pool_struct
{
byte* buf; /*总体内存的句柄*/
ulint size; /*总体内存大小*/
ulint reserved; /*当前分配出去的总内存大小*/
mutex mutex; /*多线程相互排斥量*/
UT_LIST_BASE_NODE_T(mem_area_t) free_list[64]; /*area_t链表数组,每一个数组单元能管理2的i次方内存块列表,i是数组的下标*/
};
struct mem_area_struct
{
ulint size_and_free; /*area的内存大小(一定是2的次方),最后一个bit表示是否已经释放*/
UT_LIST_NODE_T(mem_area_t) free_list; /*area链表的上下area,由于buddy area是会分裂的,有可能多个*/
};
mem_area_t是一个buddy的内存区域。也就是mem_area_struct。
下面是一个32位机器管理1024字节内存块的buddy list分布:
watermark/2/text/aHR0cDovL2Jsb2cuY3Nkbi5uZXQveXVhbnJ4ZHU=/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70/gravity/Center" alt="">
2.1mem_area_t的分裂
2.2mem_area_t的合并
1.使用者归还伙伴分配的内存,首先会依据area_t的信息去找到自己的buddy,也就是第8层另外一个没有被分配的area.
2.找到buddy area后。推断buddy area是否是释放状态,假设是,触发合并。将自己和buddy area从第8层删除,合并成一个512大小的第9层area,
3.在反复1 ~ 2步,又会将自己和第九层另外一个buddy area合并成一个1024大小的第10层area.
2.3buddy allocator的接口函数:
mem_area_alloc 用buddy allocator分配一块内存
mem_area_free 将一块内存归还给buddy allocator
mem_pool_get_reserved 获得buddy allocator已经使用的内存大小
3内存分配堆(memory heap)
struct mem_block_info_struct
{
ulint magic_n; /*魔法字*/
char file_name[8]; /*分配内存的文件*/
ulint line; /*分配内存的文件所在行*/
ulint len; /*block的长度*/
ulint type; /*依赖的底层分配类型,有DYNAMIC、BUFFER、BTR_SEARCH三种类型*/
ibool init_block; /*是否是外部分配的内存块*/ ulint free; /*被占用的空间大小*/
ulint start; /*可分配内存的起始位置*/
byte* free_block; /*备用block,只在BTR_SEARCH方式可用*/ UT_LIST_BASE_NODE_T(mem_block_t) base;
UT_LIST_NODE_T(mem_block_t) list;
};
备注:mem_block_info_struct/mem_block_info_t/mem_block_t/mem_heap_t是等价
mem_heap_t的内存结构例如以下:
1.一个mem_block_t最小空间不小于64字节,标准的大小是8KB,在非MEM_HEAP_BUFFER模式下分配的空间不大于page size - 200(page size一般为16KB)
2.mem_heap_t有三种类型,各自是DYNAMIC、BUFFER、BTR_SEARCH。在DYNAMIC模式下都是基于buddy allocator进行mem_block_t分配的。在BTR_SEARCH模式下,使用free_block来作为内存分配,在BUFFER模式下比較复杂。假设分配的内存大小< page size的一半时,使用buddy alloc,否则使用buf_frame的内存分配方式(这个是属于buf0buf.XX里面的方式。还未開始分析)。
3.mem_heap_t在分配新的mem_block_t的时候一定是分配一个heap最后节点大小的两倍,假设分配的大小超过MEM_MAX_ALLOC_IN_BUF(相当于一个page size)的时候,heap 类型推断,在不是DYNAMIC模式下。最大就是一个MEM_MAX_ALLOC_IN_BUF大小。假设其它模式下就是设置成MEM_BLOCK_STANDARD_SIZE标准大小。在这些限制外,假设须要分配的内存大于这些限制,以分配内存大小为准进行mem_block_t分配。分配好的mem_block_t总是增加到heap
base list的最后,也就是heap堆栈的顶端。
4.mem_heap_t在释放mem_block_t时候总是从顶端開始释放,直到不能释放为止(mem_block_t没有被使用者归还)。在mem_block_t释放的时候也是须要參考DYNAMIC、BUFFER、BTR_SEARCH类型进行相对于的归还规则(和2要点是相相应的)。
mem_heap_create 用DYNAMIC模式创建一个mem_heap_t
mem_heap_create_in_buffer 用BUFFER模式创建一个mem_heap_t
mem_heap_create_in_btr_search 用BTR_SEARCH模式创建一个mem_heap_t
mem_heap_free 释放mem_heap_t对象
mem_alloc 创建在MEM_HEAP_DYNAMIC模式下。并分配一块指定大小的内存(在这样的方式下mem_heap_t仅仅会有一个mem_block_t)
mem_free 归还mem_heap_t分配的内存,并释放mem_heap_t
mem_heap_alloc 在指定的mem_heap_t上分配一块内存
mem_heap_get_heap_top 获得heap顶端块可使用内存的地址
mem_heap_empty 清空指定的mem_heap_t
mem_heap_get_top 获得heap顶部的指定n大小的mem_block_t指针
mem_heap_free_top 释放heap顶部N大小的mem_block_t块
4总结
在MySQL-5.6的版本号中。innodb提供两种选择,一种是使用innodb提供的内存池管理内存,另一种是提供系统的malloc和free来作为内存管理。MySQL默认的是系统管理内存方式,一些有经验的DBA会使用系统的管理内存方式+TMalloc来做内存优化。借助TMalloc高效的内存管理方式实现MySQL的性能提升。
MySQL系列:innodb源代码分析之内存管理的更多相关文章
- redis 源代码分析(一) 内存管理
一,redis内存管理介绍 redis是一个基于内存的key-value的数据库,其内存管理是很重要的,为了屏蔽不同平台之间的差异,以及统计内存占用量等,redis对内存分配函数进行了一层封装,程序中 ...
- cocos2d-x 源代码分析 : Ref (CCObject) 源代码分析 cocos2d-x内存管理策略
从源代码版本号3.x.转载请注明 cocos2d-x 总的文件夹的源代码分析: http://blog.csdn.net/u011225840/article/details/31743129 1.R ...
- Memcached源码分析之内存管理
先再说明一下,我本次分析的memcached版本是1.4.20,有些旧的版本关于内存管理的机制和数据结构与1.4.20有一定的差异(本文中会提到). 一)模型分析在开始解剖memcached关于内存管 ...
- iOS的内存分析和内存管理
iOS的内存分析和内存管理 [内存管理]一直是iOS开发中的一个重点. 本文就带你从内存分析开始一步步了解内存的占用情况,从真实的情况中领悟真正项目开发过程中的内存的使用情况. 注:本文默认你熟悉 M ...
- TestNG源代码分析:依赖管理的实现
TestNG源代码分析:依赖管理的实现 2018-03-19 1 背景 当case之间有依赖关系,有依赖关系的case,它们的执行顺序是有限制的.TestNG提供了依赖管理功能 2 基础理论 这个执行 ...
- MySQL InnoDB技术内幕:内存管理、事务和锁
前面有多篇文章介绍过MySQL InnoDB的相关知识,今天我们要更深入一些,看看它们的内部原理和机制是如何实现的. 一.内存管理 我们知道,MySQl是一个存储系统,数据最后都写在磁盘上.我们以前也 ...
- linux 内核源代码情景分析——linux 内存管理的基本框架
386 CPU中的页式存管的基本思路是:通过页面目录和页面表分两个层次实现从线性地址到物理地址的映射.这种映射模式在大多数情况下可以节省页面表所占用的空间.因为大多数进程不会用到整个虚存空间,在虚存空 ...
- nginx源代码分析之内存池实现原理
建议看本文档时结合nginx源代码. 1.1 什么是内存池?为什么要引入内存池? 内存池实质上是接替OS进行内存管理.应用程序申请内存时不再与OS打交道.而是从内存池中申请内存或者释放内存到内存池 ...
- redis源代码解读之内存管理————zmalloc文件
本文章主要记录本人在看redis源代码的一些理解和想法.由于功力有限,肯定会出现故障,所以.希望高手给出指正. 第一篇就是内存相关的介绍.由于我喜欢先看一些组件的东西,再看总体的流程. 先上一下代码吧 ...
随机推荐
- B4. Concurrent JVM 锁机制(synchronized)
[概述] JVM 通过 synchronized 关键字提供锁,用于在线程同步中保证线程安全. [synchronized 实现原理] synchronized 可以用于代码块或者方法中,产生同步代码 ...
- 并发2-Synchronized
一.Synchronized的概念 是利用锁的机制来实现同步的. 锁机制有如下两种特性: 互斥性:即在同一时间只允许一个线程持有某个对象锁,通过这种特性来实现多线程中的协调机制,这样在同一时间只有一个 ...
- js-时间戳转字符串
function createTime(v){ var now = new Date(v); var yy = now.getFullYear(); //年 var mm = now.getMonth ...
- React Components之间的通信方式了解下
先来几个术语: 官方 我的说法 对应代码 React element React元素 let element=<span>A爆了</span> Component 组件 cla ...
- 树莓派 - RPi.GPIO
RPi.GPIO是通过Python/C API实现的,C代码操作底层寄存器, python通过Python/C API调用这些C接口. 这是关于RPi.GPIO项目的介绍. 其中提到了有python ...
- 模板 求GCD&LCM
求最大公倍数 int GCD(int a,int b) { ) return b; else return GCD(b,a%b); } 求最小公倍数 int LCM(int a,int b) { re ...
- 集训第六周 古典概型 期望 C题
http://acm.hust.edu.cn/vjudge/problem/viewProblem.action?id=30728 一个立体方块,每个单位方块都是关闭状态,每次任两个点,以这两点为对角 ...
- 51中xdata,idata,data,pdata的区别
51系列中data,idata,xdata,pdata的区别 data: 固定指前面0x00-0x7f的128个RAM,可以用acc直接读写的,速度最快,生成的代码也最小. idata: 固定指前面0 ...
- Vue页面骨架屏(一)
在开发webapp的时候总是会受到首屏加载时间过长的影响,主流的解决方法是在载入完成之前显示loading图效果,而一些大公司会配置一套服务端渲染的架构来解决这个问题.考虑到ssr所要解决的一系列问题 ...
- 3D标签云
一.圆的坐标表达式 for(var i = 0;i < len;i++){ degree = (2*(k+1)-1)/len - 1;a = Math.acos(degree);//这样取得弧度 ...