内存池的作用:

直接使用系统调用malloc会有如下弊端:

  • 频繁分配内存时会产生大量内存碎片
  • 频繁分配内存增加系统调用开销
  • 容易造成内存泄漏

内存池是预先申请一定数量的,大小相等的内存块作为预备使用;当需要时向内存池分出一部分内存,若内存块不够使用时再向系统申请新的内存块,下面就swoole的swMemoryGlobal内存池作为分析例子

swoole swMemoryPool 数据结构设计

swMemoryGlobal是swoole内存池实现一种方式,学习内存池主要是要掌握其数据结构的设计,memoryGlobal实现如下:

  1. // src/memory/MemoryGlobal.c
  2. typedef struct _swMemoryPool
  3. {
  4. void *object; // 指向swMemoryGlobal指针
  5. void* (*alloc)(struct _swMemoryPool *pool, uint32_t size); // 分配内存函数指针
  6. void (*free)(struct _swMemoryPool *pool, void *ptr); // 是否内存函数指针
  7. void (*destroy)(struct _swMemoryPool *pool); // 销毁内存函数指针
  8. } swMemoryPool;
  9. typedef struct _swMemoryGlobal
  10. {
  11. uint8_t shared;
  12. uint32_t pagesize; // 指定每个swMemoryGlobal_page需要申请内存大小
  13. swLock lock; // 互斥锁
  14. swMemoryGlobal_page *root_page; // 指向第一个swMemoryGlobal_page指针,有头指针可以销毁内存池
  15. swMemoryGlobal_page *current_page; // 指向当前swMemoryGlobal_page指针
  16. uint32_t current_offset;
  17. } swMemoryGlobal;
  18. typedef struct _swMemoryGlobal_page
  19. {
  20. struct _swMemoryGlobal_page *next; // 指向下一个节点
  21. char memory[0]; // 这是一个柔性数组,用于记录申请内存后的内存地址
  22. } swMemoryGlobal_page;

这三者之间的关系如下:

swMemoryPool

swMemoryPool可以看做是一个类,它提过了alloc,free,destory方法,以及object属性,object实际上是指向swMemoryGlobal的指针,而alloc,free,destory
则是对object操作,即通过alloc,free,destory操作swMemoryGlobal上的内容,例如:

```
// src/core/base.c
//init global shared memory
SwooleG.memory_pool = swMemoryGlobal_new(SW_GLOBAL_MEMORY_PAGESIZE, 1);
SwooleGS = SwooleG.memory_pool->alloc(SwooleG.memory_pool, sizeof(SwooleGS_t));
```

以上代码是分配sizeof(SwooleGS_t)大小内存

swMemoryGlobal

swMemoryGlobal维护着一个链表,每个节点即swMemoryGlobal_page,root_page指向第一个节点,current_page指向当前节点,pagesize指为一个节点申请
内存大小,current_offset则表示一个节点已被使用内存

swMemoryGlobal_page

swoole根据swMemoryGlobal.pagesize申请指定大小的内存,如下:

```
// src/memory/MemoryGlobal.c
swMemoryGlobal_page *page = swMemoryGlobal_new_page(&gm);
```

上面说过swMemoryGlobal_page是一个链表节点,这里需要说明的是第一个节点,第一个节点的current_offset为sizeof(swMemoryGlobal) + sizeof(swMemoryPool);
而并非为0;如下代码,当为第一个swMemoryGlobal_page申请内存后,立马就为swMemoryPool和swMemoryGlobal分配内存

```
// src/memory/MemoryGlobal.c
gm.pagesize = pagesize;
// 系统申请一个pagesize大小内存
swMemoryGlobal_page *page = swMemoryGlobal_new_page(&gm);
if (page == NULL)
{
return NULL;
}
if (swMutex_create(&gm.lock, shared) < 0)
{
return NULL;
}

gm.root_page = page;

// page->memory为空闲内存

gm_ptr = (swMemoryGlobal *) page->memory;

gm.current_offset += sizeof(swMemoryGlobal);

// swMemoryPool指向空闲内存偏移地址,占用sizeof(swMemoryPool)内存

swMemoryPool *allocator = (swMemoryPool *) (page->memory + gm.current_offset);

gm.current_offset += sizeof(swMemoryPool);

allocator->object = gm_ptr;

allocator->alloc = swMemoryGlobal_alloc;

allocator->destroy = swMemoryGlobal_destroy;

allocator->free = swMemoryGlobal_free;

// 将gm写入到gm_ptr,即空闲内存前sizeof(gm)用于swMemoryGlobal

memcpy(gm_ptr, &gm, sizeof(gm));


  1. <h3>分配内存</h3>
  2. <p>分配内存由swMemoryGlobal_alloc方法执行;该方法为swMemoryPool一个函数指针,如下</p>

allocator->alloc = swMemoryGlobal_alloc; // 分配方法


// src/core/base.c

//init global shared memory

SwooleG.memory_pool = swMemoryGlobal_new(SW_GLOBAL_MEMORY_PAGESIZE, 1);

SwooleGS = SwooleG.memory_pool->alloc(SwooleG.memory_pool, sizeof(SwooleGS_t));

// src/memory/MemoryGlobal.c

static void *swMemoryGlobal_alloc(swMemoryPool *pool, uint32_t size)

{

swMemoryGlobal *gm = pool->object;

gm->lock.lock(&gm->lock);

if (size > gm->pagesize - sizeof(swMemoryGlobal_page)) // sizeof(swMemoryGlobal_page)为swMemoryGlobal_page类型的指针大小

{

swWarn("failed to alloc %d bytes, exceed the maximum size[%d].", size, gm->pagesize - (int) sizeof(swMemoryGlobal_page));

gm->lock.unlock(&gm->lock);

return NULL;

}

// 如果一个节点不够分配内存,则重新申请一个新节点,并设置当前节点current_page为新节点

if (gm->current_offset + size > gm->pagesize - sizeof(swMemoryGlobal_page))

{

swMemoryGlobal_page *page = swMemoryGlobal_new_page(gm);

if (page == NULL)

{

swWarn("swMemoryGlobal_alloc alloc memory error.");

gm->lock.unlock(&gm->lock);

return NULL;

}

gm->current_page = page;

}

void *mem = gm->current_page->memory + gm->current_offset;

gm->current_offset += size;

gm->lock.unlock(&gm->lock);

  1. // 结果返回空闲内存的偏移地址
  2. return mem;

}


  1. <h3>柔性数组</h3>
  2. <p>柔性数组(0长度数组)作用: 为了满足需要变长度的结构体(结构体是可变长的)</p>
  3. <ul>
  4. <li>数组名不占用空间,分配的内存是连续的</li>
  5. <li>不会像定长数组一样浪费空间</li>
  6. <li>不会像指针一样需要分别分配内存,分别释放内存</li>
  7. </ul>
  8. <p>定长数组使用方便, 但是却浪费空间, 指针形式只多使用了一个指针的空间, 不会造成</p>
  9. <p><a href="https://github.com/wuzhc/zcnote/blob/master/php/swoole/memory_global.md" rel="nofollow noreferrer">我的笔记</a><br><a href="http://www.360doc.com/content/17/1119/10/9200790_705214752.shtml" rel="nofollow noreferrer">柔性数组参考</a></p>
  10. 原文地址:https://segmentfault.com/a/1190000016679265

swoole之memoryGlobal内存池分析的更多相关文章

  1. nginx 内存池分析

    最近nginx的源码刚好研究到内存池,这儿就看下nginx内存池的相关的东西. 一,为什么要使用内存池 大多数的解释不外乎提升程序的处理性能及减小内存中的碎片,对于性能优化这点主要体现在: (1)系统 ...

  2. nginx源码分析—内存池结构ngx_pool_t及内存管理

    Content 0. 序 1. 内存池结构 1.1 ngx_pool_t结构 1.2 其他相关结构 1.3 ngx_pool_t的逻辑结构 2. 内存池操作 2.1 创建内存池 2.2 销毁内存池 2 ...

  3. nginx源代码分析之内存池实现原理

    建议看本文档时结合nginx源代码. 1.1   什么是内存池?为什么要引入内存池? 内存池实质上是接替OS进行内存管理.应用程序申请内存时不再与OS打交道.而是从内存池中申请内存或者释放内存到内存池 ...

  4. STL源码分析之内存池

    前言 上一节只分析了第二级配置器是由多个链表来存放相同内存大小, 当没有空间的时候就向内存池索取就行了, 却没有具体分析内存池是怎么保存空间的, 是不是内存池真的有用不完的内存, 本节我们就具体来分析 ...

  5. leveldb源码分析之内存池Arena

    转自:http://luodw.cc/2015/10/15/leveldb-04/ 这篇博客主要讲解下leveldb内存池,内存池很多地方都有用到,像linux内核也有个内存池.内存池的存在主要就是减 ...

  6. linux内存源码分析 - 内存池

    本文为原创,转载请注明:http://www.cnblogs.com/tolimit/ 内存池是用于预先申请一些内存用于备用,当系统内存不足无法从伙伴系统和slab中获取内存时,会从内存池中获取预留的 ...

  7. nginx源码分析——内存池

    内存池的目的就是管理内存,使回收内存可以自动化一些. ngx_palloc.h /* * Copyright (C) Igor Sysoev * Copyright (C) Nginx, Inc. * ...

  8. jvm内存溢出分析

    概述 jvm中除了程序计数器,其他的区域都有可能会发生内存溢出 内存溢出是什么? 当程序需要申请内存的时候,由于没有足够的内存,此时就会抛出OutOfMemoryError,这就是内存溢出 内存溢出和 ...

  9. 对象池与.net—从一个内存池实现说起

    本来想写篇关于System.Collections.Immutable中提供的ImmutableList里一些实现细节来着,结果一时想不起来源码在哪里--为什么会变成这样呢--第一次有了想写分析的源码 ...

随机推荐

  1. 凸多边形 HRBUST - 1429 计算几何_凸包_未调完

    任选一个点作为起始点,将其他点按与该点连线的极角排序,二分查询点在哪两个射线之间, 并特别判断一下边界即可. Code: #include <cstdio> #include <al ...

  2. sed将上下两行并列

    #cat log5 mmmm 1234 nnnn 2344 #sed -n '{N;s/\n/\t/p}' log5 mmmm 1234 nnnn 2344

  3. 《Exception》第八次团队作业:Alpha冲刺(第三天)

      一.项目基本介绍 项目 内容 这个作业属于哪个课程 任课教师博客主页链接 这个作业的要求在哪里 作业链接地址 团队名称 Exception 作业学习目标 1.掌握软件测试基础技术.2.学习迭代式增 ...

  4. HDU 5763 Another Meaning (KMP/哈希+DP)

    题目大意:给你两个串,一长一短,如果长串中某个子串和短串完全相同,则这个子串可以被替换成"#",求长串所有的表达形式....... 比如"hehehehe"和& ...

  5. VUE使用中踩过的坑

    前言 vue如今可谓是一匹黑马,github star数已居第一位!前端开发对于vue的使用已经越来越多,它的优点就不做介绍了,本篇是我对vue使用过程中以及对一些社区朋友提问我的问题中做的一些总结, ...

  6. .NET开源项目一览

  7. ASP.NET-JSON.NET技巧

    第一个技巧,字符串转JSON 单条的json数据可以使用JObject.Parse将对象转化成JObject对象,你可以接着使用JsonConvert.SerializeObject方法把这个对象序列 ...

  8. ACCESS-入门思维导图

    ACCESS-入门思维导图 链接:http://pan.baidu.com/s/1bozYiNt 密码:5tly 如果有错误,请告知我!

  9. vue2 router中的 @ 符号表示src

    vue2 router中的 @ 符号表示src 学习了:https://segmentfault.com/q/1010000009549802 这个是webpack起的别名: 在build/webpa ...

  10. BEGINNING SHAREPOINT&#174; 2013 DEVELOPMENT 第6章节--在SharePoint2013中开发、集成和构建应用程序 总结

    BEGINNING SHAREPOINT® 2013 DEVELOPMENT 第6章节--在SharePoint2013中开发.集成和构建应用程序  总结         SharePoint开发已经 ...