内存的碎片化

  如果用C语言直接malloc,free来向操作系统申请和释放内存时,在不断申请和释放的过程中,形成了一些很小的内存片段,无法再利用。这种空闲但无法利用内存的现象称为内存的碎片化。

  slab allocator 缓解内存碎片化

  memcached用slab allocator机制来管理内存。

  slab allocator原理:预告把内存划分成数个slab class仓库(每个 slab class 大小为1M),各仓库切分成不同尺寸的chunk块,需要存内容时,判断内容大小,然后选取合理的仓库。

  

  系统如何选择合适的chunk?

  memcached依据收到数据的大小,选择最合适数据大小的chunk组(slab class)。

  memcached中保存着slab class内空闲的chunk列表,根据该列表选择空的chunk,然后将数据缓存与其中。

  

  tips:如果有100byte的内容要存,但仓库中122大小的chunk满了,并不会寻找更大的,如144的chunk来存,而是把122chunk的旧数据t掉!

  固定大小chunk带来的浪费

  由于有slab allocator机制,分配的chunk大小是"固定不变"的,因此,对于特定的item,可能造成内存空间的浪费。

  比如,将100 字节的数据缓存到122 字节的chunk 中, 剩余的22 字节就浪费了。

  

  对于chunk空间的浪费问题,无法彻底解决,只能缓解该问题。

  开发者可以对网站中缓存中的item 的长度进行统计,并制定合理的slab class 中的chunk 的大小.可惜的是,我们目前还不能自定义chunk 的大小,但可以通过参数来调整各slab class 中chunk大小的增长速度. 即增长因子, grow factor!(学过物理的,肯定知道加速度,我的理解是一个意思)。
  grow factor调优

  memcached在启动时可以设置 -f 参数指定grow factor大小,并在某种程度上控制相邻slab大小的差异,默认值为1.25。

  我们来仔细观察一下增长因子为2与增长因子为1.25之间的差别:

  增长因子为1.25:

  

  增长因子为2:

  

  对比可知, 当f=2 时, 各slab 中的chunk size 增长很快,有些情况下就相当浪费内存。因此,我们应细心统计缓存的大小,制定合理的增长因子。

  tips:当f=1.25 时,从输出结果来看,某些相邻的slab class 的大小比值并非为1.25,可能会觉得有些计算误差,这些误差是为了保持字节数的对齐而故意设置的。

  memcached的过期数据惰性删除

  1、当某个值过期后,并没有从内存删除,因此,stats统计时,curr_item还保留其信息。

  2、当新数据去占用他的位置时,当成空chunk来用。

  3、当get值时,判断是否过期,如果过期,则返回空,并且清空,这样curr_item就减少了。  

  即--这个过期,只是让用户看不到这个数据而已,并没有在过期的瞬间立即从内存删除。这个称为lazy expiration, 惰性失效.好处--- 节省了cpu 时间和检测的成本。

  memcached 此处用的lru 删除机制

  如果122byte的chunk挤满了,又来了一个长度为120byte的数据要加入,t谁?memcached此处用了lru删除机制(操作系统的内存管理,常用fifo,lru 删除),当某个单元被请求是,维护一个计数器,通过计数器来判断谁最少被使用,就把谁t掉。

  lru: least recently used 最近最少使用;fifo: first in ,first out。

  tips:即使某个key 是设置的永久有效期,也一样会被踢出来!即--永久数据被踢现象。

  memcached 中的参数限制

  key:250个字节

  value:1M

  内存:32位最大设置2G  

  如果有30g 数据要缓存,一般也不会单实例装30g, (不要把鸡蛋装在一个篮子里),一般建议开启多个实例(可以在不同的机器,或同台机器上的不同端口)。

memcached整理の内存管理及删除机制的更多相关文章

  1. memcached的内存管理与删除机制

    memcached的内存管理与删除机制 简介 注意:Memcache最大的value也只能是1M的空间,超过1M的数据无法保存(修改memcache源代码).   注意:内存碎片化永远都存在,只是哪一 ...

  2. memcached 的内存管理与删除机制

    1:内存的碎片化 如果用 c 语言直接 malloc,free 来向操作系统申请和释放内存时, 在不断的申请和释放过程中,形成了一些很小的内存片断,无法再利用. 这种空闲,但无法利用内存的现象,--- ...

  3. Memcached 之内存管理与删除机制

    一.内存的碎片化 如果用c语言直接 malloc,free 来向操作系统申请和释放内存时,在不断的申请和释放过程中,形成了一些很小的内存片断,无法再利用,这种空闲,但无法利用内存的现象称为内存的碎片化 ...

  4. MC的内存管理和删除机制

    先看一下,什么叫做内存的碎片化: 如果用c语言直接 malloc,free 来向操作系统申请和释放内存时, 在不断的申请和释放过程中,形成了一些很小的内存片断,无法再利用. 这种空闲,但无法利用内存的 ...

  5. Linux内存管理3---分页机制

    1.前言 本文所述关于内存管理的系列文章主要是对陈莉君老师所讲述的内存管理知识讲座的整理. 本讲座主要分三个主题展开对内存管理进行讲解:内存管理的硬件基础.虚拟地址空间的管理.物理地址空间的管理. 本 ...

  6. JVM内存管理及GC机制

    一.概述 Java GC(Garbage Collection,垃圾收集,垃圾回收)机制,是Java与C++/C的主要区别之一,作为Java开发者,一般不需要专门编写内存回收和垃圾清理代码,对内存泄露 ...

  7. [CLR via C#]21. 自动内存管理(垃圾回收机制)

    目录 理解垃圾回收平台的基本工作原理 垃圾回收算法 垃圾回收与调试 使用终结操作来释放本地资源 对托管资源使用终结操作 是什么导致Finalize方法被调用 终结操作揭秘 Dispose模式:强制对象 ...

  8. 【摘录】JAVA内存管理-JVM垃圾收集机制

    很多公司都有自己的JVM实现,被Oracle收购的sun公司开发的JVM实现名为HotSpot.这一实现是我们最常用到的. 还有哪些JVM实现呢?比较有名的有Oracle之前收购的BEA公司(就是以前 ...

  9. Memcached源码分析之内存管理

    先再说明一下,我本次分析的memcached版本是1.4.20,有些旧的版本关于内存管理的机制和数据结构与1.4.20有一定的差异(本文中会提到). 一)模型分析在开始解剖memcached关于内存管 ...

随机推荐

  1. python中nltk的下载安装方式

    首先去http://nltk.org/install.html下载相关的安装程序,然后 在cmd窗口中,进入到python的文件夹内的 Scripts内,运行easy_install pip 安装Py ...

  2. Mellanox infinoband RDMA SDP

    IPoIB Internet Protocol over InfiniBand 就是指利用物理IB网络(IB卡,线缆,交换机,更甚者IB3层交换)通过ip协议进行连接,并进行数据传输! SDP Soc ...

  3. NodeJs中require use get typescript及其他知识点集合

    NodeJs的Express使用 nodejs事件的监听与事件的触发 TypeScript学习笔记 深入浅出Node.js Nodejs开发Office插件 类百度文库文档上传.转换和展示功能项目开源 ...

  4. Sublime Text:初学者不知道的那些事

    来源:Duchessjojo@译言 我是Sublime Text代码编辑器的忠实粉丝.我和诸多Mac程序员一样,最初使用的是Textmate代码编辑器.在Sublime Text 2发行后,我才开始转 ...

  5. Windows Intel VT-x开启

    解决虚拟机安装64位系统“此主机支持 Intel VT-x,但 Intel VT-x 处于禁用状态”的问题 背景:win7 旗舰版 64位+VMware 10.0 启动虚拟机时报错 问题:已将该虚拟机 ...

  6. python:一个轻松的递归逻辑

    #递归 age = 10 def dig(n): global age#函数dig引用全局变量age age += 2 n -= 1 if n != 1:#如果满足条件,则调用本身 dig(n) di ...

  7. windows下Mysql5.7.10免安装版配置

    免安装配置: 在环境变量 Path 中追加 %mysql_home%\bin; 配置mysql目录下的 my-default.ini 文件,在mysql 根目录下新建 data 文件夹 使用管理员权限 ...

  8. ssm框架整合之Spring4+SpringMVC+Mybaties3之配置文件如何配置及内容解释--可直接拷贝使用--不定时更改之2017/4/29

    经测试,需注意以下几点: 1,controller的自动扫描不能放在applicationContext.xml中,要放在spring-mvc.xml中.同样是<context:componen ...

  9. android游戏的增量更新(资源及代码的热更新)

    需求当游戏需要更新时,不必让用户下载新的完整包,只需要通过游戏内部的更新系统自动更新差异包,达到节约用户流量和时间的目的. 大体思路:1.(游戏逻辑用lua等脚本编写的情况)这种方式的增量更新非常简单 ...

  10. Linux实战教学笔记32:企业级Memcached服务应用实践

    一, Memcached介绍 1.1 Memcached与常见同类软件对比 (1)Memcached是什么? Memcached是一个开源的,支持高性能,高并发的分布式内存缓存系统,由C语言编写,总共 ...