memcached内存管理

前言

memcached默认情况下采用了名为Slab Allocator的机制来管理内存。在该机制出现以前，内存的分配是通过对所有记录简单地进行malloc和free来进行的。但是，这种方式会导致内存碎片，加重操作系统内存管理器的负担，最坏的情况下，会导致操作系统比memcached进程本身还慢。Slab Allocator就是为解决该问题而诞生的。

slab allocator

图1-1

slab allocator的机制非常简单，它根据配置的内存大小，以页（page）为单位向操作系统申请内存，将其分割成各种尺寸的块（chunk），尺寸相同的块组合在一起就是slab。其中，chunk就是用来存储数据的最小单位。为了便于理解，我们可以在启动memcached的时候加上-vv来查看内存规划的情况：

[root@vm10 bin]# /usr/local/memcached/bin/memcached -u root -l 192.168.56.10 -p 32054 -P /tmp/memcached_32054.pid -vv
#slab编号                   chunk大小        chunk个数
slab class   1: chunk size        96 perslab   10922
slab class   2: chunk size       120 perslab    8738
#篇幅有限，此处省略若干条...
slab class  39: chunk size    524288 perslab       2

　　

注意此时memcached并不会立马申请内存，而是等要存数据的时候才去申请。

可以看到，memcached规划出39个slab，chunk大小的范围：96字节~524288字节，越往后越大，增长速度是1.25，这个速度被称为增长因子。每个slab里面chunk的个数也罗列出来了，我们可以计算出每个slab里chunk大小乘以chunk个数刚好等于1m，也就是一页。为什么是一页呢？因为我这个memcached是刚启动，还没有存数据，当这一页的内存都写满数据了，memcached就会再申请一页的内存。接下来详细说一下存数据的过程：

1.memcached根据数据的大小选择slab，如图1-1的情况，当有80字节的数据过来的时候，就会分配给slab1，当有100字节的数据过来的时候，就会去到slab2。

2.找到slab之后要看看存到哪个chunk里边去，因为memcached保存着slab内空闲chunk列表，所以根据该列表很快就能找到要把数据存到哪个chunk里面

3.当没有空闲chunk可用时，memcached会给这个slab申请一页（page）大小的内存（默认1m），然后切分成大小相同的chunk，再把数据放到新的chunk中

4.如果没有内存可以申请了，则会对该slab进行lru，而不是对整个memcache进行lru。

结论

1.申请内存是以页为单位去申请的，这样省去了频繁申请内存的开销

2.重复使用已分配的内存，也就是说，分配到的内存不会被释放，而是重复利用，这样省去了频繁释放内存的开销

3.因为chunk是固定大小的，所以会导致内存浪费。比如100字节的数据放到120字节的chunk里，就浪费掉了20字节的内存。但这个浪费不是永久的，当数据过期的时候会有新数据存入，比如下次是119字节的数据放到这块120字节的chunk里，就只浪费了1字节而已。减少浪费的解决办法是我们可以调节增长因子来改变chunk的大小

性能优化

1.通过-f和-n调整chunk的增长因子和第一个chunk的大小，这个要根据项目中数据大小的分布来决定，来达到内存最大化地利用，避免浪费

2.stats查看get hits、get misses计算命中率，如果命中率太低，需要查明原因

3.stats查看evictions查看LRU次数，如果频繁LRU说明内存不足了

删除机制

1.memcached不主动去删除过期的数据，而是在get的时候检查数据是否过期，如果过期了那么就不可见，然后把当前chunk加入空闲列表，这样下次有数据存入就会更新掉这块chunk的数据而达到删除的作用了，所以memcached不会在淘汰数据上面消耗CPU，这种方式称为lazy expiration（惰性删除）

2.当没有空闲的chunk可以用，又实在没有内存可以申请了，memcached会对当前slab执行LRU（least recently used 最近最少使用）来删除数据，注意是当前slab