Redis笔记(1)数据结构与对象

1.前言

　　此系列博客记录redis设计与实现一书的笔记，提取书本中的知识点，省略相关说明，方便查阅。

2.基本数据结构

2.1 简单动态字符串SDS（simple dynamic string）

　　结构体定义：

　　　　len:  buf数组中已使用字节的数量，使用len判断实际内容长度，而不是'\0'字符

　　　　free: 未使用字节的数量，查询该值，杜绝内存溢出

　　　　buf[]: 实际分配空间及存储内容（字节数组，保证二进制安全，怎么存怎么取）

　　保留C语言的习惯，字符串以'\0'结束，好处在于可以兼容使用C的API。

　　分配策略：

　　　　1.修改后小于1MB，需要扩展，分配与修改后len相同长度的额外空间，即buf总大小变成len+len+1（结尾字符）

　　　　2.修改后大于等于1MB，需要扩展，分配1MB，即buf大小变成len+1MB

　　释放策略：惰性释放，长度变短时不进释放空间，有需要时释放。

2.2 链表

　　在redis中使用广泛，列表键底层实现之一就是链表，当一个列表键包含了数量较多的元素，或者元素都是比较长的字符串，会使用链表作为列表键的底层实现。

　　LLEN，LRANGE等命令：即list

　　链表节点结构体定义listNode:

　　　　listNode *prev: 前置节点

　　　　listNode *next: 后置节点

　　　　void *valud: 节点的值

　　链表节点有前后节点，可以构成双向链表

　　链表的结构体list定义如下：

　　　　listNode *head: 表头节点

　　　　listNode *tail:　表尾节点

　　　　unsigned long len: 节点数量

　　　　void *(*dup)(void *ptr): 节点值复制函数

　　　　void (*free) (void *ptr): 节点值释放函数

　　　　int (*match)(void *ptr, void *key): 节点值对比函数

　　特性：

　　　　双端：前后查询O(1)

　　　　无环：以NULL节点终结

　　　　头尾指针：获取头尾迅速O(1)

　　　　长度计数：O(1)

　　　　多态: 三个函数可以支持保存各种不通类型的值

2.3 字典map

　　使用广泛，比如数据库就是使用字典作为底层实现的。SET msg "hello world" 或者 HLEN  HGETALL等命令。就是map和普通键值对。

　　哈希表dictht定义：

　　　　dictEntry  **table: 哈希表数组

　　　　unsigned long size: 哈希表大小

　　　　unsigned long sizemask: 哈希表大小掩码，用于计算索引值，等于size-1

　　　　unsigned long used: 哈希表有节点的数量

　　哈希节点dictEntry结构定义：

　　　　void *key: 键

　　　　union {

　　　　　　void *val;

　　　　　　unit64_t u64;

　　　　　　int64_t s64;

　　　　}v：值

　　　　dictEntry *next:下一个哈希表节点，形成链表，解决hash冲突

　　字典dict结构定义：

　　　　dictType  *type: 类型特定函数，多态，针对不同类型的键值对

　　　　void *privdata: 私有数据

　　　　dictht ht[2]: 哈希表 2个空间用于rehash操作，一般使用0,下标1的在rehash时使用

　　　　int trehashidx: rehash索引，不进行时，为-1

　　表位置计算：

　　　　1.hash值  MurmurHash2算法

　　　　2.hash & sizemask

　　rehash步骤：

　　　　0.rehash条件：

　　　　　　负载因子： used / 表大小

　　　　　　满足一个即可：

　　　　　　　　　　1）没有执行BGSAVE或者BGREWRITEAOF命令时，负载因子大于等于1

　　　　　　　　　　2）执行了上诉两个命令，且负载因子大于等于5

　　　　　　　　　　3）负载因子小于0.1时，自动收缩

　　　　1.为ht[1]哈希表分配空间：

　　　　　　扩展操作或收缩操作，ht[1]的大小>=ht[0].used*2^n（n取值使得右边最小）

　　　　　　比如used为7  那么新表大小为8=2^3>7

　　　　2.设置rehashidx，将其设置为0，表示开始rehash

　　　　3.从hash表的rehashidx下标的链表开始，重新计算hash值，将其完全移动至另一个hash表，之后rehashidx增加1

　　　　4.rehash期间，所有的增删改查操作会在两个hash表上进行：

　　　　　　新增的只会添加在ht[1]表上，查找先在ht[0]上进行，没找到再去ht[1]查找。修改删除一样。

　　　　　　单线程执行保证没有并发问题，渐进式rehash也是为了避免数据太大，造成一段时间内停止服务，所以一个下标一个下标移动。扩容机制以及hash算法保证hash碰撞不会过于集中，决定了单个下标数据不会很多。

　　　　5.ht[0]上的所有键值对都放入到ht[1]后，rehash完成，rehashidx置为-1。

　　　　6.转移完毕后释放ht[0]空间，将ht[1]设置成ht[0]，在ht[1]新创建一个空白的hash表，为下一次rehash准备。

2.4 跳跃表

　　跳跃表只有在有序集合键中和集群节点中使用到了，其余时候没有作用。有序集合键如ZRANGE  ZCARD命令相关。

　　跳跃表节点zskiplistNode结构：

　　　　zskiplistNode *backward: 后退指针

　　　　double socre: 分值

　　　　robj *obj: 成员对象

　　　　zskiplistLevel {

　　　　　　zskiplistNode *forward: 前进指针

　　　　　　unsigned int span: 跨度

　　　　} level[]; // 层

　　层level数组可以包含多个元素，每个元素包含一个指向其他节点的指针，可以通过层加快访问速度。层数越多，速度越快。创建节点时会随机生成一个1~32的数值作为该节点的level数组大小。

　　跨度指的是两个节点之间的距离，NULL的前指针跨度为0。跨度可用来计算目标节点在跳跃表中的位置。

　　后退指针只有一个，只能退到上一个节点。

　　跳跃表中的成员通过分值从小到大排列，成员对象指向一个字符串对象，即SDS值。成员对象唯一，多个成员对象可以有相同的分值

　　跳跃表zskiplist结构：

　　　　zskiplistNode *header, *tail：头尾节点

　　　　unsigned long length: 表中节点数量

　　　　int level: 表中层数最大的节点的层数

2.5 整数集合

　　整数集合用于数量不多，且都是整型的情况，比如 SADD numbers 1 3 5 7 9， OBJECT ENCODING numbers可以显示 "intset".

　　可以保存int16_t、int32_t、int64_t类型的值。

　　整数集合intset结构：

　　　　uint32_t  encoding: 编码方式

　　　　unit32_t  length: 包含的元素数量

　　　　int8_t contents[]: 保存元素的数组

　　集合中每一个元素都是contents中的一个项item，从小到大排列，不能重复。contents声明为int8_t，但是实际上不保存这个类型的值，真正类型取决于encoding,INTSET_ENC_INT（16,32,64）。contents的数组大小等于encoding*length。比如是16位的整型，5个元素，contents大小就是80。

　　升级过程：比如原本encoding是16的整型，现在新增一个32的，就需要升级。

　　　　1.根据新类型和元素数量，扩展contents的大小，分配空间。

　　　　2.将原元素转换成新元素类型，放入正确的位置，保证顺序不变。

　　　　3.将新元素添加到底层数组里面。

　　　　4.修改encoding的值，length+1

　　每次添加元素都可能造成升级，每次升级要处理所有的元素，时间复杂度为o(N)。

　　升级提升灵活度，随意将16,32,64位的整型添加到集合中。节约内存，要存放16,32,64位的整型最好的方法是直接使用64位的，升级可以减少内存消耗。

　　inset集合不支持降级操作。

2.6 压缩列表

　　压缩列表是列表键和哈希键的底层实现之一。列表键中包含少量列表项，并且列表项是小整数值或长度较短的字符串，就会使用压缩列表。

　　比如RPUSH lst 1 3 5 10086 "hello" "world" 　　　　OBJECT ENCODING lst   输出”ziplist"

　　　　HMSET profile  “name" "jack" ...

　　压缩列表用于节约内存，特殊编码的连续内存块组成的顺序型数据结构。一个压缩列表可以保存一个字节数组或者整数值。

　　具体结构按照下列顺序排列：

　　　　zlbytes   unit32_t    4字节   记录整个压缩列表占用内存字节数，在进行内存重分配或计算zlend位置时使用。

　　　　zltail       unit32_t    4字节   记录压缩列表尾节点距起始地址有多少字节，通过这个程序无需遍历整个压缩列表可以确定尾节点位置。

　　　　zllen　　unit16_t    2字节   记录压缩列表包含的节点数量，小于65535时为真，等于需要遍历才能计算出来。

　　　　entryX    列表节点   不定     各个节点，长度由节点保存内容决定

　　　　zlend      unit8_t      1字节    特殊值0xFF 用于标记压缩列表的末端

　　压缩节点的构成entryX：

　　　　1.字节数组长度为下面3种之一：

　　　　　　长度小于等于63  2^6-1字节的字节数组

　　　　　　长度小于等于16383  2^14-1字节的字节数组

　　　　　　长度小于等于2^32-1字节的字节数组

　　　　2.整型可以是下面6种之一：

　　　　　　4位长度，0~12之间的无符号整型

　　　　　　1字节长的有符合整数

　　　　　　3字节长的有符号整数

　　　　　　int16_t类型整数

　　　　　　int32_t类型整数

　　　　　　int64_t类型整数

　　　　3.由下面三个内容构成一个节点：

　　　　　　previous_entry_length: 记录了压缩列表中前一个节点的长度，该字段长度可以是1字节（前节点长度小于254）或5字节（大于等于254，第一个节点会设置成254后面4个节点保存前一个节点长度）。通过这个属性可以遍历到头节点。

　　　　　　encoding:保存数据的类型以及长度。由开头前2位判断类型及该字段的长度，后面的判断长度

　　　　　　　　00:该字段占用一个字节，后面6个比特位是数组长度，即长度小于等于63的字节数组

　　　　　　　　01:该字段占用2个字节，后面6+8个比特位是数组长度，即长度小于等于2^14-1个字节数组

　　　　　　　　10:该字段占用5个字节，后面4个字节记录长度，即长度小于等于2^32-1个字节数组

　　　　　　　　11000000: int16_t类型整数

　　　　　　　　11010000: int32_t类型整数

　　　　　　　　11100000: int64_t类型整数

　　　　　　　　11110000: 24位有符号整数

　　　　　　　　11111110: 8位有符号整数

　　　　　　　　1111xxxx: 该值的时候就没有content属性了，因为本身xxxx就足够保存0~12之间的值了。

　　　　　　content:具体的内容。由encoding决定

　　连锁更新：

　　　　由于previous_entry_length记录了之前的节点长度，但是其有两种形态1字节和5字节。这里就会产生一个麻烦，原本前一个节点是小于254个字节的，本节点使用的1字节形态的previous_entry_length记录了这个情况，现在在该节点前插入了一个大于254个字节长度的节点，要将其改成5字节形态。但是这又产生了一个麻烦，比如当前节点是253个字节，由于previous_entry_length由1变成了5，增加了4个字节长度，导致该节点超过了254个字节，进而后置节点的previous_entry_length也要改变形态，这样可能会发生连锁反应。

　　　　删除节点一样会导致连锁反应，都称之为连锁更新。最坏的情况下需要N次空间重新分配，每次最坏O(N)，所以最坏为O(N^2)。但是由于可能性太小了，而且只要不是大面积的连锁更新都是可以接受的。所以这个不需要过度担心。

3.对象

　　redis中没有直接使用上述数据结构来实现键值对数据库，而是基于此实现了一个对象系统，包含：字符串对象，列表对象，哈希对象，集合对象和有序集合对象。redis使用了引用计数技术来控制内存回收机制，不再使用的对象会被释放。

　　对象基本结构redisObject:

　　　　unsigned type:4 类型

　　　　unsigned encoding:4 编码

　　　　void *ptr  指向底层的数据结构的指针

　　　　...

　　类型有5种：REDIS_STRING 字符串对象、REDIS_LIST 列表对象、REDIS_HASH 哈希对象、REDIS_SET 集合对象、REDIS_ZSET 有序集合对象。使用type命令可以查看对象类型。

　　encoding决定ptr指向的数据结构，一共有以下几种数据结构：

　　　　REDIS_ENCODING_INT　　　　long类型的整数

　　　　REDIS_ENCODING_EMBSTR　　embstr编码的简单动态字符串

　　　　REDIS_ENCODING_RAW　　　　简单动态字符串

　　　　REDIS_ENCODING_HT　　　　字典

　　　　REDIS_ENCODING_LINKEDLIST　　　　双端链表

　　　　REDIS_ENCODING_ZIPLIST　　　　压缩列表

　　　　REDIS_ENCODING_INSET　　　　整数集合

　　　　REDIS_ENCODING_SKIPLIST　　跳跃表和字典

　　不同的对象类型有相关的encoding，下面是一个对应关系：

　　　　String:  int、embstr、raw

　　　　list:  ziplist、linkedlist

　　　　hash: ziplist、ht

　　　　set: intset、ht

　　　　zset: ziplist、 skiplist

　　使用OBJECT ENCODING可以看见对象当前编码。

3.1 字符串对象

　　字符串对象的编码可以是int、raw、embstr。

　　如果一个字符串对象保存的是整型，并且可以用long类型表示，就会设置成int编码。

　　如果一个字符串对象保存的是字符串值，并且长度大于39字节，那么使用SDS来保存这个字符串值，设置编码为raw

　　如果一个字符串对象保存的是字符串值，并且长度小于等于39字节，那么使用embstr来保存这个字符串值。

　　raw和embstr的区别在于，raw会开辟两次空间，创建redisObject和sdshdr结构，但是embstr只分配一块连续的区间，依次包含redisObject和sdshdr。对应的释放空间也只需要一次。

　　编码的转换：

　　　　int和embstr在条件满足的情况下会被转换成raw编码。

　　　　假如一个字符串对象中保存的是整数值，但是使用了append命令追加了字符串，就会变成raw：set number 123, append number " xxx"

　　　　embstr编码的字符串没有编写任何的修改程序，所以该类型实际上是只读的。修改的时候都会变成raw，再执行修改命令。

3.2 列表对象

　　列表对象的编码可以是ziplist或者是linkedlist。

　　编码的转换：

　　满足以下2个条件的时候会使用ziplist:

　　　　列表对象保存的所有字符串元素长度都小于64个字节。

　　　　列表对象保存的元素数量小于512个。

　　不满足上述条件的会转成linkedlist。

　　这两个条件可以进行修改，配置list-max-ziplist-value和list-max-ziplist-entries。

3.3 哈希对象

　　哈希对象的编码可以是ziplist或者是hashtable。

　　ziplist的时候，键值是紧挨在一起的，先键放入尾端，再把值放入尾端。

　　编码的转换：

　　满足以下2个条件的时候会使用ziplist:

　　　　列表对象保存的所有字符串元素长度都小于64个字节。

　　　　列表对象保存的元素数量小于512个。

　　不满足上述条件会转成hashtable。

　　这两个条件可以进行修改，配置hash-max-ziplist-value和hash-max-ziplist-entries。

3.4 集合对象

　　集合对象的编码可以是intset或者是hashtable

　　编码的转换：

　　满足以下两个条件时，对象使用intset编码：

　　　　集合对象保存的所有元素都是整数值

　　　　集合对象保存的元素数量不超过512个

　　不满足上述条件的会使用hashtable编码

　　第二个上限值是可以修改的，配置set-max-intset-entries选项。

3.5 有序集合对象

　　有序集合的编码可以是ziplist或者skiplist。

　　ziplist作为实现的时候，第一个节点保存元素的成员，第二个元素则保存元素的分值。

　　zset结构包含一个zsl跳跃表和一个dict字典表。跳跃表使得有序集合可以进行范围型操作，如ZRANK和ZRANGE命令。字典表可以O(1)复杂度查找给定成员的分值，ZSCORE命令。

　　编码的转化：

　　满足以下两个条件时，对象使用ziplist编码：

　　　　有序集合保存的元素数量小于128个

　　　　有序集合保存的所有元素成员的长度都小于64字节。

　　不能满足以上两个条件的有序集合对象使用skiplist编码。

　　以上两个条件的值可以修改，配置zset-max-ziplist-entries和zset-max-ziplist-value。

4.其它概念

4.1 类型检查和命令多态

　　redis的命令基本上分两种类型：

　　　　所有键都能执行，比如delete、expire、rename、type、object。

　　　　特定类型键执行，比如：

　　　　　　SET、GET、APPEND、STRLEN只能针对字符串键执行

　　　　　　HDEL、HSET、HGET、HLEN只能针对哈希键执行

　　　　　　RPUSH、LPOP、LINSERT、LLEN只能针对列表键执行

　　　　　　SADD、SPOP、SINTER、SCARD只能针对集合键执行

　　　　　　ZADD、ZCARD、ZRANK、ZSCORE只能针对有序集合键执行

　　为了不执行错误的命令，都会先进行类型检查，通过redisObject type来实现。

　　相同的类型但是编码是不同的，意味着命令要适应不同编码结构，这就是命令的多态。

4.2 内存回收

　　redis构建了一个引用计数技术来实现内存回收机制，在适当的时候自动释放对象，进行内存回收。

　　redisObject中有一个refcount字段用于引用计数。

　　　　创建对象时，引用计数的值会被初始化为1.

　　　　被使用时，+1

　　　　不被使用时，-1

　　　　为0时，释放内存。

4.3 对象共享

　　键A创建了一个整型100，键B也要创建一个整型100，做法有两种：新建一个或者使用A的。当然后者更节省内存。

　　　　1.B指向A的值

　　　　2.值的引用计数+1

　　redis在初始化服务器的时候，会创建一万个字符串对象，包含从0~9999所有整数值。

　　redis只共享整型值的字符串对象，因为字符串类型的验证相同操作复杂，多个对象时更复杂。

4.4 对象的空闲时长

　　redisObject还有一个属性是lru属性，记录最后一次被程序访问的时间。OBJECT IDLETIME 可以打印出对象从当前时间到最后一次访问时间的空闲时长。这个命令不会修改lru的值。

　　空闲时长的一个作用在于，如果服务器打开了maxmemory选项，并且服务器用于回收内存的算法是volatile-lru或者是allkeys-lru，当占用内存超过了maxmemory设置的上限，空转时长较高的键会被优先释放，从而回收内存。

　　配置文件中maxmemory和maxmeory-policy选项介绍了相关信息。