redis 5.0.7 源码阅读——跳跃表skiplist
redis中并没有专门给跳跃表两个文件。在5.0.7的版本中，结构体的声明与定义、接口的声明在server.h中，接口的定义在t_zset.c中，所有开头为zsl的函数。
一、数据结构
单个节点：
typedef struct zskiplistNode {
//key，唯一
sds ele;
//分值，可重复
double score;
//后退指针
struct zskiplistNode *backward;
//层
struct zskiplistLevel {
//前进指针
struct zskiplistNode *forward;
//到本层下一节点的跨度，用于计算rank
unsigned long span;
} level[];
} zskiplistNode;
zskiplistNode定义了跳跃表中每个节点的数据结构，它是一个变长结构体。
/*
+------------------------+
|sds ele | /+-----------------------------+
+------------------------+ / |struct zskiplistNode *forward|
|double score | / +-----------------------------+
+------------------------+ / |unsigned long span |
|zskiplistNode * backward| / +-----------------------------+
+------------------------+/ . .
|zskiplistLevel level[] | . .
+------------------------+\ . .
\ +-----------------------------+
\ |struct zskiplistNode *forward|
\ +-----------------------------+
\ |unsigned long span |
\+-----------------------------+
*/
将用以下结构表示：
/*
+--------+
|level[1]|
|1(span) |
+--------+
|level[0]|
|1(span) |
+--------+
|backward|
+--------+
|score |
+--------+
|ele |
+--------+
*/
如：
/*
+--------+ +--------+ +--------+
|level[1]|--------------->|level[1]|--------------->|level[1]|
|2 | |2 | |0 |
+--------+ +--------+ +--------+ +--------+ +--------+
|level[0]|-->|level[0]|-->|level[0]|-->|level[0]|-->|level[0]|
|1 | |1 | |1 | |1 | |0 |
+--------+ +--------+ +--------+ +--------+ +--------+
|backward|<--|backward|<--|backward|<--|backward|<--|backward|
+--------+ +--------+ +--------+ +--------+ +--------+
|1 | |2 | |3 | |4 | |5 |
+--------+ +--------+ +--------+ +--------+ +--------+
|a | |b | |c | |d | |e |
+--------+ +--------+ +--------+ +--------+ +--------+
*/
跳表：
typedef struct zskiplist {
//头/尾节点
struct zskiplistNode *header, *tail;
//总长度
unsigned long length;
//总层数
int level;
} zskiplist;
因其头节点固定为空节点，固整体结构：
/*
+--------+ +--------+ +--------+
|level[1]|--------------->|level[1]|--------------->|level[1]|
|2 | |2 | |0 |
+--------+ +--------+ +--------+ +--------+ +--------+
|level[0]|-->|level[0]|-->|level[0]|-->|level[0]|-->|level[0]|
|1 | |1 | |1 | |1 | |0 |
+--------+ +--------+ +--------+ +--------+ +--------+
|backward|<--|backward|<--|backward|<--|backward|<--|backward|
+--------+ +--------+ +--------+ +--------+ +--------+
|0 | |2 | |3 | |4 | |5 |
+--------+ +--------+ +--------+ +--------+ +--------+
|NULL | |b | |c | |d | |e |
+-->+--------+ +--------+ +--------+ +--------+ +--------+<--+
| |
| +--------+ |
+---|header | |
+--------+ |
|tail |-------------------------------------------------------+
+--------+
|length=4|
+--------+
|level=2 |
+--------+
*/
每个level层都是一条单身链表，其中level[0]中包含所有元素。
二、创建
根据指定的level，创建一个跳表节点：
zskiplistNode *zslCreateNode(int level, double score, sds ele) {
zskiplistNode *zn =
zmalloc(sizeof(*zn)+level*sizeof(struct zskiplistLevel));
zn->score = score;
zn->ele = ele;
return zn;
}
创建一个跳表：
#define ZSKIPLIST_MAXLEVEL 64 /* Should be enough for 2^64 elements */
zskiplist *zslCreate(void) {
int j;
zskiplist *zsl;
zsl = zmalloc(sizeof(*zsl));
zsl->level = ;
zsl->length = ;
zsl->header = zslCreateNode(ZSKIPLIST_MAXLEVEL,,NULL);
for (j = ; j < ZSKIPLIST_MAXLEVEL; j++) {
zsl->header->level[j].forward = NULL;
zsl->header->level[j].span = ;
}
zsl->header->backward = NULL;
zsl->tail = NULL;
return zsl;
}
redis中定义的最大层数为64层。且在刚创建时，会生成一个空的头节点，这样就可以不用再考虑节点数从0至1或者从1至0时要处理的各种特殊情况。
刚创完的跳表结构（结构中以4做为最大层数，后同）：
/*
+--------+
|level[3]|-->NULL
|0 |
+--------+
|level[2]|-->NULL
|0 |
+--------+
|level[1]|-->NULL
|0 |
+--------+
|level[0]|-->NULL
|0 |
+--------+
NULL<-|backward|
+--------+
|0 |
+--------+
|NULL |
+-->+--------+
|
| +--------+
+---|header |
+--------+
|tail |-->NULL
+--------+
|length=0|
+--------+
|level=1 |
+--------+
*/
三、插入节点
#define ZSKIPLIST_P 0.25 /* Skiplist P = 1/4 */
int zslRandomLevel(void) {
int level = ;
while ((random()&0xFFFF) < (ZSKIPLIST_P * 0xFFFF))
level += ;
return (level<ZSKIPLIST_MAXLEVEL) ? level : ZSKIPLIST_MAXLEVEL;
}
redis中使用的决定新插入节点层数据的方法是抛硬币法，且“硬币”只有25%的几率是正面。
插入方法：
zskiplistNode *zslInsert(zskiplist *zsl, double score, sds ele) {
//update数组，用于存储查找路径
zskiplistNode *update[ZSKIPLIST_MAXLEVEL], *x;
//rank数组，用于存储每层路径节点的排名
unsigned int rank[ZSKIPLIST_MAXLEVEL];
int i, level;
serverAssert(!isnan(score));
x = zsl->header;
//先查找插入位置
for (i = zsl->level-; i >= ; i--) {
/* store rank that is crossed to reach the insert position */
rank[i] = i == (zsl->level-) ? : rank[i+];
while (x->level[i].forward &&
(x->level[i].forward->score < score ||
(x->level[i].forward->score == score &&
sdscmp(x->level[i].forward->ele,ele) < )))
{
rank[i] += x->level[i].span;
x = x->level[i].forward;
}
update[i] = x;
}
//随机一个level
level = zslRandomLevel();
//若当前最大level不够，则补齐update与rank数组
if (level > zsl->level) {
for (i = zsl->level; i < level; i++) {
rank[i] = ;
update[i] = zsl->header;
update[i]->level[i].span = zsl->length;
}
zsl->level = level;
}
//创建一个节点，并插入
x = zslCreateNode(level,score,ele);
for (i = ; i < level; i++) {
x->level[i].forward = update[i]->level[i].forward;
update[i]->level[i].forward = x;
x->level[i].span = update[i]->level[i].span - (rank[] - rank[i]);
update[i]->level[i].span = (rank[] - rank[i]) + ;
}
//update数组中，比插入节点level更高的各成员的跨度增加
for (i = level; i < zsl->level; i++) {
update[i]->level[i].span++;
}
x->backward = (update[] == zsl->header) ? NULL : update[];
if (x->level[].forward)
x->level[].forward->backward = x;
else
zsl->tail = x;
zsl->length++;
return x;
}
从注释可知，redis的跳表允许同score的情况发生，但是不允许同ele，且是由调用者在外部保证。若插入顺序为e，b，c，d，则插入e时：
step1、定义update数组与rank数组。
/*
update rank
+--------+ +--------+
|NULL | |0 |
+--------+ +--------+
|NULL | |0 |
+--------+ +--------+
|NULL | |0 |
+--------+ +--------+
|NULL | |0 |
+--------+ +--------+
*/
实际在linux环境运行时，不会默认初始化，应该是一堆脏数据，此处是为了方便处理结构
step2、查找位置后
/*
update rank
+--------+ +--------+
|NULL | |0 |
+--------+ +--------+
|NULL | |0 |
+--------+ +--------+
|NULL | |0 |
+--------+ +--------+
|header | |0 |
+--------+ +--------+
*/
step3、e的level为2，比跳表的大，故要补齐update与rank数组
/*
update rank
+--------+ +--------+
|NULL | |0 |
+--------+ +--------+
|NULL | |0 |
+--------+ +--------+
|header | |0 |
+--------+ +--------+
|header | |0 |
+--------+ +--------+
*/
step4、插入节点，与单身链表插入相同，将新节点e各层，插入到update数组中记录的各层节点之后，并使用rank数组，计算跨度
/*
+--------+
|level[3]|-->NULL
|0 |
+--------+
|level[2]|-->NULL
|0 |
+--------+ +--------+
|level[1]|-->|level[1]|-->NULL
|1 | |0 |
+--------+ +--------+
|level[0]|-->|level[0]|-->NULL
|1 | |0 |
+--------+ +--------+
NULL<-|backward| |backward|
+--------+ +--------+
|0 | |5 |
+--------+ +--------+
|NULL | |e |
+-->+--------+ +--------+
|
| +--------+
+---|header |
+--------+
|tail |
+--------+
|length=0|
+--------+
|level=1 |
+--------+
*/
step5、处理新插入节点的backward指针，与跳表的tail指针：
/*
+--------+
|level[3]|-->NULL
|0 |
+--------+
|level[2]|-->NULL
|0 |
+--------+ +--------+
|level[1]|-->|level[1]|-->NULL
|1 | |0 |
+--------+ +--------+
|level[0]|-->|level[0]|-->NULL
|1 | |0 |
+--------+ +--------+
NULL<-|backward| |backward|
+--------+ +--------+
|0 | |5 |
+--------+ +--------+
|NULL | |e |
+-->+--------+ +--------+<--+
| |
| +--------+ |
+---|header | |
+--------+ |
|tail |----------------+
+--------+
|length=1|
+--------+
|level=2 |
+--------+ */
此时插入b：
找到位置后的update与rank数组：
/*
update rank
+--------+ +--------+
|NULL | |0 |
+--------+ +--------+
|NULL | |0 |
+--------+ +--------+
|header | |0 |
+--------+ +--------+
|header | |0 |
+--------+ +--------+
*/
插入b节点后：
/*
+--------+
|level[3]|-->NULL
|0 |
+--------+
|level[2]|-->NULL
|0 |
+--------+ +--------+
|level[1]|--------------->|level[1]|-->NULL
|2 | |0 |
+--------+ +--------+ +--------+
|level[0]|-->|level[0]|-->|level[0]|-->NULL
|1 | |1 | |0 |
+--------+ +--------+ +--------+
NULL<-|backward| |backward|<--|backward|
+--------+ +--------+ +--------+
|0 | |2 | |5 |
+--------+ +--------+ +--------+
|NULL | |b | |e |
+-->+--------+ +--------+ +--------+<--+
| |
| +--------+ |
+---|header | |
+--------+ |
|tail |-----------------------------+
+--------+
|length=2|
+--------+
|level=2 |
+--------+
*/
需要注意的是，update数组idx = 1的节点并没有新的插入操作，span要自增，表示本层跨度增加了1。
插入c时的update与rank数组：
/*
update rank
+--------+ +--------+
|NULL | |0 |
+--------+ +--------+
|NULL | |0 |
+--------+ +--------+
|header | |0 |
+--------+ +--------+
|b | |1 |
+--------+ +--------+
*/
插入c后：
/*
+--------+
|level[3]|-->NULL
|0 |
+--------+
|level[2]|-->NULL
|0 |
+--------+ +--------+ +--------+
|level[1]|--------------->|level[1]|-->|level[1]|-->NULL
|2 | |1 | |0 |
+--------+ +--------+ +--------+ +--------+
|level[0]|-->|level[0]|-->|level[0]|-->|level[0]|-->NULL
|1 | |1 | |1 | |0 |
+--------+ +--------+ +--------+ +--------+
NULL<-|backward| |backward|<--|backward|<--|backward|
+--------+ +--------+ +--------+ +--------+
|0 | |2 | |3 | |5 |
+--------+ +--------+ +--------+ +--------+
|NULL | |b | |c | |e |
+-->+--------+ +--------+ +--------+ +--------+<--+
| |
| +--------+ |
+---|header | |
+--------+ |
|tail |------------------------------------------+
+--------+
|length=3|
+--------+
|level=2 |
+--------+
/*
最后插入d：
update与rank数组：
/*
update rank
+--------+ +--------+
|NULL | |0 |
+--------+ +--------+
|NULL | |0 |
+--------+ +--------+
|c | |2 |
+--------+ +--------+
|c | |2 |
+--------+ +--------+
*/
插入d：
/*
+--------+
|level[3]|-->NULL
|0 |
+--------+
|level[2]|-->NULL
|0 |
+--------+ +--------+ +--------+
|level[1]|--------------->|level[1]|--------------->|level[1]|-->NULL
|2 | |2 | |0 |
+--------+ +--------+ +--------+ +--------+ +--------+
|level[0]|-->|level[0]|-->|level[0]|-->|level[0]|-->|level[0]|-->NULL
|1 | |1 | |1 | |1 | |0 |
+--------+ +--------+ +--------+ +--------+ +--------+
NULL<-|backward| |backward|<--|backward|<--|backward|<--|backward|
+--------+ +--------+ +--------+ +--------+ +--------+
|0 | |2 | |3 | |4 | |5 |
+--------+ +--------+ +--------+ +--------+ +--------+
|NULL | |b | |c | |d | |e |
+-->+--------+ +--------+ +--------+ +--------+ +--------+<--+
| |
| +--------+ |
+---|header | |
+--------+ |
|tail |-------------------------------------------------------+
+--------+
|length=4|
+--------+
|level=2 |
+--------+
/*
如果此时要新插入节点a，score为4.5，则update与rank数组分别为：
/*
update rank
+--------+ +--------+
|NULL | |0 |
+--------+ +--------+
|NULL | |0 |
+--------+ +--------+
|c | |2 |
+--------+ +--------+
|d | |3 |
+--------+ +--------+
*/
四、删除节点
在已经查找到位置，与已知update数组时的删除方法：
void zslDeleteNode(zskiplist *zsl, zskiplistNode *x, zskiplistNode **update) {
int i;
for (i = ; i < zsl->level; i++) {
if (update[i]->level[i].forward == x) {
update[i]->level[i].span += x->level[i].span - ;
update[i]->level[i].forward = x->level[i].forward;
} else {
update[i]->level[i].span -= ;
}
}
if (x->level[].forward) {
x->level[].forward->backward = x->backward;
} else {
zsl->tail = x->backward;
}
while(zsl->level > && zsl->header->level[zsl->level-].forward == NULL)
zsl->level--;
zsl->length--;
}
删除本节点之后，对应路径相应得做处理。
从跳表中删除指定节点的操作：
int zslDelete(zskiplist *zsl, double score, sds ele, zskiplistNode **node) {
zskiplistNode *update[ZSKIPLIST_MAXLEVEL], *x;
int i;
//先用score与ele查找，生成update数组
x = zsl->header;
for (i = zsl->level-; i >= ; i--) {
while (x->level[i].forward &&
(x->level[i].forward->score < score ||
(x->level[i].forward->score == score &&
sdscmp(x->level[i].forward->ele,ele) < )))
{
x = x->level[i].forward;
}
update[i] = x;
}
//跳表允许同score，防止误删，做一下ele校验
if (x && score == x->score && sdscmp(x->ele,ele) == ) {
zslDeleteNode(zsl, x, update);
if (!node)
zslFreeNode(x);
else
*node = x;
return ;
}
return ;
}
如以下跳表：
/*
+--------+
|level[3]|-->NULL
|0 |
+--------+
|level[2]|-->NULL
|0 |
+--------+ +--------+ +--------+
|level[1]|--------------->|level[1]|--------------->|level[1]|-->NULL
|2 | |2 | |0 |
+--------+ +--------+ +--------+ +--------+ +--------+
|level[0]|-->|level[0]|-->|level[0]|-->|level[0]|-->|level[0]|-->NULL
|1 | |1 | |1 | |1 | |0 |
+--------+ +--------+ +--------+ +--------+ +--------+
NULL<-|backward| |backward|<--|backward|<--|backward|<--|backward|
+--------+ +--------+ +--------+ +--------+ +--------+
|0 | |2 | |3 | |4 | |5 |
+--------+ +--------+ +--------+ +--------+ +--------+
|NULL | |b | |c | |d | |e |
+-->+--------+ +--------+ +--------+ +--------+ +--------+<--+
| |
| +--------+ |
+---|header | |
+--------+ |
|tail |-------------------------------------------------------+
+--------+
|length=4|
+--------+
|level=2 |
+--------+
/*
要删除节点d，生成的update数组为：
/*
update
+--------+
|NULL |
+--------+
|NULL |
+--------+
|c |
+--------+
|c |
+--------+
*/
由于d的level为1，故在level[0]层，使用从单向链表中删除节点的操作，把d移出，再给高于level[0]的update数组中所有成员的span自减，节点少了，跨度要跟着降低。
删除d之后的跳表：
/*
+--------+
|level[3]|-->NULL
|0 |
+--------+
|level[2]|-->NULL
|0 |
+--------+ +--------+ +--------+
|level[1]|--------------->|level[1]|-->|level[1]|-->NULL
|2 | |1 | |0 |
+--------+ +--------+ +--------+ +--------+
|level[0]|-->|level[0]|-->|level[0]|-->|level[0]|-->NULL
|1 | |1 | |1 | |0 |
+--------+ +--------+ +--------+ +--------+
NULL<-|backward| |backward|<--|backward|<--|backward|
+--------+ +--------+ +--------+ +--------+
|0 | |2 | |3 | |5 |
+--------+ +--------+ +--------+ +--------+
|NULL | |b | |c | |e |
+-->+--------+ +--------+ +--------+ +--------+<--+
| |
| +--------+ |
+---|header | |
+--------+ |
|tail |------------------------------------------+
+--------+
|length=3|
+--------+
|level=2 |
+--------+
/*
五、销毁
void zslFreeNode(zskiplistNode *node) {
sdsfree(node->ele);
zfree(node);
}
void zslFree(zskiplist *zsl) {
zskiplistNode *node = zsl->header->level[].forward, *next;
zfree(zsl->header);
while(node) {
next = node->level[].forward;
zslFreeNode(node);
node = next;
}
zfree(zsl);
}
销毁操作本身只是在level[0]层遍历所有节点，依次销毁。
redis 5.0.7 下载链接
http://download.redis.io/releases/redis-5.0.7.tar.gz
源码阅读顺序参考：
https://github.com/huangz1990/blog/blob/master/diary/2014/how-to-read-redis-source-code.rst
redis 5.0.7 源码阅读——跳跃表skiplist的更多相关文章
- redis 5.0.7 源码阅读——整数集合intset
redis中整数集合intset相关的文件为:intset.h与intset.c intset的所有操作与操作一个排序整形数组 int a[N]类似,只是根据类型做了内存上的优化. 一.数据结构 ty ...
- redis 5.0.7 源码阅读——字典dict
redis中字典相关的文件为:dict.h与dict.c 与其说是一个字典,道不如说是一个哈希表. 一.数据结构 dictEntry typedef struct dictEntry { void * ...
- redis 5.0.7 源码阅读——双向链表
redis中双向链表相关的文件为:adlist.h与adlist.c 一.数据结构 redis里定义的双向链表,与普通双向链表大致相同 单个节点: typedef struct listNode { ...
- redis 5.0.7 源码阅读——动态字符串sds
redis中动态字符串sds相关的文件为:sds.h与sds.c 一.数据结构 redis中定义了自己的数据类型"sds",用于描述 char*,与一些数据结构 typedef c ...
- redis 5.0.7 源码阅读——压缩列表ziplist
redis中压缩列表ziplist相关的文件为:ziplist.h与ziplist.c 压缩列表是redis专门开发出来为了节约内存的内存编码数据结构.源码中关于压缩列表介绍的注释也写得比较详细. 一 ...
- Linux 0.11源码阅读笔记-文件管理
Linux 0.11源码阅读笔记-文件管理 文件系统 生磁盘 未安装文件系统的磁盘称之为生磁盘,生磁盘也可以作为文件读写,linux中一切皆文件. 磁盘分区 生磁盘可以被分区,分区中可以安装文件系统, ...
- Linux 0.11源码阅读笔记-中断过程
Linux 0.11源码阅读笔记-中断过程 是什么中断 中断发生时,计算机会停止当前运行的程序,转而执行中断处理程序,然后再返回原被中断的程序继续运行.中断包括硬件中断和软件中断,硬中断是由外设自动产 ...
- Linux 0.11源码阅读笔记-总览
Linux 0.11源码阅读笔记-总览 阅读源码的目的 加深对Linux操作系统的了解,了解Linux操作系统基本架构,熟悉进程管理.内存管理等主要模块知识. 通过阅读教复杂的代码,锻炼自己复杂项目代 ...
- redis 4.0.8 源码包安装集群
系统:centos 6.9软件版本:redis-4.0.8,rubygems-2.7.7,gcc version 4.4.7 20120313,openssl-1.1.0h,zlib-1.2.11 y ...
随机推荐
- 最强PostMan使用教程
最近需要测试产品中的REST API,无意中发现了PostMan这个chrome插件,把玩了一下,发现postman秉承了一贯以来google工具强大,易用的特质.独乐乐不如众乐乐,特此共享出来给大伙 ...
- PHP 1-16课
浏览器 使用火狐浏览器 认识标签 个人使用的编辑器:HbuilderX 标签是HTML5的基本结构,标签分为双标签和单标签 例如:<li> </li> <br ...
- beta版本发布说明与总结
1.发布说明: 软件介绍: deta版本的发布最终是一个可安装使用的窗体程序,已经由Alpha版本的应用解决方案完成到一个程序: deta版本解决了Alpha版本遗留的软件技术方面错误问题,以及针对有 ...
- Python脚本通过ftp协议移植文件
需求 项目需要定时移植多个客户服务器的文件到公司服务器上,确保文件定时同步和生成监控日志 机制原理 1.客户和公司服务器同时安装vpn,绕过复杂的网关,linux下使用的OpenVPN 2.服务器定时 ...
- ajax--->请求异常 jQuery提示parsererror错误解决办法
ajax请求异常 jQuery提示parsererror错误解决办法 原因:出现这个错误是因为后端返回的数据类型和前端请求中dataType的要求类型不一致导致的. dataType简介:jquery ...
- webpack入门系列1
一.什么是webpack?为什么要使用它? Webpack 是一个前端资源加载/打包工具.它将根据模块的依赖关系进行静态分析,然后将这些模块按照指定的规则生成对应的静态资源. 为什么我们要使用它呢?因 ...
- 使用npm发布、查看、引用、删除自己的包[小白推荐]
前言 怎么使用npm发布自己的组件包呢?博主看了不少相关的文章,都没有一个好的讲述.要么丢三落四,要么就是复杂到外行人根本看不懂,甚至无从下手.于是,在博主的潜心钻研下,终于成功了!所以,我打算写一 ...
- ubuntu16.04(其他版本也可)批量修改图片名---shell编程
在windows系统中有很多好用的图片排序软件,可以批量的进行图片排序.然而在ubuntu中,图片排序只能自己写一个shell脚本,编写shell代码.下面是具体的操作步骤.(1).新建一个renam ...
- Codeforces 1248C Ivan the Fool and the Probability Theory(推公式)
题意 一个n*m的网格图,每个格子可以染黑色.白色,问你每个格子最多有一个相邻颜色相同的方案数 n,m<=1e5 思路 我们先处理\(1 \times m\)的情况 设\(f[i][j]\)为前 ...
- The 2019 University of Jordan Collegiate Programming Contest
链接:https://codeforc.es/gym/102267 A. Picky Eater 直接比较 int main(){ int x ,y; scanf("%d %d" ...