Redis数据结构之压缩列表-ziplist
为了节约内存,在zset
和hash
容器对象元素个数较少时,Redis
会采用压缩列表(ziplist)
进行存储。
压缩列表是一块连续的内存空间,元素之间紧挨着存储,不存在冗余
一个压缩列表可以包含任意多个节点(entry)
,每个节点可以保存一个字节数组或者一个整数值
结构
// 压缩列表
struct ziplist<T> {
int32 zlbytes; // 压缩列表占用的内存字节数
int32 zltail_offset; // 记录表尾节点距离起始地址有多少个字节,用于快速定位最后一个元素
int16 zllength; // 压缩列表包含的节点数
T[] entries; // 压缩列表包含的所有节点
int8 zlend; // 特殊值0xFF,标记压缩列表结尾
} ziplist;
// 列表节点
struct entry {
int<val> prevlen; // 前一个entry节点的长度
int<val> encoding; // 节点的content属性保存的数据的类型
optional byte[] content; // 节点的值
} entry;
prevlen
字段长度是1
个字节或5
个字节:
前一个节点长度小于
254
:使用1
个字节前一个节点长度大于等于
254
:使用5
个字节
增加元素
由于ziplist
是紧凑存储的,没有冗余空间,所以每一次插入新的元素都需要调用realloc
扩展内存。取决于内存分配算法和当前ziplist
内存大小,realloc
可能重新分配内存空间然后进行拷贝,也可能直接在原地址上进行扩展,不进行拷贝。
如果ziplist
占据内存太大,realloc
重新分配内存和拷贝会产生很大的消耗,所以ziplist
不适合存储大型字符串,存储元素也不宜过多。
级联更新
由于每一个entry
都有一个prevlen
属性,该属性可能是1
个字节或5
个字节,取决于前一个元素的长度,所以在前一个元素长度变更,即长度由大于等于254
变为小于254
或由小于254
变为大于等于254
时,会导致后一个节点的prevlen
属性更新。
如果后一个节点长度是253
,则该节点的后续节点也需要更新,依此类推,可能导致后续所有的节点都需要进行更新,这种在特殊情况下产生的连续多次空间扩展操作称之为级联更新。
级联更新在最坏情况下需要对ziplist
执行N
次内存重分配操作,而每次分配的最坏复杂度为O(N)
,所以级联更新的最坏复杂度为O(N^2)
。
尽管级联更新的复杂度较高,但是该操作造成性能问题的几率很低:
需要
ziplist
中恰好有多个连续的、长度介于250~253
个字节的节点才可能引发连续更新,该情况很少见即使出现级联更新,只要被更新的节点数量不多,就不会对性能产生影响
Redis数据结构之压缩列表-ziplist的更多相关文章
- Redis数据结构之压缩列表
压缩列表是Redis为了节约内存而开发的,由一系列特殊编码的连续内存块组成的顺序型数据结构.一个压缩列表可以包含任意多个节点,每个节点可以保存一个字节数组或者一个整数值. 一.压缩列表结构1. 压缩列 ...
- redis源码之压缩列表ziplist
压缩列表ziplist1.简介连续,无序的数据结构.压缩列表是 Redis 为了节约内存而开发的, 由一系列特殊编码的连续内存块组成的顺序型(sequential)数据结构. 2.组成 属性 类型 长 ...
- redis 5.0.7 源码阅读——压缩列表ziplist
redis中压缩列表ziplist相关的文件为:ziplist.h与ziplist.c 压缩列表是redis专门开发出来为了节约内存的内存编码数据结构.源码中关于压缩列表介绍的注释也写得比较详细. 一 ...
- Redis 底层数据结构之压缩列表
文章参考:<Redis 设计与实现>黄建宏 压缩列表 压缩列表 ziplist 是列表键和哈希键的底层实现之一.当一个列表键只包含少量列表项,并且每个列表项要么就是小整数值,要么就是长度比 ...
- Redis实现之压缩列表
压缩列表 压缩列表(ziplist)是列表键和哈希键的底层实现之一,当一个列表键只包含少量列表项,并且每个列表项要嘛是整数值,要嘛是比较短的字符串,那么Redis就会使用压缩列表来做列表键的底层实现. ...
- Redis数据结构之快速列表-quicklist
链表 在Redis的早期版本中,存储list列表结构时,如果元素少则使用压缩列表ziplist,否则使用双向链表linkedlist // 链表节点 struct listNode<T> ...
- redis 底层数据结构 压缩列表 ziplist
压缩列表是列表键和哈希键的底层实现之一.当一个列表键只包含少量列表项,并且每个列表项要么就是小整数,要么就是长度比较短的字符串,redis就会使用压缩列表来做列表键的底层实现 当一个哈希键只包含少量键 ...
- Redis 的底层数据结构(压缩列表)
上一篇我们介绍了 redis 中的整数集合这种数据结构的实现,也谈到了,引入这种数据结构的一个很大的原因就是,在某些仅有少量整数元素的集合场景,通过整数集合既可以达到字典的效率,也能使用远少于字典的内 ...
- 快速整透Redis中的压缩列表到底是个啥
压缩列表简介 压缩列表(ziplist)是由一个连续内存组成的顺序型数据结构.一个压缩列表可以包含任意多个节点,每个节点上可以保存一个字节数组或整数值.它是Redis为了节省内存空间而开发的. 压缩列 ...
随机推荐
- POI教程
很多时候,一个软件应用程序需要生成Microsoft Excel文件格式的报告.有时,一个应用程序甚至希望将Excel文件作为输入数据.例如,一个公司开发的应用程序将财务部门需要所有输出生成自己的Ex ...
- 转 Jmeter如何把响应数据的结果保存到本地的一个文件
当做性能压测时,可能会需要把响应数据的一些字段统计出来.这里简单介绍一下. 1.首先把接口调通,确定需要统计的字段,这里以统计ccmpSeq字段来做例子. 2.添加正则表达式提取器,用来提取响应结果中 ...
- mysql中tinyint(1)与tinyint(2)的区别
tinyint 型的字段如果设置为UNSIGNED类型,只能存储从0到255的整数,不能用来储存负数.tinyint 型的字段如果不设置UNSIGNED类型,存储-128到127的整数. 1个tiny ...
- Python 如何debug
一.常见错误: 1.漏了末尾的冒号,如 if语句,循环语句,定义函数 2.缩进错误,该缩进的时候没有缩进 3.把英文符号写成中文符号,如: ' ' () , 4.字符串拼接,把字符串和数字拼接一起 ...
- 装Windows和Linux双系统
Windows 7 + Linux mint 装来玩玩呗,好歹算是IT男 我电脑本来就是Windows 7 然后用软碟通做个Linux的启动盘 注意“便捷启动”要选syslinux 然后从U盘启动会进 ...
- pytest-参数化2
import pytesttest_user_data=['linda','sai','tom']@pytest.fixture(scope='module')def login(request): ...
- typescript 类型映射 (ReadOnly、Partial)
有时候需要一个类型,是依赖于上一个类型但是,对属性的要求去不同 interface Person{ name: string; agent: number; } type Person2 = Read ...
- 【记录】Nginx错误could not build the server_names_hash you should increase server_names_hash_bucket_size: 32
今天遇到这个错误,现记录下解决方案: 在nginx的配置文件的http段中增加如下配置: server_names_hash_bucket_size 64; 下面是nginx官方文档解释: 如果定义了 ...
- 解决vcenter 6.0 vcsa安装插件第二个的时候报错的问题
解决vcenter 6.0 vcsa安装插件第二个的时候报错的问题 需要打一下windows 的Microsoft v C++ 2013的2个补丁就可以正常运行了. 然后在后续安装过程中,到达最后一步 ...
- Linux系统关闭对ping命令做响应。
1.测试 ping 192.168.10.5 可以正常ping通, 2,修改 /proc/sys/net/ipv4/icmp_echo_ignore_all 文件的值=1 3.在测试 已经ping不 ...