Redis实现之整数集合
整数集合
整数集合(insert)是集合键的底层实现之一,当一个集合只包含整数值元素,并且这个集合的元素数量不多时,Redis就会使用整数集合作为集合键的底层实现。举个栗子,如果我们创建一个只包含五个元素的集合键,并且集合中的所有元素都是整数值,那么这个集合键的底层实现就会是整数集合:
127.0.0.1:6379> SADD numbers 1 3 5 7 9
(integer) 5
127.0.0.1:6379> SMEMBERS numbers
1) "1"
2) "3"
3) "5"
4) "7"
5) "9"
127.0.0.1:6379> OBJECT ENCODING numbers
"intset"
整数集合的实现
整数集合(insert)是Redis用于保存整数值的集合抽象数据结构,它可以保存类型为int16_t、int32_t或者int64_t的整数值,并且保证集合中不会出现重复元素。
intset.h
typedef struct intset {
//编码方式
uint32_t encoding;
//集合包含的元素数量
uint32_t length;
//保存元素的数组
int8_t contents[];
} intset;
contents数组是整数集合的底层实现:整数集合的每个元素都是contents数组中的一个数组项,各个项在数组中按值的大小从小到大有序地排列,并且数组中不包含任何重复项。length属性记录了整数集合包含的元素数量,也即是contents数组的长度。虽然intset结构将contents属性声明为int8_t类型的数组,但实际上contents数组并不保存任何int8_t类型的值,contents数组的真正类型取决于encoding属性的值:
- 如果encoding属性的值为为INTSET_ENC_INT16,那么contents就是一个int16_t类型的数组了,数组里的每个项都是一个int16_t类型的整数值(最小值为-32 768,最大值为32 767)
- 如果encoding属性的值为INTSET_ENC_INT32,那么contents就是一个int32_t类型的数组了,数组里的每个项都是一个int32_t类型的整数值(最小值为-2 147 483 648,最大值为2 147 483 647)
- 如果encoding属性的值为INTSET_ENC_INT64,那么contents就是一个int64_t类型的数组了,数组里的每个项都是一个int64_t类型的整数值(最小值为-9 223 372 036 854 775 808,最大值为9 223 372 036 854 775 807)。
图1-1展示了一个整数集合示例:
图1-1 一个包含五个int6_t类型整数值的整数集合
- 如果encoding属性的值为为INTSET_ENC_INT16,表示整数集合的底层实现为int16_t类型的数组,而集合保存的都是int16_t类型的整数值
- length属性为5,表示整数集合包含5个元素
- contents数组按从小到大的顺序保存着集合中的五个元素
- 因为每个集合元素都是int16_t类型的整数值,所以contents数组的大小等于sizeof(int16_t)*5=16*5=80位
图1-2展示了另一个整数集合示例:
图1-2 一个包含四个int16_t类型整数值的整数集合
- encoding属性的值为INTSET_ENC_INT64,表示整数集合的底层实现为int64_t类型的数组,而数组中保存的都是int64_t类型的整数值
- length属性的值为4,表示整数集合包含四个元素
- contents数组按从小到大的顺序保存着集合中的四个元素
- 因为每个集合元素都是int64_t类型的整数值,所以contents数组的大小为sizeof(int64_t)*4=64*4=256位
虽然contents数组保存的四个整数值中,只有-2 675 256 175 807 981 027是真正需要用int64_t类型来保存的,而其他的1、3、5三个值都可以用int16_t类型来保存,不过根据整数集合的升级规则,当向一个底层为int16_t数组的整数集合添加一个int64_t类型的整数值时,整数集合已有的所有元素都会被转换成int64_t类型,所以contents数组保存的四个整数值都是int64_t类型的,不仅仅是 -2 675 256 175 807 981 027
升级
每当我们要将一个新元素添加到整数集合里面,并且新元素的类型比整数集合现有所有元素的类型要长时,整数集合需要先进行升级(upgrade),然后才能将新元素添加到整数集合里面。升级整数集合并添加新元素共分为三步进行:
- 根据新元素的类型,扩展整数集合底层数组对的空间大小,并为新元素分配空间
- 将底层数组现有的所有元素都转换成与新元素相同的类型,并将类型转换后的元素放到正确的位置上,而且在放置元素的过程中,需要继续维持底层数组的有序性质不变
- 将新元素添加到底层数组里面
举个栗子,假设现在有一个INTSET_ENC_INT16编码的整数集合,集合中包含三个int16_t类型的元素,如图1-3所示
图1-3 一个包含三个int16_t类型的元素的整数集合
因为每个元素都占用16位空间,所以整数集合底层数组的大小为3*16=48位,图1-4展示了整数集合的三个元素在这48位里的位置
现在,假设我们要将类型为int32_t的整数值65 535添加到整数集合里面,因为65 535的类型int32_t比整数集合当前所有元素要长,所以在将65 535添加到整数集合之前,程序需要先对整数集合进行升级。升级首先要做的是,根据新类型的长度,以及集合元素的数量(包括要添加的新元素在内),对底层数组进行空间重分配
整数集合目前有三个元素,再加上新元素65 535,整数集合需要分配四个元素的空间,因为每个int32_t整数值需要占用32位空间,所以在空间重分配之后,底层数组的大小将是32*4=128位,如图1-5所示。虽然程序对底层数组进行了空间重分配,但数组原有的三个元素1、2、3仍然是int16_t类型,这些元素还保存在数组的前48位里面,所以程序接下来要做的就是将这三个元素转换成int32_t类型,并将转换后的元素放置到正确的位上面,而且在放置元素的过程中,需要维持底层数组的有序性质不变
图1-5 进行空间重分配之后的数组
首先,因为元素3在1、2、3、65535四个元素中排名第三,所以它将被移动到contents数组的索引2位置上,也即是数组64位至95位的空间内,如图1-6所示
图1-6 对元素3进行类型转换,并保存在适当的位置上
接着,因为元素2在1、2、3、65535四个元素中排名第二,所以它将被移动到contents元素的索引1的位置上,也即是数组的32位至63位的空间内,如图1-7
图1-7 对元素2进行类型转换,并保存在适当的位上
之后,因为元素1在1、2、3、65536四个元素中排名第一,所以它将被移动到contents数组的索引0位置上,即数组的0位至31位空间内,如图1-8所示
图1-8 对元素1进行类型转换,并保存在适当的位置上
然后,因为元素65535在1、2、3、65535四个元素中排名第四,所以它将被添加到contents数组的索引3位置上,也即时数组的96位至127位的空间内,如图1-9所示
如图1-9 添加65535到数组
最后,程序将整数集合encoding属性的值从INTSET_ENC_INT16改为INTSET_ENC_INT32,并将length属性的值从3改为4,设置完成之后的整数集合如图1-10所示
图1-10 完成添加操作之后的整数集合
因为每次向整数集合添加新元素都可能会引起升级,而每次升级都需要对底层数组中已有的元素进行类型转换,所以向整数集合添加新元素的时间复杂度为O(N)。其他类型的升级操作,比如从INTSET_ENC_INT16编码升级为INTSET_ENC_INT64编码,或从INTSET_ENC_INT32编码升级为INTSET_ENC_INT64编码,升级的过程都和上面展示的升级过程类似
升级的好处
整数集合的升级策略有两个好处,一个是提升整数集合的灵活性,另一个是尽可能地节约内存
提升灵活性
因为C语言是静态类型语言,为了避免类型错误,我们通常不会将两种不同类型的值放在同一数据结构里面。例如,我们一般只用int16_t类型的数组来保存int16_t类型的值,只使用int32_t类型的数组来保存int32_t类型的值,诸如此类。但是,因为整数集合可以通过自动升级底层数组来适应新元素,所以我们可以随意地将int16_t、int32_t或int64_t类型的整数添加到集合中,而不必担心出现类型错误
节约内存
要让一个数组可以同时保存int16_t、int32_t、int64_t三种类型的值,最简单的做法就是直接使用int64_t类型的数组作为整数集合的底层实现。不过这样一来,部分可以用int16_t、int32_t来存储的值因使用int64_t类型来存储,会造成内存的浪费。而整数集合现在的做法既可以让集合能同时保存三种不同类型的值,又可以确保升级操作只会在有需要的时候进行,这可以尽量节省内存
降级
整数集合不支持降级操作,一旦对数组进行了升级,编码就会一直保持升级后的状态。举个栗子,对于图1-11所示的整数集合来说,即使我们将集合里唯一一个真正需要使用int64_t类型来保存的元素4 294 967 295删除了,整数集合的编码仍然会维持使用int64_t,底层数组也仍然会使int64_t类型,如图1-12所示
图1-11 数组编码为INTSET_ENC_INT64的整数集合
图1-12 删除4 294 967 295的整数集合
整数集合API
表1-1列出了整数集合的操作API
函数 | 作用 | 时间复杂度 |
intsetNew(void) | 创建一个新的整数集合 | O(1) |
intsetAdd(intset *is, int64_t value, uint8_t *success) | 将给定元素添加到整数集合里面 | O(N) |
intsetRemove(intset *is, int64_t value, int *success) | 从整数集合中移除给定元素 | O(N) |
intsetFind(intset *is, int64_t value) | 检查给定值是否存在于集合 | 因为底层数组有序,查找可以通过二分查找法来进行,所以复杂度为O(logN) |
intsetRandom(intset *is) | 从整数集合中随机返回一个元素 | O(1) |
intsetGet(intset *is, uint32_t pos, int64_t *value) | 取出底层数组在给定索引上的元素 | O(1) |
intsetLen(intset *is) | 返回整数集合包含的元素个数 | O(1) |
intsetBlobLen(intset *is) | 返回整数集合占用的内存字节数 | O(1) |
Redis实现之整数集合的更多相关文章
- Redis数据结构之整数集合-intset
当一个集合只包含整数值元素,并且这个集合的元素数量不多时,Redis会使用整数集合(intset)来存储集合元素. intset是紧凑的数组结构,同时支持16位.32位和64位整数. 结构 struc ...
- 快速整明白Redis中的整数集合到底是个啥
整数集合简介 整数集合(intset)是Redis集合数据类型的内部编码之一,当集合数据类型中的元素都是整数并且元素数量较少的时候,Redis就使用整数集合作为内部编码. 整数集合(intset)中可 ...
- redis 底层数据结构 整数集合intset
整数集合是集合键的底层实现之一,当一个集合只包含整数值元素,并且这个集合的元素数量不多时Redis就会使用整数集合作为集合键的底层实现 整数集合是Redis用于保存整数值的集合抽象数据结构,它可以保存 ...
- Redis数据结构之整数集合
整数集合是Redis用于保存整数值的集合抽象数据结构,它可以保存类型为int16_t .int32_t或者int64_t的整数值,并且保证集合中不会出现重复元素. 一.整数集合数据结构定义 参数说明: ...
- redis底层数据结构--简单动态字符串 链表 字典 跳跃表 整数集合 压缩列表
1.动态字符串 redis中使用c语言的字符床存储字面量,默认字符串存储采用自己构建的简单动态字符串SDS(symple dynamic string) redis包含字符串的键值对都是用SDS实现的 ...
- redis源码学习_整数集合
redis里面的整数集合保存的都是整数,有int_16.int_32和int_64这3种类型,和C++中的set容器差不多. 同时具备如下特点: 1.set里面的数不重复,均为唯一. 2.set里面的 ...
- Redis 学习笔记(篇四):整数集合和压缩列表
整数集合 Redis 中当一个集合(set)中只包含整数,并且元素不多时,底层使用整数集合实现,否则使用字典实现. 那么: 为什么会出现整数集合呢?都使用字典存储不行吗? 整数集合在 Redis 中的 ...
- Redis 的底层数据结构(整数集合)
当一个集合中只包含整数,并且元素的个数不是很多的话,redis 会用整数集合作为底层存储,它的一个优点就是可以节省很多内存,虽然字典结构的效率很高,但是它的实现结构相对复杂并且会分配较多的内存空间. ...
- Redis学习之intset整数集合源码分析
1.整数集合:整数的集合,升序排序,无重复元素 2.整数集合intset是集合键的底层实现之一,当一个集合只包含整数值的元素,并且这个集合的元素数量不多时,redis会使用整数集合作为集合键的底层实现 ...
随机推荐
- 根据要求完成表单以及使用servlet处理表单 任务要求 掌握Servlet输出表单和接收表单数据(多值组件的读取)。
Servlet代码: package com.test; import java.io.IOException; import java.io.PrintWriter; import java.uti ...
- CAS登录认证的简单介绍
参考博客: https://www.jianshu.com/p/8daeb20abb84 下面是CAS最基本的协议过程: 下面是CAS Web工作流程图: 名词解释 Ticket Grangting ...
- amap -bq 192.168.5.9 80 3306
amap -bq 192.168.5.9 80 3306 查看运行在指定端口上运行的服务
- Java static修饰符小记
首先我们明确一点:java是一个纯面向对象的编程语言,它的每一个文件都视为一个类,当我们创建一个对象的时候,就是在调用一个文件,那么这个时候,这个文件(类)里的一些东西,它是需要通过对象来使用或访问, ...
- Mvc重写JsonResult
用了mvc有一段时间了,慢慢的熟悉起来了,也渐渐的发现了mvc的一些缺点,比如当我们返回 Json(new{})的时候没办法做到将首字母转换成小写.日期再序列化过后是时间戳需要到前台重新处理或者提在在 ...
- linux 命令——8 cp (转)
cp 命令用来复制文件或者目录,是Linux系统中最常用的命令之一.一般情况下,shell会设置一个别名,在命令行下复制文件时,如果目标文件已经存在, 就会询问是否覆盖,不管你是否使用-i参数.但是如 ...
- Atom打造轻量化C/C++ IDE
写在前面 近期沉迷Atom的颜值无法自拔,在github的光环下,Atom凭借自身良好的素质,获得了大量开发者的青睐.随之而来的就是丰富的插件库,在插件帮助下,它对各种编程语言都有相当好的支持.对与一 ...
- Opentsdb简介
1.OpenTSDB介绍 1.1.OpenTSDB是什么?主要用途是什么? 官方文档这样描述:OpenTSDB is a distributed, scalable Time Series Datab ...
- ThreadLocal为什么要用WeakReference
先上一张图看一下ThreadLocal的内部结构,每个Thread对象内部都维护了一个ThreadLocal.ThreadLocalMap 我们在上图看到的就是三个Thread对象内部格子的Threa ...
- python模块;opencv安装
http://www.lfd.uci.edu/~gohlke/pythonlibs/ 1. 步骤1. 下载Python2.73, 安装, 并配置Python环境变量:".\Program F ...