Redis 设计与实现 6:五大数据类型之字符串
前文 Redis 设计与实现 2:Redis 对象 说到,五大数据类型都会封装成 RedisObject
。
typedef struct redisObject {
unsigned type:4; // 类型
unsigned encoding:4; // 编码
// ...
void *ptr; // 指向具体底层数据的指针
} robj;
不同数据类型的主要区别就是 type
和 encoding
属性的差异,同一种数据类型,有不同的编码。
一、编码类型
字符串的编码有raw
、embstr
、int
三种。
raw
用于长字符串。embstr
用于短字符串。int
用于整数类型。
定义在 server.h
中,这里只列出 string
类型的编码
#define OBJ_ENCODING_RAW 0
#define OBJ_ENCODING_INT 1
#define OBJ_ENCODING_EMBSTR 8
编码 1:raw
raw
编码主要用来保存长度超过 44 的字符串。其真实数据,由 sdshdr
结构来表示存储,外层还是由 redisObject 包装。
sdshdr
的结构在前文 Redis 设计与实现 3:字符串 SDS 中有讲到。
sdshdr
结构大致如下:
redisObject 中的 ptr
指针,就是指向 sds
。
编码 2:embstr
embstr
编码是专门用于保存短字符串的一种优化编码方式。当字符串的长度小于等于 44 的时候,将采用 embstr
编码。
创建字符串对象的代码如下(object.c
):
#define OBJ_ENCODING_EMBSTR_SIZE_LIMIT 44
robj *createStringObject(const char *ptr, size_t len) {
if (len <= OBJ_ENCODING_EMBSTR_SIZE_LIMIT)
return createEmbeddedStringObject(ptr,len);
else
return createRawStringObject(ptr,len);
}
embstr
有个显著的特点,就是 redisObject
跟 sds
的内存是挨在一起的。挨在一起的好处:
- 分配内存的时候,只需要分配一次。而
raw
编码的sds
跟redisObject
分离,就要分配两次内存。 - 同样,释放内存也只需要释放一次。
- 连续内存能更好利用内存带来的优势。
embstr 问题一:那么为什么 embstr 跟 raw 的界限是 44 呢?
embstr
的sds
使用了sdshdr8
,sdshdr8
头占用了 3 个字节:
struct __attribute__ ((__packed__)) sdshdr8 {
uint8_t len; /* 1 字节 */
uint8_t alloc; /* 1 字节 */
unsigned char flags; /* 1 字节 */
char buf[];
};
- 另外还有
redisObject
占用 16 个字节 (4 + 4 + 24 + 32 + 64 = 128
位):
typedef struct redisObject {
unsigned type:4;
unsigned encoding:4;
unsigned lru:LRU_BITS; // #define LRU_BITS 24
int refcount; // 32 位
void *ptr; // 64 位
} robj;
redisObject + sdshdr8
至少需要 3 + 16 = 19
字节。
redis 认为如果超过 64
字节就是大字符串,所以在 redisObject+ sdshdr8
的总长度是 64
字节的情况下,留给 buf
的长度就只剩下 45
字节,由于字符串结尾需要一个 \0
占用一个字节,所以留个字符串的长度就只有 44
字节了。
公式:64 - 3(sdshdr8 ) - 16(redisObject) - 1(\0) = 44
embstr 问题二:为什么网上有的博文说 embstr 跟 raw 的界限是 39
在 redis 3.2 版本之前,这个界限的确是 39,为什么后面改成 44 了呢?
那是因为 sdshdr
的结构在 3.2 版本的时候修改了。3.2 之前的 sdshdr
结构是:
struct sdshdr {
unsigned int len; // 4 字节
unsigned int free; // 4 字节
char buf[];
};
旧版本的 sdshdr
的头占用了 8 个字节,比新版本的多了 5 个字节,所以界限就是 44 - 5 = 39
啦!
编码 3:int
如果一个字符串对象保存的是整数值,并且这个整数值可以用 long
类型来表示,那么这个整数值将会保存在字符串对象结构的 ptr
属性里面(将 void*
转换成 long
),并将字符串对象的编码设置为 int
。
相对于用 raw
编码,int
编码既节省了指针占用的内存,也节省了sds
结构的内存。
redis> SET int_key 12345
OK
redis> OBJECT ENCODING int_key
"int"
下图为存着 12345
的 string
示例结构:
二、编码的转换
1. int 转 raw
- 当字符串传的不是整数的时候,int 就会转成 raw 编码。
- 如果执行了一些修改的命令,如
append
等(set
不算),都会转成raw
编码。因为这些操作只有字符串才支持。 - 一旦编码变为
raw
之后,将不会再转成embstr
127.0.0.1:6379> SET num 1
OK
127.0.0.1:6379> OBJECT ENCODING num
"int"
127.0.0.1:6379> APPEND num 2
(integer) 2
127.0.0.1:6379> OBJECT ENCODING num
"raw"
127.0.0.1:6379> SET num 12
OK
127.0.0.1:6379> OBJECT ENCODING num
"int"
2. embstr 转 raw
- 如果执行了一些修改的命令,如
append
等,都会转成raw
编码,不管修改后字符串的长度。因为没有给embstr
编码实现修改接口,所以实际上embsr
是只读的。 - 一旦编码变为
raw
之后,将不会再转成embstr
三、重点回顾
- 字符串对象有三种编码,
raw
、embstr
、int
raw
负责保存长字符串;embstr
负责保存短字符串;int
负责保存整数。int
和embstr
在修改的时候,会转成raw
编码,并且不再转回
本文的分析没有特殊说明都是基于 Redis 6.0 版本源码
redis 6.0 源码:https://github.com/redis/redis/tree/6.0
Redis 设计与实现 6:五大数据类型之字符串的更多相关文章
- redis学习(七)——五大数据类型总结:字符串、散列、列表、集合和有序集合
目录 字符串类型(String) 散列类型(Hash) 列表类型(List) 集合类型(Set) 有序集合类型(SortedSet) 其它命令 一.字符串类型(String) 1.介绍: 字符串类型是 ...
- Redis设计与实现读书笔记——简单动态字符串
前言 项目里用到了redis数据结构,不想只是简单的调用api,这里对我的读书笔记做一下记录.原文地址: http://www.redisbook.com/en/latest/internal-dat ...
- 前端总结·基础篇·JS(一)五大数据类型之字符串(String)
前端总结系列 前端总结·基础篇·CSS(一)布局 前端总结·基础篇·CSS(二)视觉 前端总结·基础篇·CSS(二)补充 前端总结·基础篇·JS(一)五大数据类型之字符串(String) 目录 这是& ...
- 【笔记】《Redis设计与实现》chapter2 简单动态字符串
------------恢复内容开始------------ 2.1 SDS的定义 struct sdshdr{ // 记录buf数组中已使用字节的数量 // 等于SDS所保存字符串的长度(不含'\0 ...
- Redis详解(五)------ redis的五大数据类型实现原理
前面两篇博客,第一篇介绍了五大数据类型的基本用法,第二篇介绍了Redis底层的六种数据结构.在Redis中,并没有直接使用这些数据结构来实现键值对数据库,而是基于这些数据结构创建了一个对象系统,这些对 ...
- Redis 详解 (五) redis的五大数据类型实现原理
目录 1.对象的类型与编码 ①.type属性 ②.encoding 属性和 *prt 指针 2.字符串对象 3.列表对象 4.哈希对象 5.集合对象 6.有序集合对象 7.五大数据类型的应用场景 8. ...
- redis五大数据类型以及常用操作命令
Redis的五大数据类型 String(字符串) string是redis最基本的类型,你可以理解成与Memcached一模一样的类型,一个key对应一个value.string类型是二进制安全的.意 ...
- redis 五大数据类型使用
redis 五大数据类型使用 字符串str 单个值 127.0.0.1:6379> set name pp # 设置键值[O(1)] OK 127.0.0.1:6379> setex na ...
- redis的五大数据类型实现原理
1.对象的类型与编码 Redis使用前面说的五大数据类型来表示键和值,每次在Redis数据库中创建一个键值对时,至少会创建两个对象,一个是键对象,一个是值对象,而Redis中的每个对象都是由 redi ...
随机推荐
- 如何测试一个APP
1.是否支持各种手机系统 2.是否会因为分辨率而出错 3.不同机型能否安装 4.老旧机型 能否通用 5.广告时长 6.测试能否登陆注册 7.卸载时是否会发生意外 8.安装时会不会误认为带病毒 9.用户 ...
- 解决:com.netflix.discovery.shared.transport.TransportException: Cannot execute request on any known server
com.netflix.discovery.shared.transport.TransportException: Cannot execute request on any known serve ...
- 【手把手学习flutter】Flutter打Android包的基本配置和包体积优化策略
[手把手学习flutter]Flutter打Android包的基本配置和包体积优化策略 关注「松宝写代码」,回复"加群" 加入我们一起学习,天天向上 前言 因为最近参加2020FE ...
- 区块链学习1:Merkle树(默克尔树)和Merkle根
☞ ░ 前往老猿Python博文目录 ░ 一.简介 默克尔树(Merkle tree,MT)又翻译为梅克尔树,是一种哈希二叉树,树的根就是Merkle根. 关于Merkle树老猿推荐大家阅读<M ...
- 转:http协议学习系列(响应头---Response Headers)
HTTP最常见的响应头如下所示: ·Allow:服务器支持哪些请求方法(如GET.POST等): ·Content-Encoding:文档的编码(Encode)方法.只有在解码之后才可以得到Conte ...
- PyQt(Python+Qt)学习随笔:QToolBox工具箱的currentItemName和tabSpacing属性
老猿Python博文目录 专栏:使用PyQt开发图形界面Python应用 老猿Python博客地址 在Designer中,toolBox的属性中有currentItemName和tabSpacing属 ...
- PyQt(Python+Qt)学习随笔:Qt Designer中图像资源的使用及资源文件的管理
一.概述 在Qt Designer中要使用图片资源有三种方法:通过图像文件指定.通过资源文件指定.通过theme主题方式指定,对应的设置界面在需要指定图像的属性栏如windowIcon中通过点击属性设 ...
- 孪生网络入门(下) Siamese Net分类服装MNIST数据集(pytorch)
主题列表:juejin, github, smartblue, cyanosis, channing-cyan, fancy, hydrogen, condensed-night-purple, gr ...
- tesseract-ocr 图片文字识别
本篇记录下python识别图片中的文字 所需的安装配置: 安装库: pip install pytesseract pip install PILLOW 安装 Tesseract-OCR软件: ...
- 痞子衡嵌入式:了解i.MXRT1060系列ROM中串行NOR Flash启动初始化流程优化点
大家好,我是痞子衡,是正经搞技术的痞子.今天痞子衡给大家分享的是i.MXRT1060系列ROM中串行NOR Flash启动初始化流程优化点. 前段时间痞子衡写了一篇 <深入i.MXRT1050系 ...