Redis开发与运维:SDS与embstr、raw 深入理解
对于上一篇文章,我又自己总结归纳并补充了一下,有了第二篇。
概览
<<左移
开始之前,我们先准备点东西:位运算
i<<n 总结为 i*2^n
所以
1<<5 = 2^5
1<<8 = 2^8
1<<16 = 2^16
1<<32 = 2^32
1<<64 = 2^64
SDS 5种数据类型
Redis 3.2 以后SDS数据类型有5个
#define SDS_TYPE_5 0
#define SDS_TYPE_8 1
#define SDS_TYPE_16 2
#define SDS_TYPE_32 3
#define SDS_TYPE_64 4
结合上面的位运算,我们也能理解这5个数据类型的命名规则。
外部类型String 找 SDS结构
我们现在有定义了5种SDS数据类型,那么如何根据字符串长度找这些类型呢?
或者说输入的字符串长度和类型有什么关系?下面我们来看一看他们之间的关系。
再来看看源码:
static inline char sdsReqType(size_t string_size) {
if (string_size < 1<<5)
return SDS_TYPE_5;
if (string_size < 1<<8)
return SDS_TYPE_8;
if (string_size < 1<<16)
return SDS_TYPE_16;
#if (LONG_MAX == LLONG_MAX)
if (string_size < 1ll<<32)
return SDS_TYPE_32;
return SDS_TYPE_64;
#else
return SDS_TYPE_32;
#endif
}
根据位运算左移公式,我可以得知 1<<8 = 2^8 = 256
那么这里的 256是指什么?这里的256就是字节
也就是说:
SDS_TYPE_5 -- 32 Byte
SDS_TYPE_8 -- 256 Byte
SDS_TYPE_16 -- 64KB
SDS_TYPE_32 -- ...
SDS_TYPE_64 -- ...
现在数据类型找到了,我们再来看看比较典型的几种操作。
追加字符串
从使用角度讲,追加一般用的频率很少。所以有多大分配多大。
所以这里追加的话,有两种大情况:还有剩余 或 不够用
主要讲一下不够用就要重新申请内存,那么我们如何去申请内存呢?
这里提供了两种分配策略:
<1M ,新空间 = 2倍扩容;
>1M , 新空间 = 累加1M
空间有了,那么我们需要根据最新的空间长度占用,再找到对应的新的SDS数据类型。
看一下源码,增加一下印象:
/* 追加字符串*/
sds sdscatlen(sds s, const void *t, size_t len) {
// 当前字符串长度
size_t curlen = sdslen(s);
// 按需调整空间(原来字符串,要追加的长度)
s = sdsMakeRoomFor(s,len);
// 内存不足
if (s == NULL) return NULL;
// 追加目标字符串到字节数组中
memcpy(s+curlen, t, len);
// 设置追加后的长度
sdssetlen(s, curlen+len);
// 追加结束符
s[curlen+len] = '\0';
return s;
}
/*空间调整,注意只是调整空间,后续自己组装字符串*/
sds sdsMakeRoomFor(sds s, size_t addlen) {
void *sh, *newsh;
// 当前剩下的空间
size_t avail = sdsavail(s);
size_t len, newlen;
char type, oldtype = s[-1] & SDS_TYPE_MASK;
int hdrlen;
/* 空间足够 */
if (avail >= addlen) return s;
// 长度
len = sdslen(s);
// 真正的数据体
sh = (char*)s-sdsHdrSize(oldtype);
// 新长度
newlen = (len+addlen);
// < 1M 2倍扩容
if (newlen < SDS_MAX_PREALLOC)
newlen *= 2;
// > 1M 扩容1M
else
newlen += SDS_MAX_PREALLOC;
// 获取sds 结构类型
type = sdsReqType(newlen);
// type5 默认转成 type8
if (type == SDS_TYPE_5) type = SDS_TYPE_8;
// 头长度
hdrlen = sdsHdrSize(type);
if (oldtype==type) { // 长度够用 并且 数据结构不变
newsh = s_realloc(sh, hdrlen+newlen+1);
if (newsh == NULL) return NULL;
s = (char*)newsh+hdrlen;
} else {
// 重新申请内存
newsh = s_malloc(hdrlen+newlen+1);
if (newsh == NULL) return NULL;
memcpy((char*)newsh+hdrlen, s, len+1);
s_free(sh);
s = (char*)newsh+hdrlen;
s[-1] = type;
sdssetlen(s, len);
}
sdssetalloc(s, newlen);
return s;
}
SDS 和 内部类型
外部字符串类型,找到了SDS结构,现在到了SDS转内部结构
对于字符串类型为什么会分 embstr 和 raw呢?
我们先说一下内存分配器:jemalloc、tcmalloc
这来能为仁兄呢分配内存的大小都是 2/4/8/16/32/64 字节
对于redis 来讲如何利用并适配好内存分配器依然需要好好计算一下。
Redis 给我们实现了很多内部数据结构,这些内部数据结构得有自己的字描述文件-内部结构头对象
不同对象有不同的type,同一个对象有不同的存储形式,还有lru缓存淘汰机制信息,引用计数器,指向数据体的指针。
typedef struct redisObject {
unsigned type:4;
unsigned encoding:4;
unsigned lru:LRU_BITS;
int refcount;
void *ptr;
} robj;
所以SDS和 内部类型的关系类似于这样的:
连续内存,和非连续内存
44 字节
SDS为什么会是这样的两种内部结构呢?
回忆一下上面提到的:SDS结构,最小的应该是 SDS_TYPE_8(SDS_TYPE_5默认转成8)
struc SDS{
int8 capacity; // 1字节
int8 len; // 1字节
int8 flags; // 1字节
byte[] content; // 内容
}
所以从上代码看出,一个最小的SDS,至少占用3字节.
还有内部结构头:RedisObject
typedef struct redisObject {
unsigned type:4; // 4bit
unsigned encoding:4; // 4bit
unsigned lru:LRU_BITS; // 24bit
int refcount; // 4字节
void *ptr; // 8字节
} robj;
16字节 = 32bit(4字节) + 4字节 + 8字节
所以一个内部类型头指针大小为:16字节
再加上最小SDS的3字节,一共 19字节。也就是说一个最小的字符串所占用的内存空间是19字节
还记得上面我们提到过的内存分配器么?(2/4/8/16/32/64 字节)
对,如果要给这个最小19字节分配内存,至少要分配一个32字节的内存。当然如果字符串长一点,再往下就可以分配到64字节的内存。
以上这种形式被叫做:embstr,这种形式使得 RedisObject和SDS 内存地址是连续的。
那么一旦大于64字节,形式就变成了raw,这种形式使得内存不连续,因为SDS已经变大,取得大的连续内存得不偿失。
再回来讨论一下 embstr, 最大64字节内存分配下来,我们实际可以真正存储字符串的长度是多少呢?--44字节
64字节,减去RedisObject头信息19字节,再减去3字节SDS头信息,剩下45字节,再去除\0结尾。这样最后可以存储44字节。
所以 embstr 形式,可以存储最大字符串长度是44字节。
关于字符串最大是512M
Strings
Strings are the most basic kind of Redis value. Redis Strings are binary safe,
this means that a Redis string can contain any kind of data,
for instance a JPEG image or a serialized Ruby object.
A String value can be at max 512 Megabytes in length.
出个题(redis 5.0.5版本)
SET q sc
encoding:embstr,长度为3
现在做追加操作,APPEND q scadd ,encoding:raw,长度8
为什么从 sc ----> scscadd 简单的追加操作内部类型会从 embstr -----> raw ,如何解释?
喜欢的欢迎加公众号或者留言评论探讨
Redis开发与运维:SDS与embstr、raw 深入理解的更多相关文章
- Redis开发与运维:SDS
STRING 我们会经常打交道的string类型,在redis中拥有广泛的使用.也是开启redis数据类型的基础. 在我最最开始接触的redis的时候,总是以为字符串类型就是值的类型是字符串. 比如: ...
- Redis开发与运维学习笔记
<Redis开发与运维>读书笔记 一.初始Redis 1.Redis特性与优点 速度快.redis所有数据都存放于内存:是用C语言实现,更加贴近硬件:使用了单线程架构,避免了多线程竞争 ...
- Redis 开发与运维
Getting Start 高性能 性能优势的体现 C语言实现的内存管理 epoll的I/O多路复用技术+IO连接/关闭/读写通过事件实现异步的非阻塞IO TCP协议 单线程架构,不会因为高并发对服务 ...
- Redis实战(七)Redis开发与运维
Redis用途 1.缓存 Redis提供了键值过期时间设置, 并且也提供了灵活控制最大内存和内存溢出后的淘汰策略. 可以这么说, 一个合理的缓存设计能够为一个网站的稳定保驾护航. 2.排行榜系统 Re ...
- 《Redis开发与运维》
第1章 初识Redis 1. Redis介绍: Redis是一种基于键值对(key-value)的NoSQL数据库. 与很多键值对数据库不同的是,Redis中的值可以是由string(字符串).has ...
- 《Redis开发与运维》快速笔记(一)
1.前言&基本介绍 在原始的系统架构中,我们都由程序直接连接DB,随着业务的进一步开展,DB的压力越来越大,为了缓解DB的这一压力,我们引入了缓存,在程序连接DB中加入缓存层, 从而减轻数据库 ...
- 《Redis开发与运维》读书笔记
一.初始Redis 1.Redis特性与优点 速度快.redis所有数据都存放于内存:是用C语言实现,更加贴近硬件:使用了单线程架构,避免了多线程竞争问题 基于键值对的数据结构,支持的数据结构丰富.它 ...
- redis 开发与运维 学习心得1
主要是命令相关 第一章 初识Redis 1.redis是基于键值对的NoSQL. 2.redis的值可以是 string, hash, list, set, zset, bitmaps, hyperl ...
- Redis开发与运维
常用命令 redis-server启动redis redis-server /opt/redis/redis.conf 配置启动 redis-server --port 6379 --dir / ...
随机推荐
- chrome安装json美化软件 JSONView
安装效果如下: 安装步骤: 1.下载地址: github地址:https://github.com/gildas-lormeau/JSONView-for-Chrome 2.解压文件 3.打开谷歌浏览 ...
- css条件Hack属性
<!--[if IE]> <!DOCTYPE html> <html> <head> <meta charset="utf-8" ...
- github实用的搜索小技巧
查资源,学习优秀的框架,搜索是一种能力! 作为程序猿开发中最大的同性交友网站,github当之无愧,里面有很多优秀的开源框架,各种技术大佬混迹其中,有他们总结的学习教程,造好的轮子(开发的各种工具,技 ...
- abp中将SqlServer切换为MySQL
一.移除默认SQL Server相关包 在EntityFrameworkCore项目下移除包Microsoft.EntityFrameworkCore.SqlServer.Microsoft.Enti ...
- 在Linux上安装 nessus
Nessus有三种安装方式 1.源文件安装 源文件安装是最复杂的安装方式,用此方式安装可以修改配置参数. 2.rpm安装 rpm安装比起源文件安装更简单一些,它已经把一些底层的东西写好了,用户只要按步 ...
- 使用uni-app开发微信小程序
uni-app 开发微信小程序 前言 9月份,开始开发微信小程序,也曾调研过wepy/mpvue,考虑到后期跨端的需求,最终选择使用了uni-app,本文主要介绍如何使用uni-app搭建小程序项目, ...
- 学习笔记47_关于Session局限性问题,Memcache
三大问题: 1.Session性能问题 2.不能稳定输出.考虑使用进程外Session 3.组成集群,登录数据进行共享 (比如说像百度,百度网盘,百度文库等是使用不同的服务机器的,怎样避免使用的时候不 ...
- egret Tiledmap编写障碍物的思路
egret Tiledmap编写障碍物的思路 获取控制对象下一刻移动的坐标,将其转换成瓦片坐标,如果getTileGIDAt(根据瓦片坐标获取瓦片id)的值不为0,说明对象将要移动的位置有障碍物,不做 ...
- vue 实现单选/多选效果
转:https://blog.csdn.net/Number7421/article/details/81002729 不过我以前都写过这三种方法了,很pang额,怕之后忘记了,偷个懒拿别人的,以免以 ...
- Linux下编写-makefile-详细教程(跟我一起写-Makefile-Markdown整理版)
目录 概述 关于程序的编译和链接 Makefile 介绍 Makefile的规则 一个演示例子 make是怎样工作的 makefile中使用变量 让make自己主动推导 另类风格的makefile 清 ...