复制 旧版Redis的复制功能分为同步(sync)和命令传播两个操作. sync:是一个非常耗费资源的操作                                           命令传播: 新版复制解决了旧版复制功能在处理断线重复制情况时的低效问题,使用PSYNC替代SYNC命令来执行复制的同步工作. PSYNC命令具有完整重同步和部分重同步,完整重同步与sync类似,部分重同步如下: 部分重同步的实现 复制偏移量: 复制积压缓冲区: 复制积压缓冲区是由主服务器维护的一个固定长度先…

本文转自互联网 本系列文章将整理到我在GitHub上的<Java面试指南>仓库,更多精彩内容请到我的仓库里查看 https://github.com/h2pl/Java-Tutorial 喜欢的话麻烦点下Star哈 文章首发于我的个人博客: www.how2playlife.com 本文是微信公众号[Java技术江湖]的<探索Redis设计与实现>其中一篇,本文部分内容来源于网络,为了把本文主题讲得清晰透彻,也整合了很多我认为不错的技术博客内容,引用其中了一些比较好的博客文章,如有…

1.复制 完整重同步,从服务器完全复制主服务器的数据,主要通过RDB文件和单条命令传输(套接字连接). 部分重同步,主服务器进行命令传播的时候,不仅会把写命令发送给从服务器,而且还会把写命令放入复制积压缓冲区中,当主从服务器连接断开又重新连接上的时候,从服务器向主服务器发送PSYNC命令(参数包括复制偏移量和服务器运行ID)请求同步,主服务器根据复制偏移量和服务器运行ID向从服务器回复(只有当服务器运行ID与主服务器相同,复制偏移量在复制积压缓冲区中能找到才进行部分重同步). 2.Sentine…

9.1 服务器中的数据库 Redis服务器将所有都保存在服务器状态redis.h/redisServer结构中 struct redisServer{ //... // 一个数组,保存着服务器中所有数据库 redisDb *db; //... } struct redisServer{ //... // 服务器的数据库数量 int dbnum; //... } 9.2 切换数据库 客户端状态redisClient结构的db属性记录了客户端当前的目标数据库 typedef struct redis…

1.复制,主从结构 redis 2.8以前的复制,由2个步骤 1.初始的同步 2.命令传播 存在问题:同步时出现主从 断线,需要重新发送同步sync信号,非常消耗性能 redis2.8以后新版复制 采用命令psync,有2种模式 完整重同步和部分重同步 部分重同步时通过,主从都维护一个复制偏移量.有复制缓冲区保持持续更新 2.哨兵 哨兵是个特殊模式下的redis服务器 哨兵会向主服务器发送info命令获得主服务器下所有的从服务器,并为之创建相应的实例结构 哨兵每10秒一次的频率向被监视的主服务器…

多机数据库的实现 一.复制 slaveof  主服务器ip地址.形成主从关系. 1.同步  从向主服务器发送sync命令.  主服务器收到sync命令执行bgsave,生成rdb文件,缓冲区同时记录从现在开始执行的所有命令.  主服务器执行完毕bgsave命令,会将rdb文件发送给从服务器,从服务器接收并载入这个rdb文件,同步给主服务器状态  主服务器发送缓冲区的命令给从服务器,从服务器执行当前命令,保持数据最终一致. 2.命令传播 第一步同步,类似于初始化. 后续还需要,主从服务器实时同步.…

复制 PSYNC命令具有完整重同步(full resynchronization)和部分重同步(partial resynchronization)两种模式: ·其中完整重同步用于处理初次复制情况:完整重同步的执行步骤和SYNC命令的执行步骤基本一样,它们都是通过让主服务器创建并发送RDB文件,以及向从服务器发送保存在缓冲区里面的写命令来进行同步. ·部分重同步则用于处理断线后重复制情况:当从服务器在断线后重新连接主服务器时,如果条件允许,主服务器可以将主从服务器连接断开期间执行的写命令发送给从…

目录 前言 1. Redis中的数据库 2. 数据库的键空间 3. 键的生成时间与过期时间 4. Redis中的过期键删除策略 5. AOF.RDB和复制功能对过期键的处理 5.1 生成 RDB 文件 5.2 载入 RDB 文件 5.3 AOF 文件写入 5.4 AOF 重写 5.5 复制 6. 数据库通知 最后 前言 参考资料:<Redis设计与实现 第二版>: 第二部分为单机数据库的实现,主要由以下模块组成:数据库.持久化.事件.客户端与服务器: 本篇将介绍 Redis 中的数据库: 1.…

数据库和事件 这是<Redis设计与实现>系列的文章,系列导航:Redis设计与实现笔记 数据库 数据库的结构定义在 redis.h/redisServer 这个结构体中,这个结构体有许多的字段用以记录 Redis 数据库的状态.学习数据库的过程中会慢慢地接触这里面的各种字段. struct redisServer { //... } 不同的数据库 在上述结构中, int dbnum 保存了数据库的数量,默认为16:redisDb *db 指向了服务器中所有的数据库(如下 1 处) 而客户端…

1. 服务器中数据库结构 Redis 服务器将所有数据库都保存在服务器状态 redisServer 结构的 db 数组中,由 redisDb 结构代表一个数据库 struct redisServer { // ... // 一个数组,保存着服务器中的所有数据库 redisDb *db; } Redis 服务器默认会创建16个数据库,默认情况下,Redis客户端的目标数据库是0号数据库. 2. 切换数据库 SELECT 命令用来切换数据库 redis> SELECT 2 OK redis[2]>…

数据库 服务器中的数据库 redisClient切换数据库 redis客户端默认目标数据库为0号数据库,可以通过SELECT命令来切换目标数据库. 客户端状态redisClient结构的db属性记录了客户端当前的目标数据库,这个属性是指向redisdb结构的指针. typedef struct redisClient{ //记录客户端当前正在使用的数据库 redisDb *db; } redisClient; 数据库键空间 Redis是一个键值对数据库服务器,服务器中的每个数据库都由一个redi…

本文的分析都是基于 Redis 6.0 版本源码 redis 6.0 源码:https://github.com/redis/redis/tree/6.0 服务器中的数据库 Redis 服务器将绝大部分的信息都保存在 server.h/redisServer.redis 的数据是保存在 redisServer 中的 redisDb 结构中. struct redisServer { // ... redisDb *db; // 数据库列表 // ... int dbnum; // 数据库数量 /…

<Redis设计与实现> 基本信息 作者: 黄健宏 丛书名: 数据库技术丛书 出版社:机械工业出版社 ISBN:9787111464747 上架时间:2014-6-3 出版日期:2014 年6月 开本:16开 页码:1 版次:1-1 所属分类:计算机 > 数据库 > 数据库理论 > 综合 更多关于>>> <Redis设计与实现>   内容简介 书籍 计算机书籍 <redis设计与实现>全面而完整地讲解了redis的内部机制与实现方式,…

本文转自互联网 本系列文章将整理到我在GitHub上的<Java面试指南>仓库,更多精彩内容请到我的仓库里查看 https://github.com/h2pl/Java-Tutorial 喜欢的话麻烦点下Star哈 文章首发于我的个人博客: www.how2playlife.com 本文是微信公众号[Java技术江湖]的<探索Redis设计与实现>其中一篇,本文部分内容来源于网络,为了把本文主题讲得清晰透彻,也整合了很多我认为不错的技术博客内容,引用其中了一些比较好的博客文章,如有…

笔者别的Redis方面的书没有读过,读完这一本,力荐,作者黄建宏,对Redis不太熟悉的,但是对编程稍微有些基础的,全部 读下来应该无压力.作者的编写和讲解非常详细,覆盖的面基本上都讲到,之前一直都是零零碎碎的阅读别人的帖子,总感觉都是 碎的,连接不起来,作者分了四部分来讲分别为数据结构与对象,单机数据库的实现,多机数据库的实现,独立功能的实现. 读完一遍,整体感觉软件设计并非我想象的那般正常人无法理解或者无法想到的,很多设计是正常逻辑"查漏补缺",类似Hash 结构的扩容,主从复制过…

学完MySQL InnoDB之后,又开始学习和研究Redis. 首先介绍下书:<Redis设计与实现>第二版 黄健宏著,机械工业出版社,388页,基于redis3.0版本.版本有点低,这个影响不大,基本面变化不大,而变化的部分网上查资料可以弥补. 一.概述 Redis服务器是一个键值对(key-value pair)类型数据库服务器,属于NoSQL.Redis源码使用ANSI C语言编写而成. 它最大的特点数据全部放缓存,主要用于读写操作频繁的,如秒杀系统.我联想的是我们监控系统中的秒级回放,…

Redis设计与实现 第一部分 数据结构与对象 第二章 简单动态字符串 p8 简单动态字符串SDS 2.1 SDS的定义 p9 每个sds.h/sdshdr结构表示一个SDS值 2.2 SDS与C字符串的区别 p10 常数复杂度获取字符串长度 p10 获取一个SDS长度的复杂度仅为O(1) p11 杜绝缓冲区溢出 p11 SDS修改操作 p12 减少修改字符串带来的内存重分配次数 p13 空间预分配 p14 惰性空间释放 p15 二进制安全 p16 SDS的二进制安全 p16 兼容部分C字符串函…

目录 前言 1. 旧版复制功能的实现 1.1 同步与命令传播 1.2 旧版复制功能的缺陷 2. 新版复制功能的实现 2.1 部分重同步的实现原理 3. PSYNC 命令的实现 4. 复制的详细步骤 4.1 设置主服务器的地址和端口 4.2 建立套接字连接 4.3 发送 PING 命令 4.4 身份验证 4.5 发送端口信息 4.6 同步 4.7 命令传播 5. 心跳检测 最后 前言 参考资料:<Redis设计与实现 第二版>: 第四部分为多机数据库的实现,主要由以下模块组成:复制.Sentin…

目录 前言 1. 启动并初始化 Sentinel 2. Sentinel 与服务器间的默认通信 2.1 获取主服务器信息 2.2 获取从服务器信息 2.3 向主服务器和从服务器发送信息 3. 接受来自主服务器和从服务器的频道信息 3.1 更新 Sentinel 字典 3.2 创建连向其他 Sentinel 的命令连接 4. 检测主观下线状态 5. 检查客观下线状态 5.1 发送 SENTINEL is-master-down-by-addr 命令 5.2 接受 SENTINEL is-maste…

简述Redis设计与实现 Redis是一个高性能的key-value的非关系型数据库,Redis是运行在内存中的一种数据库,但是它也可以持久化到磁盘中,Redis的实现有着更为复杂的数据结构并且提供对他们的原子性操作. Redis的优势 Redis支持数据的持久化,可以将内存中的数据保存在磁盘中,以便redis服务器重启的时候再次加载使用. Redis不仅仅支持简单的key-value类型数据的存储,同时还提供了其它的数据结构存储例如:list.set.zset.hash等. Redis支持三种…

数据持久化 这是<Redis设计与实现>系列的文章,系列导航:Redis设计与实现笔记 RDB持久化 RDB 持久化功能所生成的 RDB 文件是一个经过压缩的二进制文件,通过该文件可以还原生成 RDB 文件时的数据库状态. 基本使用 另外,由于AOF文件更新更频繁,所以: 优先使用AOF进行还原 只有AOF关闭时才会进行RDB备份 BGSAVE 虽然是非阻塞的,但是在进行时会拒绝掉 SAVE.BGSAVE命令,BGREWRITEAOF 会被推迟到执行完再执行. 而如果 BGREWRITEAOF…

Redis设计与实现(一~五整合版) by @飘过的小牛 一 前言 项目中用到了redis,但用到的都是最最基本的功能,比如简单的slave机制,数据结构只使用了字符串.但是一直听说redis是一个很牛的开源项目,很多公司都在用.于是我就比较奇怪,这玩意不就和 memcache 差不多吗?仅仅是因为memcache是内存级别的,没有持久化功能.而redis支持持久化?难道这就是它的必杀技? 带着这个疑问,我在网上搜了一圈.发现有个叫做huangz的程序员针对redis写了一本书叫做<redis设…

一.NOSQL概要 NoSQL(NoSQL = Not Only SQL ),意即“不仅仅是SQL”,泛指非关系型的数据库.NoSQL数据库的四大分类 键值(Key-Value)存储数据库 这一类数据库主要会使用到一个哈希表,这个表中有一个特定的键和一个指针指向特定的数据.Key/value模型对于IT系统来说的优势在于简单.易部署.但是如果DBA只对部分值进行查询或更新的时候,Key/value就显得效率低下了. 举例如:Tokyo Cabinet/Tyrant, Redis, Voldemo…

<Redis设计与实现>读书笔记 很喜欢这本书的创作过程,以开源的方式,托管到Git上进行创作: 作者通读了Redis源码,并分享了详细的带注释的源码,让学习Redis的朋友轻松不少: 阅读优秀的源码作品能快速的提升编码内功,而像Redis这样代码量不大(2万多行)却句句精致的作品,当然不能错过: 有兴趣的朋友当好好享用: 源码:https://github.com/huangz1990/annotated_redis_source 以下是这本书重点环节的读书笔记: Redis的内部字符串实现…

前言: 软件开发的过程中,将设计的表更新到数据库中是一件繁琐的事情,使用好工具,能够事半功倍. 环境介绍:Oracle 11g x64 前期准备: 1.PowerDesigner工具(本人是32位的) 2.Odbc驱动 3.创建好表空间,用户,以及赋予权限. 实际操作步骤: 第1步: 执行如下命令,创建表空间.表.用户.为用户赋值权限: CREATE SMALLFILE TABLESPACE TS(你自己的表空间)DATAFILE 'D:\app\用户(你自己的目录)\oradata\orcl\…

重读了一遍redis设计与实现,这次收获也不错,把之前还有些疑惑的点:redis跳跃表的原理.redis持久化的方法.redis复制.redis sentinel.redis集群等,都重新熟悉了一遍,多了一些理解,其实技术书就是这样,一定是需要读几遍才能彻底吃透的. 简单总结一下: 跳跃表:其实是空间换时间的做法,通过增加多余的节点提高查找的速度,同时保留了链表的插入.删除的高效率的特点. redis持久化分为两种:rdb.aof,以aof为先,rdb就是直接把数据库的内容dump一份到磁盘上的…

目录 redis设计关系数据库 前言 设计用户信息表结构 hash存储记录 set存储id 图示 索引/查询: 1.select 查询所有记录 : 类似sql的select from table_name 2.根据主键查询记录 3.其他列索引 c++ 实现 小结 redis设计关系数据库 前言 最近需要一张用户信息表,因为数据量并不大,想先放在内存中,等需求变更了,再移到磁盘上,或者往mysql塞,那么问题来了,怎么用redis的数据类型设计一个关系数据库呢. redis只有key-value这…

(六)Redis设计原理及相关问题   通过前面关于Redis五种数据类型.相关高级特性以及一些简单示例的使用,对Redis的使用和主要的用途应该有所掌握,但是还有一些原理性的问题我们在本部分做一个探讨.   本部分参考了一些其他博客,在文后的参考链接中注明,特此说明. 1.Redis与mysql的区别   Redis是一种Key-value型的存储数据库,我们自然有一个疑惑,我们早已会用类似于mysql这样的关系型数据库了,那么他们之间有什么区别,为什么还要用Redis.   (1)数据库类型…

多机数据库实现 十五 .复制 从服务器通过命令 slaveof 127.0.0.1 6000 成为主服务器的从服务器.然后执行复制操作,保持自己的状态和主服务器一样 1.理论 同步 成为从服务器后的同步操作: 从服务器会发送SYNC命令给主服务器, 主机会执行bgsave命令,并记录当前的偏移量. bgsave命令执行期间执行的写命令,都会记录到缓冲区 bgsave命令执行成功后,主机发送RDB文件给从机 从机加载RDB文件 主机发送缓冲区的命令给从机 从机执行缓冲区命令 命令传播 当主从机的状…

本文转自互联网 本系列文章将整理到我在GitHub上的<Java面试指南>仓库,更多精彩内容请到我的仓库里查看 https://github.com/h2pl/Java-Tutorial 喜欢的话麻烦点下Star哈 文章首发于我的个人博客: www.how2playlife.com 本文是微信公众号[Java技术江湖]的<探索Redis设计与实现>其中一篇,本文部分内容来源于网络,为了把本文主题讲得清晰透彻,也整合了很多我认为不错的技术博客内容,引用其中了一些比较好的博客文章,如有…