Redis 学习笔记(篇九):主从复制
Redis 中,可以通过执行 savleof 命令或者设置 slaveof 选项,让一个服务器去复制另一个服务器,我们称被复制的服务器为主服务器,而对主服务器进行复制的服务器则被称为从服务器。
Redis 2.8 之前复制功能的实现
Redis 中的复制分为同步和命令传播两个操作。
- 同步操作是将从服务器的数据库状态更新值主服务器当前所处的数据库状态。
- 命令传播操作则用于在主服务器的数据库状态被修改,导致主从服务器的数据库出现不一致时,让主从服务器的数据库重新回到一致状态。
同步
当客户端向从服务器发送 slaveof 命令,要求从服务器复制主服务器时,从服务器首先需要执行同步操作,也即是,将从服务器的数据库状态更新值主服务器当前所处的数据库状态。
从服务器对主服务器的同步操作是通过向主服务器发送 sync 命令来完成,执行步骤如下:
- 从服务器向主服务器发送 sync 命令。
- 收到 psync 命令的主服务器执行 bgsave 命令,在后台生成一个 RDB 文件,并用一个缓冲区记录从现在开始执行的所有写命令。
- 当主服务器 BGSAVE 命令执行完毕时,主服务器会将 BGSAVE 命令生成的 RDB 文件发送给从服务器,从服务器接收并载入这个 RDB 文件,将自己的数据库状态更新至主服务器执行 BGSAVE 命令时的数据库状态。
- 主服务器将记录在缓冲区里面的所有写命令发送给从服务器,从服务器执行这些写命令,将自己的数据库状态更新至主服务器数据库当前所处的状态。
sync 命令执行期间,主从服务器的通信过程如下图所示(出自《Redis设计与实现第二版》第十五章:复制):
命令传播
命令传播是指:在同步之后,主服务器会将自己执行的写命令,发送给从服务器执行,当从服务器执行了相同的写命令之后,主从服务器将再次回到一致状态。
Redis 2.8 之前复制功能的缺陷
在 Redis 中,从服务器对主服务器的复制分为两种情况:
- 初次复制:从服务器以前没有复制过主服务器。
- 断线后重新复制:从服务器因为网络原因中断了复制,但从服务器通过自动重连接重新连接上了主服务器,并继续复制主服务器。
对于初次复制来说,旧版复制功能能够很好的完成任务,但对于断线后重新复制来说,旧版复制功能虽然也能让主从服务器数据一致,但效率却非常低(需要加载主服务器的整个快照)。
Redis 2.8 之后复制功能的实现
为了解决旧版复制功能在处理断线重新复制情况下的低效问题,Redis 从 2.8 版本开始,使用 psync 命令代替了 sync 命令来执行复制时的同步操作。
psync 命令具有完整重同步和部分重同步两种模式。
- 完整重同步用于处理初次复制情况:完整步骤和 sync 命令的步骤基本一样。
- 部分重同步则用于处理断线后重新复制的情况:当从服务器重新连接主服务器时,如果条件允许,主服务器可以将从服务器连接断开期间执行的写命令发送给从服务器,从服务器只要接收并执行这些写命令,就可以将数据库数据更新至和主服务器一样。
部分重同步的执行过程如下图所示(出自《Redis设计与实现第二版》第十五章:复制):
部分重同步的实现
部分重同步功能包含三个部分:
- 主服务器的复制偏移量和从服务器的复制偏移量。
- 主服务器的复制积压缓冲区。
- 服务器的运行 ID。
复制偏移量
执行复制的双方——主服务器和从服务器会分别维护一个复制偏移量。
- 主服务器每次向从服务器传播 N 个字节时,就将自己的复制偏移量 + N。
- 从服务器每次收到主服务器传来的 N 个字节的数据时,就将自己的复制偏移量 + N。
对比主从服务器的复制偏移量可知:
- 如果主从服务器的复制偏移量相等,则说明主从服务器数据一致;
- 相反,如果主从服务器两者的偏移量不等,则说明主从服务器中的数据不一致。
复制积压缓冲区
复制积压缓冲区是由主服务器维护的一个固定长度的先进先出(FIFO)队列,默认大小为 1MB。
当主服务器进行命令传播时,不仅会将写命令发送给所有从服务器,还会将写命令入队到复制积压缓冲区里面。
因此,主服务器的复制积压缓冲区里面会保存着一部分最近传播的写命令,并且复制积压缓冲区会为队列中的每个字节记录相应的复制偏移量。
当从服务器重新连上主服务器时,从服务器会通过 PSYNC 命令将自己的复制偏移量, offset 发送给主服务器,主服务器会根据这个复制偏移量来决定对从服务器执行何种同步操作:
- 如果 offset 偏移量之后的数据(也即是偏移量 offset + 1 开始的数据)仍然存在于复制积压缓冲区里面,那么主服务器将对从服务器执行部分重同步操作。
- 相反,如果 offset 偏移量之后的数据已经不存在于复制积压缓冲区,那么主服务器将对从服务器执行完整重同步操作。
注意:需要调整复制积压缓冲区的大小为:2 * second * write_size_per_second
- 其中 second 为从服务器断线后重新连接上主服务器所需的平均时间。
- write_size_per_second 是主服务器平均每秒产生的写命令数据量。
服务器运行 ID
- 每个 Redis 服务器,不论主服务器还是从服务器都有自己的运行 ID。
- 运行 ID 在服务器启动时自动生成。
当从服务器对主服务器进行初次复制时,主服务器会将自己的运行 ID 传送给从服务器,而从服务器会将这个运行 ID 保存起来,
当从服务器断线并重新连上主服务器时,从服务器将向当前连接的主服务器发送之前保存的运行 ID:
- 如果从服务器保存的运行 ID 和当前连接的主服务器的运行 ID 相同,那么说明从服务器断线之前复制的就是当前连接的这个主服务器,主服务器可以继续尝试执行部分重同步操作。
- 如果从服务器保存的运行 ID 和当前连接的主服务器的运行 ID 不相同,那么说明从服务器断线之前复制的主服务器不是当前连接的这个主服务器,主服务器将对从服务器执行完整重同步操作。
心跳检测
在命令传播阶段,从服务器默认会以每秒一次的频率,向主服务器发送命令:
REAPCONF ACK <replication_offset>
其中 replication_offset 是代表从服务器当前的复制偏移量。
发送 REAPCONF ACK 命令对于主从服务器有三个作用:
- 检测主从服务器的网络连接状态。
- 辅助实现 min-slaves 选项。
- 检测命令丢失。
检测主从服务器的网络连接状态
主从服务器可以通过发送和接受 REAPCONF ACK 命令来检查两者之间的网络连接是否正常:如果主服务器超过一秒没有收到从服务器发来的 REAPCONF ACK 命令,那么主服务器就知道主从服务器的连接出现问题了。
辅助实现 min-slaves 选项
Redis 的 min-slaves-to-write 和 min-slaves-max-lag 另个选项可以防止主服务器在不安全的情况下执行写命令。
比如,如果我们向主服务器提供以下设置:
min-slaves-to-write 3
min-slaves-max-lag 10
那么在从服务器的数量少于3个或者3个从服务器的延迟(lag)值都大于或等于 10s 时,主服务器将拒绝执行写命令。
检测命令丢失
如果因为网络故障,主服务器传播给从服务器的写命令在半路丢失,那么当从服务器向主服务器发送 REAPCONF ACK 命令时,主服务器将发觉从服务器当前的复制偏移量少于自己的复制偏移量,然后主服务器就会根据从服务器提交的复制偏移量,在复制积压缓冲区里面找到从服务器缺少的数据,并将这些数据重新发送给从服务器。
Redis 学习笔记(篇九):主从复制的更多相关文章
- Redis学习笔记(九、Redis总结)
1.Redis五大对象: 在Redis中有五大对象,分别是String.List.Hash.Set.Sorted Set. 这五大对象都有自己独特的编码方式,每个编码的实现都不一样,有自己独特的使用场 ...
- Redis学习笔记(九) AOF持久化
除了RDB持久化功能之外,Redis还提供了AOF持久化功能.与RDB持久化通过保存数据库中的键值对来记录数据库状态不同,AOF持久化是通过保存Redis服务器所执行的写命令来记录数据库状态的. 服务 ...
- Redis学习笔记(九) 命令进阶:Pub/Sub(发布/订阅)操作
原文链接:http://doc.redisfans.com/pub_sub/index.html Redis的Pub/Sub模型可以应对工作中的一些简单应用,涉及到复杂应用还是推荐使用诸如Rabbit ...
- Redis学习笔记(九)——集群
一.概述 Redis Cluster与Redis3.0.0同时发布,以此结束了Redis无官方集群方案的时代. Redis Cluster是去中心化,去中间件,也就是说,集群中的每个节点都是平等的关 ...
- Redis学习笔记八:集群模式
作者:Grey 原文地址:Redis学习笔记八:集群模式 前面提到的Redis学习笔记七:主从复制和哨兵只能解决Redis的单点压力大和单点故障问题,接下来要讲的Redis Cluster模式,主要是 ...
- redis学习笔记(详细)——高级篇
redis学习笔记(详细)--初级篇 redis学习笔记(详细)--高级篇 redis配置文件介绍 linux环境下配置大于编程 redis 的配置文件位于 Redis 安装目录下,文件名为 redi ...
- redis 学习笔记(6)-cluster集群搭建
上次写redis的学习笔记还是2014年,一转眼已经快2年过去了,在段时间里,redis最大的变化之一就是cluster功能的正式发布,以前要搞redis集群,得借助一致性hash来自己搞shardi ...
- Redis学习笔记4-Redis配置详解
在Redis中直接启动redis-server服务时, 采用的是默认的配置文件.采用redis-server xxx.conf 这样的方式可以按照指定的配置文件来运行Redis服务.按照本Redi ...
- Redis学习笔记(2)——Redis的下载安装部署
一.下载Redis Redis的官网下载页上有各种各样的版本,如图 但是官网下载的Redis项目不正式支持Windows.如果需要再windows系统上部署,要去GitHub上下载.我下载的是Redi ...
- Redis学习笔记(1)——Redis简介
一.Redis是什么? Remote Dictionary Server(Redis) 是一个开源的使用ANSI C语言编写.遵守BSD协议.支持网络.可基于内存亦可持久化的日志型.Key-Value ...
随机推荐
- 写给后端同学的vue
安装环境 安装vue-cli 脚手架 1. 安装nodejs环境 下载地址: (nodejs)[https://nodejs.org/zh-cn/download/] 安装(略) 2. 安装vue-c ...
- Linux运维跳槽必备
Linux运维跳槽必备的40道面试精华题 1.什么是运维?什么是游戏运维?1)运维是指大型组织已经建立好的网络软硬件的维护,就是要保证业务的上线与运作的正常, 在他运转的过程中,对他进行维护,他集合了 ...
- FFT中的一个常见小问题(递推式)
FFT中的一个常见小问题这里不细说FFT的内容,详细内容看这些就足以了解大概了小学生都能看懂的FFT!!!FFT详解补充——FFT中的二进制翻转问题主要是对学习过程中一个容易困扰的小问题进行解释,以便 ...
- InstantiationException:mybatis.spring.transaction.SpringManagedTransactionFactory
问题表现 Error creating bean with name 'sqlSessionFactory' Invocation of init method failed; nested exce ...
- e校帮V1.1使用指南
2017年04月17日,e校帮正式版本V1.1.4正式上线了.大家可以在e校帮官网进行下载,http://exiaobang.top 或者在搜狗手机助手/搜狗输入法/酷安进行下载. e校帮简介: e校 ...
- app同包同签名不能安装问题
今天博主与团队之间出现一个很郁闷的问题: 那就是我们开发的一个app,在升级推送版本的时候突然出现,相同的包名.相同的签名.在安装的时候出现,安装签名不一致(安装失败)的提示. 让我们很是困扰.后来发 ...
- 浅谈单点登陆(SSO)
背景 在企业发展初期,企业使用的系统很少,通常一个或者两个,每个系统都有自己的登录模块,运营人员每天用自己的账号登录,很方便. 但随着企业的发展,用到的系统随之增多,运营人员在操作不同的系统时,需要多 ...
- Java创建线程的两个方法
Java提供了线程类Thread来创建多线程的程序.其实,创建线程与创建普通的类的对象的操作是一样的,而线程就是Thread类或其子类的实例对象.每个Thread对象描述了一个单独的线程.要产生一个线 ...
- CIDR的介绍
CIDR的介绍: CIDR(Classless Inter-Domain Routing,无类域间路由选择)它消除了传统的A类.B类和C类地址以及划分子网的概念,因而可以更加有效地分配IPv4的地址空 ...
- SpringBoot(18)---通过Lua脚本批量插入数据到Redis布隆过滤器
通过Lua脚本批量插入数据到布隆过滤器 有关布隆过滤器的原理之前写过一篇博客: 算法(3)---布隆过滤器原理 在实际开发过程中经常会做的一步操作,就是判断当前的key是否存在. 那这篇博客主要分为三 ...