Redis 学习笔记(篇九):主从复制
Redis 中,可以通过执行 savleof 命令或者设置 slaveof 选项,让一个服务器去复制另一个服务器,我们称被复制的服务器为主服务器,而对主服务器进行复制的服务器则被称为从服务器。
Redis 2.8 之前复制功能的实现
Redis 中的复制分为同步和命令传播两个操作。
- 同步操作是将从服务器的数据库状态更新值主服务器当前所处的数据库状态。
- 命令传播操作则用于在主服务器的数据库状态被修改,导致主从服务器的数据库出现不一致时,让主从服务器的数据库重新回到一致状态。
同步
当客户端向从服务器发送 slaveof 命令,要求从服务器复制主服务器时,从服务器首先需要执行同步操作,也即是,将从服务器的数据库状态更新值主服务器当前所处的数据库状态。
从服务器对主服务器的同步操作是通过向主服务器发送 sync 命令来完成,执行步骤如下:
- 从服务器向主服务器发送 sync 命令。
- 收到 psync 命令的主服务器执行 bgsave 命令,在后台生成一个 RDB 文件,并用一个缓冲区记录从现在开始执行的所有写命令。
- 当主服务器 BGSAVE 命令执行完毕时,主服务器会将 BGSAVE 命令生成的 RDB 文件发送给从服务器,从服务器接收并载入这个 RDB 文件,将自己的数据库状态更新至主服务器执行 BGSAVE 命令时的数据库状态。
- 主服务器将记录在缓冲区里面的所有写命令发送给从服务器,从服务器执行这些写命令,将自己的数据库状态更新至主服务器数据库当前所处的状态。
sync 命令执行期间,主从服务器的通信过程如下图所示(出自《Redis设计与实现第二版》第十五章:复制):
命令传播
命令传播是指:在同步之后,主服务器会将自己执行的写命令,发送给从服务器执行,当从服务器执行了相同的写命令之后,主从服务器将再次回到一致状态。
Redis 2.8 之前复制功能的缺陷
在 Redis 中,从服务器对主服务器的复制分为两种情况:
- 初次复制:从服务器以前没有复制过主服务器。
- 断线后重新复制:从服务器因为网络原因中断了复制,但从服务器通过自动重连接重新连接上了主服务器,并继续复制主服务器。
对于初次复制来说,旧版复制功能能够很好的完成任务,但对于断线后重新复制来说,旧版复制功能虽然也能让主从服务器数据一致,但效率却非常低(需要加载主服务器的整个快照)。
Redis 2.8 之后复制功能的实现
为了解决旧版复制功能在处理断线重新复制情况下的低效问题,Redis 从 2.8 版本开始,使用 psync 命令代替了 sync 命令来执行复制时的同步操作。
psync 命令具有完整重同步和部分重同步两种模式。
- 完整重同步用于处理初次复制情况:完整步骤和 sync 命令的步骤基本一样。
- 部分重同步则用于处理断线后重新复制的情况:当从服务器重新连接主服务器时,如果条件允许,主服务器可以将从服务器连接断开期间执行的写命令发送给从服务器,从服务器只要接收并执行这些写命令,就可以将数据库数据更新至和主服务器一样。
部分重同步的执行过程如下图所示(出自《Redis设计与实现第二版》第十五章:复制):
部分重同步的实现
部分重同步功能包含三个部分:
- 主服务器的复制偏移量和从服务器的复制偏移量。
- 主服务器的复制积压缓冲区。
- 服务器的运行 ID。
复制偏移量
执行复制的双方——主服务器和从服务器会分别维护一个复制偏移量。
- 主服务器每次向从服务器传播 N 个字节时,就将自己的复制偏移量 + N。
- 从服务器每次收到主服务器传来的 N 个字节的数据时,就将自己的复制偏移量 + N。
对比主从服务器的复制偏移量可知:
- 如果主从服务器的复制偏移量相等,则说明主从服务器数据一致;
- 相反,如果主从服务器两者的偏移量不等,则说明主从服务器中的数据不一致。
复制积压缓冲区
复制积压缓冲区是由主服务器维护的一个固定长度的先进先出(FIFO)队列,默认大小为 1MB。
当主服务器进行命令传播时,不仅会将写命令发送给所有从服务器,还会将写命令入队到复制积压缓冲区里面。
因此,主服务器的复制积压缓冲区里面会保存着一部分最近传播的写命令,并且复制积压缓冲区会为队列中的每个字节记录相应的复制偏移量。
当从服务器重新连上主服务器时,从服务器会通过 PSYNC 命令将自己的复制偏移量, offset 发送给主服务器,主服务器会根据这个复制偏移量来决定对从服务器执行何种同步操作:
- 如果 offset 偏移量之后的数据(也即是偏移量 offset + 1 开始的数据)仍然存在于复制积压缓冲区里面,那么主服务器将对从服务器执行部分重同步操作。
- 相反,如果 offset 偏移量之后的数据已经不存在于复制积压缓冲区,那么主服务器将对从服务器执行完整重同步操作。
注意:需要调整复制积压缓冲区的大小为:2 * second * write_size_per_second
- 其中 second 为从服务器断线后重新连接上主服务器所需的平均时间。
- write_size_per_second 是主服务器平均每秒产生的写命令数据量。
服务器运行 ID
- 每个 Redis 服务器,不论主服务器还是从服务器都有自己的运行 ID。
- 运行 ID 在服务器启动时自动生成。
当从服务器对主服务器进行初次复制时,主服务器会将自己的运行 ID 传送给从服务器,而从服务器会将这个运行 ID 保存起来,
当从服务器断线并重新连上主服务器时,从服务器将向当前连接的主服务器发送之前保存的运行 ID:
- 如果从服务器保存的运行 ID 和当前连接的主服务器的运行 ID 相同,那么说明从服务器断线之前复制的就是当前连接的这个主服务器,主服务器可以继续尝试执行部分重同步操作。
- 如果从服务器保存的运行 ID 和当前连接的主服务器的运行 ID 不相同,那么说明从服务器断线之前复制的主服务器不是当前连接的这个主服务器,主服务器将对从服务器执行完整重同步操作。
心跳检测
在命令传播阶段,从服务器默认会以每秒一次的频率,向主服务器发送命令:
REAPCONF ACK <replication_offset>
其中 replication_offset 是代表从服务器当前的复制偏移量。
发送 REAPCONF ACK 命令对于主从服务器有三个作用:
- 检测主从服务器的网络连接状态。
- 辅助实现 min-slaves 选项。
- 检测命令丢失。
检测主从服务器的网络连接状态
主从服务器可以通过发送和接受 REAPCONF ACK 命令来检查两者之间的网络连接是否正常:如果主服务器超过一秒没有收到从服务器发来的 REAPCONF ACK 命令,那么主服务器就知道主从服务器的连接出现问题了。
辅助实现 min-slaves 选项
Redis 的 min-slaves-to-write 和 min-slaves-max-lag 另个选项可以防止主服务器在不安全的情况下执行写命令。
比如,如果我们向主服务器提供以下设置:
min-slaves-to-write 3
min-slaves-max-lag 10
那么在从服务器的数量少于3个或者3个从服务器的延迟(lag)值都大于或等于 10s 时,主服务器将拒绝执行写命令。
检测命令丢失
如果因为网络故障,主服务器传播给从服务器的写命令在半路丢失,那么当从服务器向主服务器发送 REAPCONF ACK 命令时,主服务器将发觉从服务器当前的复制偏移量少于自己的复制偏移量,然后主服务器就会根据从服务器提交的复制偏移量,在复制积压缓冲区里面找到从服务器缺少的数据,并将这些数据重新发送给从服务器。
Redis 学习笔记(篇九):主从复制的更多相关文章
- Redis学习笔记(九、Redis总结)
1.Redis五大对象: 在Redis中有五大对象,分别是String.List.Hash.Set.Sorted Set. 这五大对象都有自己独特的编码方式,每个编码的实现都不一样,有自己独特的使用场 ...
- Redis学习笔记(九) AOF持久化
除了RDB持久化功能之外,Redis还提供了AOF持久化功能.与RDB持久化通过保存数据库中的键值对来记录数据库状态不同,AOF持久化是通过保存Redis服务器所执行的写命令来记录数据库状态的. 服务 ...
- Redis学习笔记(九) 命令进阶:Pub/Sub(发布/订阅)操作
原文链接:http://doc.redisfans.com/pub_sub/index.html Redis的Pub/Sub模型可以应对工作中的一些简单应用,涉及到复杂应用还是推荐使用诸如Rabbit ...
- Redis学习笔记(九)——集群
一.概述 Redis Cluster与Redis3.0.0同时发布,以此结束了Redis无官方集群方案的时代. Redis Cluster是去中心化,去中间件,也就是说,集群中的每个节点都是平等的关 ...
- Redis学习笔记八:集群模式
作者:Grey 原文地址:Redis学习笔记八:集群模式 前面提到的Redis学习笔记七:主从复制和哨兵只能解决Redis的单点压力大和单点故障问题,接下来要讲的Redis Cluster模式,主要是 ...
- redis学习笔记(详细)——高级篇
redis学习笔记(详细)--初级篇 redis学习笔记(详细)--高级篇 redis配置文件介绍 linux环境下配置大于编程 redis 的配置文件位于 Redis 安装目录下,文件名为 redi ...
- redis 学习笔记(6)-cluster集群搭建
上次写redis的学习笔记还是2014年,一转眼已经快2年过去了,在段时间里,redis最大的变化之一就是cluster功能的正式发布,以前要搞redis集群,得借助一致性hash来自己搞shardi ...
- Redis学习笔记4-Redis配置详解
在Redis中直接启动redis-server服务时, 采用的是默认的配置文件.采用redis-server xxx.conf 这样的方式可以按照指定的配置文件来运行Redis服务.按照本Redi ...
- Redis学习笔记(2)——Redis的下载安装部署
一.下载Redis Redis的官网下载页上有各种各样的版本,如图 但是官网下载的Redis项目不正式支持Windows.如果需要再windows系统上部署,要去GitHub上下载.我下载的是Redi ...
- Redis学习笔记(1)——Redis简介
一.Redis是什么? Remote Dictionary Server(Redis) 是一个开源的使用ANSI C语言编写.遵守BSD协议.支持网络.可基于内存亦可持久化的日志型.Key-Value ...
随机推荐
- 【bfs】密码锁-C++
Description 现在一个紧急的任务是打开一个密码锁.密码由四位数字组成,每个数字从 1 到 9 进行编号.每次可以对任何数字加 1 或减 1.当将9加 1 时,数字将变为1,当1减 1 的时, ...
- P2822组合数问题
组合数问题(NOIP2016提高组Day2T1) Time Limit:1000MS Memory Limit:512000K [题目描述] 组合数表示的是从n个物品中选出m个物品的方案数.举个例子 ...
- C#2.0新增功能07 getter/setter 单独可访问性
连载目录 [已更新最新开发文章,点击查看详细] 属性是一种成员,它提供灵活的机制来读取.写入或计算私有字段的值. 属性可用作公共数据成员,但它们实际上是称为访问器的特殊方法. 这使得可以轻松访问 ...
- [小米OJ] 11. 构建短字符串
思路 排序后对两个字符串遍历 function solution(line) { var str = line.split(" "); var str1 = str[0].spli ...
- ES6 symbol 以及symbol的简单应用
前置 1.ES6 引入了一种新的原始数据类型Symbol,表示独一无二的值. 2.Symbol 值通过Symbol函数生成. 3.Symbol 函数可以接受一个字符串作为参数,表示对 Symbol 实 ...
- 编写Django项目并使用uwsgi和nginx部署在Linux平台
内容转载自:我自己的博客地址 这是花费了一个月的时间摸索整理出来的一份总结.分享出来一方面是给新人一个借鉴,另一方面对自己也算是个备份. --- *** 整个Django项目: ├── example ...
- 《VR入门系列教程》之14---面向大众的Unity3D
大众化的游戏引擎--Unity3D 并不是所有VR应用都是游戏,然而现在做VR开发的几乎都会用专业游戏引擎来做,因为游戏引擎既满足了一个引擎的要求又可以方便地制作出高品质的VR应用.一个游戏引 ...
- 分布式任务调度平台XXL-JOB学习笔记一
分布式任务调度平台XXL-JOB学习笔记一 XXL-JOB是一个轻量级分布式任务调度平台,其核心设计目标是开发迅速.学习简单.轻量级.易扩展.现已开放源代码并接入多家公司线上产品线,开箱即用.码云地址 ...
- Swagger UI使用指南
1:认识Swagger Swagger 是一个规范和完整的框架,用于生成.描述.调用和可视化 RESTful 风格的 Web 服务.总体目标是使客户端和文件系统作为服务器以同样的速度来更新.文件的方法 ...
- 【WPF】大量Canvas转换为本地图片遇到的问题
原文地址:https://www.cnblogs.com/younShieh 项目中遇到一个难题,需要将上百个没有显示出来的Canvas存储为图片保存在本地. 查阅资料后(百度一下)后得知保存为本 ...