Redis新旧复制
在Redis中,用户可以通过执行SALVEOF命令,让一个服务器去复制另一个服务器。
127.0.0.1:12345> SLAVEOF 127.0.0.1 6379
OK
- 6379的奴隶是12345。
旧版复制功能实现
Redis的复制功能分为同步(sync)和命令传播两个操作:
- 同步:将从服务器更新为主服务器的状态。
- 命令传播:在主服务器状态被修改,导致主从状态不一致,让主从回到一致状态。
同步
客户端向服务器发送SYNC命令,SYNC步骤:
- 从 -> 主 发送SYNC。
- 主 执行BGSAVE命令,后台生成RDB,并且使用缓冲区记录 从 现在开始执行的所有写命令。
- RDB生成完毕时,发送给 从,从 载入这个RDB,更新至 主 执行BGSAVE时的数据库状态。
- 主 将缓冲区的写命令发给 从,从 更新至 主 当前的状态。
命令传播
在同步执行完毕之后,主从达到一致状态,但是当 主 执行客户端的命令时,主从再次不一致。
为了让主从再次回到一致状态,主 需要对 从 执行命令传播操作:主 会将自己执行的写命令发送给 从 ,这样就回
到主从一致了(迫真)。
旧版复制的缺陷
对于第一次复制来说旧版是可以的,但是对于断线后重连效率是很低的,因为,断线重连的服务器保存的数据大部
分是相同的,发送SYNC命令传送RDB文件并不是非做不可的!
SYNC命令是一个非常耗费资源的操作。
新版复制功能的实现
为了解决旧版的问题,Redis从2.8开始,使用PSYNC代替SYNC。
PSYNC有完整重同步和部分重同步2个命令:
完整重同步:与同步命令是一样的。
部分重同步:如果条件允许,主 可以将主从服务器连接断开期间执行的写命令发送给 从。
部分重同步的实现
部分重同步由以下三个部分构成:
主服务器的复制偏移量(replication offset)和从服务器的复制偏移量。
主服务器的复制积压缓冲区(replication backlog)。
服务器的运行ID(run ID)。
复制偏移量
A断线后,从服务器向主服务器发送PSYNC,报告A的offset为10086。
复制积压缓冲区
缓冲区由主服务区维护的固定长度先进先出(fixed-size FIFO)队列,默认大小为1MB。
当主服务器进行命令传播时,不仅会将命令发送给从服务器,还会将写命令入队到缓冲区中。
因此,主服务器的缓冲区保存着最近传播的写命令,并且记录了每个字节的偏移量。
当从服务器重新连上主服务器,从服务器发送自己的offset,主服务器根据这个offset决定执行何种操作:
- 如果offset之后的数据仍然存在于缓冲区里,那么主服务器将对从服务器执行部分重同步。
- 相反如果不存在于缓冲区里,那么执行完整重同步。
根据需要调整复制积压缓冲区大小
最小大小计算公式:second * write_size_per_second
second为从服务器重新连上主服务器的平均时间。
write_size_per_second是主服务器平均每秒产生的写命令数据量。
服务器运行ID
每个服务器运行后会自动生成40个随机十六进制字符的ID。
主 和 从 初次复制时,主 会将自己的ID给 从。
当从服务器断线并重新连上主服务器时,从服务器会发送之前保存的ID给 主,如果一致就可以部分重同步。
复制的实现
设置主服务器的地址和端口
建立套接字连接
发送PING
身份验证
发送端口信息
同步
值得一提的是,在同步之前,只有 从 是 主 的客户端,同步之后,主 也是 从 的客户端。主从服务器双方都是对方
的客户端,他们才可以互相发送命令,主 才可以发送写命令改变 从 的数据库状态。
- 命令传播
Reference
《Redis设计与实现》
Redis新旧复制的更多相关文章
- redis 系列21 复制Replication (上)
一. 概述 使用和配置主从复制非常简单,每次当 slave 和 master 之间的连接断开时, slave 会自动重连到 master 上,并且无论这期间 master 发生了什么, slave ...
- Redis持久化及复制
一.持久化的两种方式 1.RDB: RDB是在指定时间间隔内生成数据集的时间点快照(point-in-time snapshot)持久化,它是记录一段时间内的操作,一段时间内操作超过多少次就持久化.默 ...
- Redis实现之复制(二)
PSYNC命令的实现 在Redis实现之复制(一)这一章中,我们介绍了PSYNC命令和它的工作机制,但一直没有说明PSYNC命令的参数以及返回值.现在,我们了解了运行ID.复制偏移量.复制积压缓冲区以 ...
- ca33a_demo_c++_新旧代码的兼容char数组与vector_string相互转换
/*ca33a_demo_c++33_CppPrimer_新旧代码的兼容_txwtech旧代码:数组和c风格字符串新代码:vector和string相互转换:c风格字符串<- ->stri ...
- Android新旧版本Notification
Android新旧版本Notification 在notification.setLatestEventInfo() 过时了 以前: NotificationManager mn = (Notific ...
- Matlab神经网络函数newff()新旧用法差异
摘要 在Matlab R2010a版中,如果要创建一个具有两个隐含层.且神经元数分别为5.3的前向BP网络,使用旧的语法可以这样写: net1 = newff(minmax(P), [5 3 1]); ...
- [ACM_数学] Taxi Fare [新旧出租车费差 水 分段函数]
Description Last September, Hangzhou raised the taxi fares. The original flag-down fare in Hangzhou ...
- Flex布局新旧混合写法详解(兼容微信)
原文链接:https://www.usblog.cc/blog/post/justzhl/Flex布局新旧混合写法详解(兼容微信) flex是个非常好用的属性,如果说有什么可以完全代替 float 和 ...
- 浅谈 angular新旧版本问题
一直在学习angularJs,之前用的版本比较老,前些天更新了一下angularJs的版本,然后发现了一些问题,希望和大家分享一下. 在老的版本里控制器直接用函数定义就可以 比如: 在angularJ ...
随机推荐
- 深入浅出Mybatis系列(九)---缓存
MyBatis系统中默认定义了两级缓存:一级缓存和二级缓存. 1.默认情况下,只有一级缓存(SqlSession级别的缓存,也称为本地缓存)开启. 2.二级缓存需要手动开启和配置,他是基于namesp ...
- Java finally语句到底是在return之前还是之后执行
看过网上关于Java中异常捕获机制try-catch-finally块中的finally语句是不是一定会被执行的讨论也有很多. 首先明确一点,下面两种情况finally肯定是不执行的: 1). ret ...
- servlet中servletContext的五大作用(一)
获取web的上下文路径 获取全局的参数 作为域对象使用 请求转发 读取web项目的资源文件 package day10.about_servletcontext.get_path; /** * 首先区 ...
- openstack新建实例各种报错解决
最近自己装了下Openstack,零基础安装,参照了网上不少教程. 吃了百家饭的后果,就是出现了一堆不明问题...openstack安装比较复杂,很多配置文件,一个地方配置不正确,可能会导致后面的功能 ...
- 使用Xshell连接虚机安装的vyOS
本文主要讲解:使用虚机(Vitual Box)安装的vyOS,如何使用Xshell来通过ssh方式连接. 首先咱们安装vyOS 1.安装vyOS 先用Vitual Box安装vyOS镜像. 接下来的操 ...
- Promise.all()
语法:Promise.all(iterable); 参数:iterable 一个可迭代对象,如 Array 或 String. 返回值:如果传入的参数是一个空的可迭代对象,则返回一个已完成(alrea ...
- excel快捷键如下:
ALT+ 空格键,然后按下 X ALT+ 空格键,然后按下 R 首先打开表格,在A1对角用鼠标左键单击,界面会全部选中,然后调整字体大小框里的数字,回车,表格就变大了. 同时按Alt和E,再按L ...
- vue 微信二维码扫码登录,附加 自定义样式
大概流程: 先安装 微信 的登录, 然后 局部引入,局部注册,方法调用,存 token,跳转路由 npm 安装 npm install vue-wxlogin --save-dev 微信安装 微信 ...
- JDK1.8源码(八)——java.lang.ThreadLocal类
https://www.cnblogs.com/xdd666/p/14734047.html ThreadLocal https://www.cnblogs.com/yanfei1819/p/1473 ...
- Appium自动化(6) - 控件定位工具之uiautomatorviewer 的详细介绍
如果你还想从头学起Appium,可以看看这个系列的文章哦! https://www.cnblogs.com/poloyy/category/1693896.html 前言 app定位不如web定位那么 ...