Redis主从复制那点事
我们在 Redis持久化机制你学会了吗?学习了AOF和RDB,如果Redis宕机,他们分别通过回放日志和重新读入RDB文件的方式恢复数据,从而提高可靠性。我们今天来想这么一个问题,假如我们只部署了一台Redis实例,如果这个实例宕机了,那么它在恢复期间,是无法提供数据存取请求的,这样就会使得服务中断。
Redis采用了增加副本的方式,将一份数据同时保存在多个实例上来避免这种情况发生的。即使有一个实例出现故障,在这个实例恢复期间,其它实例也能对外提供服务,不会影响业务的使用。那多个实例是如何保证数据的一致性呢?数据的读写操作可以发给所有的实例吗?实际上,Redis提供了主从模式,以保证数据副本的一致。主从库之间采用的是读写分离的方式。
对于读操作来说,主、从库都可以服务。但是对于写操作来说,首先是要到主库执行,然后,主库再将写操作同步给从库。
那为什么要采用读写分离呢?如果不管是主库还是从库都能接受客户端的写操作,它带来的直接问题就是:如果客户端对同一个key进行了2次修改操作,并且每次修改都分到不同的实例上,那么这2个实例上的副本就不一致了。而主从库模式一旦采用了读写分离,所有数据的修改只会在主库上进行。主库有了最新的数据后,会同步给从库,这样,主从库的数据就是一致的。
接下来我们来看一下主从同步是如何完成的?我们首先来看一下主从库之间的第一次同步是如何进行的。当我们启动多个redis实例时,它们之间的相互关系就可以通过replicaof命令的形式形成主库和从库的关系,之后会按照三个阶段完成数据的第一次同步。
replicaof 127.0.0.1 6379
第一阶段是主从库建立连接、协商同步的过程,主要是为了全量复制做准备。在这一步,从库和主库建立连接,并告诉主库即将进行数据同步,主库确认回复后,主库和从库之间就可以开始同步了。
具体来说,从库给主库发送psync命令,表示要进行数据同步,主库根据这个命令参数来启动复制。psync命令包含了主库的runID和复制进度offset两个参数。
runID:每个Redis实例启动时会自动生成一个随机ID来唯一标识这个实例。当从库和主库第一次复制时,因为不知道主库的runID,所以复制为 ?
offset:此时设置为-1,表示第一次复制。
主库收到psync命令后,会用FULLRESYNC响应命令带上两个参数:主库runID和主库目前的复制进度offset,返回给从库。从库收到响应后,会记录下这两个参数。这里有个地方需要注意,FULLRESYNC 响应表示第一次复制采用的是全量复制,也就是说,主库会把当前所有的数据都复制给从库。
第二阶段是主库将所有数据同步给从库。从库收到数据后,在本地完成数据加载。这个过程依赖于内存快照生成的RDB文件。
具体来说,主库执行bgsave命令,生成RDB文件,接着将文件发给从库。从库收到RDB文件后,会清空当前的数据库,然后加载RDB文件。这是因为从库在通过执行replicaof命令开始和主库进行同步之前,有可能存储了
其他的数据。为了避免之前数据的影响,从库需要把当前数据库清空。在主库将数据同步给从库的过程中,主库不会被阻塞,仍然可以正常接收请求。
否则,Redis 的服务就被中断了。但是,这些请求中的写操作并没有记录到刚刚生成的 RDB 文件中。为了保证主从库的数据一致性,主库会在内存中用专门的 replication buffer,记录 RDB 文件生成后收到的所有写操作。
最后第三阶段,主库会把第二阶段执行过程中收到的命令再发送给从库。具体操作是,当主库完成RDB文件发送后,就会把此时replication buffer中记录的操作发送给从库,从库接下来再去执行这些操作。这样一来,主从库就实现同步了。
到这里,我们就了解了主从库间通过全量复制实现数据同步的过程了。一旦主从库完成了全量复制,他们之间就会一直维护一个网络连接,主库会通过这个连接将后续收到的命令同步给从库,这个过程也称为基于长连接的命令传播,可以避免频繁建立连接的开销。
但是,在主从传播命令的过程中,如果出现网络断开,那主从库之间就无法进行命令传播了,从库自然也就无法和主库保持一致了。接下来,我们就来聊一聊网络断开连接后该怎么办。
在网络断开连接后,Redis主从库会采用增量复制的方式继续同步。那么,增量复制时,主从库之间具体是怎么保证同步的呢?这里的奥妙就在repl_backlog_buffer这个环形缓存区。
主库除了会把接收到的写命令写入replication buffer发送给从库外,同时也会把这些操作命令也写入 repl_backlog_buffer 这个缓冲区。repl_backlog_buffer是一个环形缓冲区,主库会记录自己写到的位置,从库则会记录自己读到的位置。刚开始的时候,主库和从库的写位置在一起,这算是他们的起始位置。随着主库不断接收新的操作,它在缓冲区中的写位置会逐步偏离起始位置。我们通常用偏移量来衡量这个偏移距离的大小,对主库来说,对应的偏移量就是 master_repl_offset。主库接收的新写操作越多,这个值就会越大。同样,从库在复制完写操作命令后,它在缓冲区中的读位置也开始逐步偏移刚才的起始位置,此时,从库已复制的偏移量 slave_repl_offset 也在不断增加。正常情况下,这两个偏移量基本相等。
主从库的连接恢复之后,从库首先会给主库发送 psync 命令,并把自己当前的 slave_repl_offset 发给主库,主库会判断自己的 master_repl_offset 和 slave_repl_offset 之间的差距。在网络断连阶段,主库可能会收到新的写操作命令。所以,一般来说,master_repl_offset 会大于 slave_repl_offset。
此时,主库只用把 master_repl_offset 和 slave_repl_offset 之间的命令操作同步给从库就行。如上图所示,主库和从库之间差了b、c、d,增量复制时,主库只要把他们同步给从库就行了。
我们借助一张图来回顾一下增量复制。
需要注意的一点,因为repl_backlog_buffer是一个环形缓冲区,所以在缓冲区写满后,主库会继续写入,此时,就会覆盖掉之前写入的操作。如果从库的读取速度比较慢,就有可能导致从库还未读取的操作被主库新写的操作覆盖了,这会导致主从库间的数据不一致,从而进行全量复制了。
因此,我们要想办法避免这一情况,一般而言,我们可以调整repl_backlog_size这个参数来设置缓存区的大小。如果它配置得过小,在增量复制阶段,可能会导致从库的复制进度赶不上主库,进而导致从库重新进行全量复制。所以,通过调大这个参数,可以减少从库在网络断连时全量复制的风险。
Redis的主从复制就分享到这里。更多硬核知识,请关注公众号"程序员学长"。
Redis主从复制那点事的更多相关文章
- [原]Redis主从复制各种环境下测试
Redis 主从复制各种环境下测试 测试环境: Linux ubuntu 3.11.0-12-generic 2GB Mem 1 core of Intel(R) Core(TM) i5-3470 C ...
- NoSQL初探之人人都爱Redis:(4)Redis主从复制架构初步探索
一.主从复制架构简介 通过前面几篇的介绍中,我们都是在单机上使用Redis进行相关的实践操作,从本篇起,我们将初步探索一下Redis的集群,而集群中最经典的架构便是主从复制架构.那么,我们首先来了解一 ...
- 【转】 NoSQL初探之人人都爱Redis:(4)Redis主从复制架构初步探索
一.主从复制架构简介 通过前面几篇的介绍中,我们都是在单机上使用Redis进行相关的实践操作,从本篇起,我们将初步探索一下Redis的集群,而集群中最经典的架构便是主从复制架构.那么,我们首先来了解一 ...
- redis+Keepalived实现Redis主从复制
redis+Keepalived实现Redis主从复制: 环境:CentOs6.5Master: 10.10.10.203Slave: 10.10.10.204Virtural IP Addres ...
- 深入剖析 redis 主从复制
主从概述 redis 支持 master-slave(主从)模式,redis server 可以设置为另一个 redis server 的主机(从机),从机定期从主机拿数据.特殊的,一个 从机同样可以 ...
- 谈谈redis主从复制的重点
Redis主从复制的配置十分简单,它可以使从服务器是主服务器的完全拷贝.下面是关于Redis主从复制的几点重要内容: Redis使用异步复制.但从Redis 2.8开始,从服务器会周期性的应答从复制流 ...
- 配置Redis主从复制
[构建高性能数据库缓存之redis主从复制][http://database.51cto.com/art/201407/444555.htm] 一.什么是redis主从复制? 主从复制,当用户往Mas ...
- Redis主从复制及状态监测
参考链接:http://www.cnblogs.com/morvenhuang/p/4184262.html #配置redis主从复制: #安装redis- master slave #修改slave ...
- Redis主从复制(Master/Slave)
Redis主从复制(Master/Slave) 修改配置文件 拷贝多个redis.conf文件分别配置如下参数: 开启daemonize yes pidfile port logfile dbfile ...
随机推荐
- mybatis——解决属性名和数据库字段名不一致问题
首先说一下,我的数据库名字叫mybatis,里边有一张user表,表中有三个字段,id.name.pwd:然后实体类中对应三个属性id.name.password(id和name跟数据库字段名一致,但 ...
- 【NX二次开发】获取尺寸信息UF_DRF_ask_draft_aid_text_info
获取尺寸信息UF_DRF_ask_draft_aid_text_info 例如获取下面这三个的尺寸信息. 图1 输出结果: 10 <T+0.1!-0.1> 图2 输出结果: 10 < ...
- 【UG二次开发】获取系统信息UF_ask_system_info
获取系统信息可以使用这个函数UF_ask_system_info 下面是例子: 1 extern DllExport void ufsta(char *param, int *returnCode, ...
- 你,确定了解Java的String字符串?
本文将描述JDK6中String.intern()是如何实现的,以及在JDK7和JDK8中对字符串池化技术做了哪些改变. String池化介绍 String池化就是把一些值相同,但是标识符不同的字符串 ...
- Java8中一个极其强悍的新特性,很多人没用过(非常实用)
Java8中有两个非常有名的改进,一个是Lambda表达式,一个是Stream.如果我们了解过函数式编程的话,都知道Stream真正把函数式编程的风格引入到了java中.这篇文章由简入繁逐步介绍Str ...
- Vue——v-for动态绑定id的问题
问题:在Vue中,会遇到许多个多选框,倘若数量很庞大那么一个一个input框.label节点寻找,这样操作很繁琐. 直接上解决方案吧: html页面: <ul v-for="(item ...
- 永恒之蓝MS17-010漏洞复现
永恒之蓝MS17-010漏洞复现 1.漏洞描述: 起因: 永恒之蓝(Eternalblue)是指2017年4月14日晚,黑客团体Shadow Brokers(影子经纪人)公布一大批网络攻击工具,其中包 ...
- Unity Lamba错误集
请先看对象层级视图 /// <summary> /// 选择关卡的内容对象 /// </summary> public Transform Transform_levelCon ...
- 温故知新,CSharp遇见异步编程(Async/Await),聊聊异步编程最佳做法
什么是异步编程(Async/Await) Async/Await本质上是通过编译器实现的语法糖,它让我们能够轻松的写出简洁.易懂.易维护的异步代码. Async/Await是C# 5引入的关键字,用以 ...
- Linux指令手册 (二)
free free,显示系统中可用内存和已使用内存的数量. 语法:free [options] [target] 参数: -b: 以字节(bytes)显示内存量: -k: 以千字节(kilo)为单位显 ...