1.主从复制

为了保证线上业务的持续运行,防止主节点因宕机而重启数据恢复消耗太长时间,通常会准备一个备用节点,备份主节点的数据,当主节点出问题时立马顶上。这种机制就叫做主从复制。在了解redis的主从复制之前,需要先了解一下现代分布式系统的理论基础--CAP原理。

1.1 CAP原理

  • C(consistent) 一致性
  • A(availability) 可用性
  • P(partition tolerance) 分区容忍性

一致性:所有服务端,客户端的数据保持同步一致。

可用性:系统随时可用

分区容忍性:分布式系统的节点分布在不同的机器上,即意味着必然存在网络断开的风险,这种网络断开的场景叫做网络分区。

当允许网络分区发生时,分布式系统的两个节点之间无法通信,当一个节点数据发生改动时,另一个无法同步,即失去了一致性。如果强行保持一致就需要暂停分布式节点服务,这就丧失了可用性。其实这样看来,CAP原理就是:当网络分区发生时,一致性和可用性不可兼得。

redis主从数据是异步同步的,从节点一直在追赶着同步主节点的数据,最后总能保持一致,这叫做最终一致性

1.2 主从复制使用

主从复制的配置只需要配置从机,语句如下:slaveof 主机ip 主机端口号 。默认从机只进行读操作,保证读写分离,增加效率,常用配置方式是一主二从。

使用时有如下特点:

  1. 当主节点宕机时,两个从节点会一直等待主节点重连,重连后依然是主节点的从节点,数据继续同步。
  2. 当主节点宕机后,从节点执行命令 slaveof no one 可以成为一个主节点,摆脱从属关系。
  3. 可以再用一个节点设置成主节点的从节点的从节点,让数据一直传递下去,去中心化,减轻主机的负担。

1.3 主从复制的复制原理

① 增量同步

redis同步的是指令流,主节点会将那些对自己状态产生影响的指令记录在本地内存buffer中,然后异步将buffer中的指令同步到从节点,从节点一边执行同步的指令流,一边向主节点反馈同步的位置。内存中的buffer结构为一个定长的环形数组,如果环形数组满了就会从头开始覆盖之前的内容,如果网络状况差的时候,从节点与主节点长期未同步就有可能丢失数据,因此这时需要使用快照同步。

②快照同步

它需要先在主节点上执行bgsave命令存盘,然后将快照内容全部传送到从节点。从节点接受完,立即执行一次全量加载,加载前将内存数据清空。这个过程需要大量的时间,如果内存的buffer过小,在同步期间增量指令在复制buffer中被覆盖,就会再次执行快照复制,极有可能造成快照复制的死循环。

当新加入从节点时,会先执行一次快照同步,再执行增量同步。

③无盘复制

由于快照同步很耗费时间,影响主节点的服务效率,因此在redis2.8.18版本之后引入无盘复制,其操作流程为主服务器直接通过套接字将快照内容发送到从节点,主节点一边遍历内存,一边将序列化的快照内容发送的从节点,从节点还是将接收的内容先保留在磁盘上,再进行一次性加载。



1.4 补充内容

redis的复制是异步进行的,在redis3.0之后可以用wait指令将异步复制改为同步复制,确保系统的强一致性(不严格)。

wait有两个参数,第一个是从节点的数量N,第二个参数是时间t(毫秒),其作用为,等待wait指令之前的所有写操作同步到N个从节点,最多等待时间t,若t=0则表示一直等待,直到N个从节点都同步完成。

值得注意的是,假如在同步时发生了网络分区,而wait的参数t=0,这会导致主从同步无法执行,wait指令会永远阻塞,redis服务器将丧失可用性。

  1. 哨兵机制(Sentinel)

    ===

一主二从配置下,当主节点宕机时,从节点会一直等待主节点恢复,但是如果主节点长期未连接,而又需要继续执行业务怎么办?

这时候就需要在从节点中选出一个主节点,代替原来的主节点执行业务,这种机制就是Sentinel。相当于一个哨兵,检测主机状态,当主节点宕机一定的时间后,推选出新的主节点。

配置步骤如下:

  1. 主从复制集群搭建

  2. 新建sentinel.conf配置文件,文件内容:

      sentinel monital 被监控的主机的名字(自己命名) 被监控的ip 被监控的端口号 1

    最后的数字1,代表主机挂掉之后,从机得到的投票数高于1时,就可成为新的主机。

  3. 启动sentinel.conf配置文件 redis-sentinel sentinel.conf路径

    python客户端下的基本用法如下:>python客户端下的基本用法如下:

from redis.sentinel import Sentinel

sentinel = Sentinel([('localhost',26379)],socket_timeout=0.1)
sentinel.discover_master('mymaster') #查询主节点地址 mymaster指的是自己命名的主机名字
sentinel.discover_slaves('mymaster') #查询从节点地址 #通过 xxx_for方法从连接池中获取一个链接使用
master = sentinel.master_for('mymaster',socket_timeout=0.1)
slave = sentinel.slave_for('mymaster',socket_timeout=0.1) master.set('foo','bar')
slave.get('foo')

当主节点变更后,连接池建立新的链接。建立连接时会去查询主节点地址,然后跟内存中的主节点地址进行比对,如果发生变更就断开所有连接,重新使用新地址建立链接。如果旧主节点挂掉了,所有正在使用的连接全部关闭,在重连时使用新地址。

如果进行主动主从切换,而旧的主节点并没有挂掉还在继续使用中时,会产生一个异常,redis捕捉这个异常后,将旧的连接全部关闭,重新连接时使用新地址进行连接。

主从切换后,之前的主节点变成从节点,它的所有的修改指令都会抛出异常。

redis学习笔记06-主从复制和哨兵机制的更多相关文章

  1. Redis学习笔记(二) - 主从复制

    概述 指将一台redis服务器上的数据,复制到其他redis服务器上,前者称为主服务器(master),后者称为从服务器(slave). 默认情况下主从关系为一对多关系. 数据复制是单向的,只能从主服 ...

  2. Redis学习笔记(六、哨兵)

    目录: 基本概念 环境部署 哨兵原理 哨兵命令 基本概念: 1.什么是哨兵 我们先从字面意思来了解哨兵,哨兵是对执行警戒任务的士兵的统称:在redis中哨兵也是一样,他监控着redis服务器的状态. ...

  3. Redis学习笔记10--Redis主从复制

    redis主从复制配置和使用都非常简单.通过主从复制可以允许多个slave server拥有和master server相同的数据库副本.下面是关于redis主从复制的一些特点:       1.ma ...

  4. 四、redis系列之主从复制与哨兵机制

    1. 绪言 在现实应用环境中,出于数据容量.容灾.性能等因素的考虑,往往不会只使用一台服务器,而是使用集群的方式.Redis 中也有类似的维持一主多从的方式提高 Redis 集群的高可用性的方案,而其 ...

  5. 《【面试突击】— Redis篇》-- Redis的主从复制?哨兵机制?

    能坚持别人不能坚持的,才能拥有别人未曾拥有的.关注左上角编程大道公众号,让我们一同坚持心中所想,一起成长!! <[面试突击]— Redis篇>-- Redis的主从复制?哨兵机制? 在这个 ...

  6. redis如何实现高可用【主从复制、哨兵机制】

    实现redis高可用机制的一些方法: 保证redis高可用机制需要redis主从复制.redis持久化机制.哨兵机制.keepalived等的支持. 主从复制的作用:数据备份.读写分离.分布式集群.实 ...

  7. redis主从复制和哨兵机制

    redis主从复制和哨兵机制 技术标签: redis 1.redis主从复制(master/slave模式) 主数据库可以进行读写操作,当写操作导致数据发生变化时会自动将数据同步给从数据库.而一般情况 ...

  8. redis学习笔记(3)

    redis学习笔记第三部分 --redis持久化介绍,事务,主从复制 三,redis的持久化 RDB(Redis DataBase)AOF(Append Only File) RDB:在指定的时间间隔 ...

  9. redis学习笔记(详细)——高级篇

    redis学习笔记(详细)--初级篇 redis学习笔记(详细)--高级篇 redis配置文件介绍 linux环境下配置大于编程 redis 的配置文件位于 Redis 安装目录下,文件名为 redi ...

随机推荐

  1. 使用virtualenv发布Python程序

    客户环境不能上网,开始想把所有依赖包下载下来,进入客户环境进行安装.但为了避免出差,部署工作交给其他同事了,我想还是需要更简单的方式. 实验了一下virtualenv是可以的 1. 创建一个新的环境( ...

  2. 第二天:数值与字符串、列表list

    数值 1. 声明变量 age = 20 f = 3.14 #浮点型 f = 0.3 f = .3 2.表达式 主要是做一些简单的加减乘除运算,直接出结果 1.1 + 2.2 2.2 + 3.0 3.1 ...

  3. 使用CEfSharp之旅(3)下载文件 弹出保存框 IDownloadHandler

    原文:使用CEfSharp之旅(3)下载文件 弹出保存框 IDownloadHandler 版权声明:本文为博主原创文章,未经博主允许不得转载.可点击关注博主 ,不明白的进群191065815 我的群 ...

  4. 调整element-ui中多个button处于同一行

    参考: https://element.eleme.cn/#/zh-CN/component/dropdown <el-row> <el-button-group style=&qu ...

  5. WPF 先显示登录成功,验证成功后显示主窗口

    /// 设置显示登录窗口的方法: /// 在 App.xaml 中把这句 /// 删掉 StartupUri="MainWindow.xaml" 改为 StartupUri=&qu ...

  6. mysql主从复制linux配置(二进制日志文件)

    安装mysql,两台机器一主(192.168.131.153),一从(192.168.131.154) 主机配置 修改主/etc/my.cnf文件 添加 #server_id=153 ###服务器id ...

  7. https搭建:ubuntu nginx配置 SSL证书

    HTTPS 是什么? 根据维基百科的解释: 超文本传输安全协议(缩写:HTTPS,英语:Hypertext Transfer Protocol Secure)是超文本传输协议和SSL/TLS的组合,用 ...

  8. 今天给各位介绍Linux touch命令详述

    触摸命令 touch命令有两个功能:一个是将现有文件的时间戳更新为系统的当前时间(默认模式),它们的数据将保持不变;第二个是创建一个新的空文件. 语法 触摸(可选) 最常见的用法:touch file ...

  9. @Component 和 @Bean 的区别

    Spring帮助我们管理Bean分为两个部分,一个是注册Bean,一个装配Bean.完成这两个动作有三种方式,一种是使用自动配置的方式.一种是使用JavaConfig的方式,一种就是使用XML配置的方 ...

  10. 19-10-26-Night-D

    压表的技巧. ZJ一下: T1,考试不会哈夫曼树只压到$1MB$最后截掉了一部分. T2,直接暴力丢上去.$\Theta(N+\sqrt{N}\log N)$ T3,现场码出左右旋然后就不会了$QAQ ...