复制和故障转移

Redis集群中的节点分为主节点(master)和从节点(slave),其中主节点用于处理槽,而从节点则用于复制某个主节点,并在被复制 的主节点下线时,代替下线主节点继续处理命令请求。

设置从节点:CLUSTER REPLICATE < node_id >可以让接收命令的节点称为node_id 所指定节点的从节点,并开始对主节点进行复制。

1)接收到该命令的节点首先会在自己的clusterState.nodes字典中找到node_id所对应节点的clusterNode结构,并将自己的clusterState.myself.slaveof指针指向这个结构,以此来记录这个节点正在复制的主节点:

struct clusterNode{
//如果这个时一个从节点,那么指向主节点
struct clusterNode *slaveof;
}

2)节点修改自己的clusterState.myself.flags中的属性,关闭原本的REDIS_NODE_MASTER标识,打开REDIS_NODE_SLAVE标识,标识这个节点已经由原来的主节点变成了从节点。

3)节点会调用复制代码,根据clusterState.myself.slaveof指向clusterNode结构所保存的IP地址和端口号,对节点进行复制。

一个节点称为从节点,并开始复制某个主节点这一信息会通过消息发送给集群中的其他节点,最终集群中的所有节点都会知道某个从节点正在复制某个主节点。

集群中的所有节点都会在代表主节点的clusterNode结构的slaves属性和numslaves属性中记录正在复制这个主节点的从节点名单:

struct clusterNode{
//正在复制这个主节点的从节点数量
int numslaves;
//数组,每个数组项指向一个正在复制这个主节点的从节点的clusterNode
struct clusterNode **slaves;
}

集群中的每个节点都会定期地向集群中的其他节点发送PING消息,一次来检测对方是否在线,如果接收PING消息的节点没有在规定的时间内,向发送PING消息的节点返回PONG消息,那么发送PING消息的节点就会将阶段后PING消息的节点标记为疑似下线(PFAIL)。

集群中的各个节点会通过相互发送消息的方式来交换集群中各个节点的状态信息:某个节点处于在线状态、疑似下线、已下线状态。

当一个主节点A通过罅隙得知主节点B认为主节点C进入疑似下线状态时,主节点A会在自己的clusterState.nodes字典中找到主节点C所对应的clusterNode结构,并将主节点B的下线报告添加到clusterNode结构的fail_reports链表中

status clusterNode{
list *fali_reports;//链表,记录所有其他节点对该节点的下线报告
};

下线报告结构:

struct c;isterNodeFailReport{
//报告目标节点已经下线的节点
struct clusterNode *node;
//最后一个从node节点收到下线报告的时间(程序使用这个时间戳来检查下线报告是否过期)
mstime_t time;
} typedef clusterNodeFailReport;

如果集群里半数以上负责处理槽的主节点都将某个主节点x报告未疑似下线,那么这个主节点x将被标记未已下线,将主节点x标记为已下线的节点会向集群广播一条关于主节点x的FAIL罅隙,所有收到这条罅隙的节点都会立即将主节点x标记为已下线。

故障转移的步骤:

1)复制下线主节点的所有从节点里面,会有一个从节点被选中,

2)被选中的从节点会执行SLAVEOF no one命令,成为新的主节点。

3)新的主节点会撤销所有对已下线主节点的槽指派,并将这些槽指派给自己。

4)新的主节点向集群广播一条PONG消息,这条消息让其他集群中的其他节点立即知道这个节点已经由从节点变为主节点,并且这个主节点已经接管了原本已下线节点负责处理的槽。

5)新的主节点开始接收和自己负责处理的槽有关的命令请求,故障转移完成。

选举新的主节点:

1)集群的配置纪元是一个计数器。他的初始值为0;

2)当集群中的某个节点开始一次故障转移操作时,集群配置纪元的值会被加1。

3)集群里面每个负责处理槽的主节点都有一次投票机会,而第一个向主节点要求投票的从节点将获得主节点的投票。

4)当从节点发现自己正在复制的主节点进入下线状态时,从节点会向集群官博一条CLUSTERMSG_TYPE_FAILOVER_AUTH_REQUEST消息,要求所有收到这个消息、并且具有投票权的主节点向这个从节点投票。

5)如果一个主节点具有投票权,并且这个主节点尚未投票给其他从节点,那么主节点将向要求投票的从节点返回一条CLUSTERMSG_TYPE_FAILOVER_AUTH_ACK消息,表示这个主节点支持从节点成为新的主节点。

6)每个参与选举的从节点都会收到CLUSTERMSG_TYPE_FAILOVER_AUTH_ACK消息,并根据自己收到了多少条这种消息来统计自己获得了多少主节点支持。

7)如果集群中有N个具有投票权的主节点,那么当一个从节点大于等于N/2+1张支持票时,这个从节点就当选成为新的主节点。

8)如果在一个配置纪元里面没有从节点收集到足够多的支持票,那么集群进入下一个纪元,再次进行选举,直到选出新的主节点为止。

消息

集群中各个节点通过发送和接收消息来进行通信,我们称发送消息的节点为发送者,接收消息的节点为接收者:

1)MEET消息,当发送者接到客户端发送的CLUSTER MEET命令时,发送者会向接收者发送MEET消息,请求接收者加入到发送者当前所处的集群里面。

2)PING消息,集群里面的每个节点默认每隔一秒钟就会从已知节点列表中随机选出五个节点,然后对这五个节点中最长时间没有发送过PING消息的节点发送PING消息,以此检测被选中的节点是否在线。除此之外,如果节点A最后一次收到节点B发送的PONG消息的时间,距离当前时间已超过了节点A的cluster-node-timeout选项设置时长的一半,那么节点A也会向节点B发送PING消息,这可以防止节点A因长时间没有随机选中节点B作为PING消息的发送对象而导致节点B的信息更新滞后。

3)PONG消息,当接收者收到发送者发来的MEET消息或者PING时,为了向发送者确认这条MEET、PING消息已到达,接收者会向发送者返回一条PONG消息。另外,一个节点也可以通过向集群发送集群广播自己的PONG消息来让集群中的其他节点立即刷新关于这个节点的认识。

4)FAIL消息,当一个主节点A判断另一个主节点B已经进入FAIL状态时,节点A会会向集群广播一条关于节点B的FAIL消息,所有接收到这条消息的节点都会立即将节点B标记为已下线。

5)PUBLISH消息,当节点接收到一个PUBLISH命令时,节点会执行这个命令,并向集群广播一条PUBLISH消息,所有接收到这条PUBLISH消息的节点都会执行相同的PUBLISH命令。

一条消息由消息头(header)和消息正文(data组成)

消息头:

typedef struct {
//消息的长度(消息头的长度和消息正文的长度)
uint32_t totlen;
//消息的类型
uint16_t type;
//消息正文包含的节点信息数量
//只有发送MEET、PING、PONG这三种Gossip协议消息时使用
uint16_t count; //萨松这所处的配置纪元
uint64_t currentEpoch;
//如果发送者是一个主节点,那么这里面记录的时发送者的配置纪元
//如果发送者时一个从节点,那么这里面记录的时发送者正在复制的主节点的配置纪元
uint64_t configEpoch;
//发送者的名称(ID)
char sender[REDIS_CLUSTER_NAMELEN];
//发送者目前的槽指派信息
unsigned char myslots[REDIS_CLUSTER_SLOTS/];
//如果发送者是一个从节点,记录的是发送者正在复制的主节点的名称
//如果发送者是一个主节点,那么这里记录的是REDIS_NODE_NULL_NAME
char slaveof[REDIS_CLUSTER_NAMELEN];
//发送者的端口号
uint16_t port;
//发送者的标识值
uint16_t flags;
//发送者所处集群的状态
unsigned char state;
//消息正文
union clusterMsgData data;
} clusterMsg;

clusterMsg.data 结构:

union clusterMsgData{
//MEET PING PONG 消息正文
struct{
//每条MEET PING PONG消息都包含两个 clusterMsgDataGossip 结构
clusterMsgDataGossip gossip[]
} ping;
//FAIL 消息正文
struct{
clusterMsgDataFail about;
} fali; //PUBLISH消息正文
struct{
clusterMsgDataPublish msg;
} publish;
}

clusterMsgDataGossip结构记录了选中节点的名字,发送者与被选中节点最后一次发送和接收PING消息和PONG消息的时间戳,被选中节点的IP地址和端口号,以及被选中节点的标识值:

typedef struct {
//节点的名字
char nodename[REDIS_CLUSTER_NAMELEN];
//最后一次向该节点发送PING消息的时间戳
uint32_t ping_sent;
//最后一次从该 节点接收到PONG消息的时间戳
uint32_t pong_received;
//节点的IP地址
char ip[];
//节点的端口号
uint16_t port;
//节点的标识值
uint16_t flags;
} clusterMsgDataGossip;

每天学一点,总会有收获。

说明:尊重作者知识产权,文中内容参考《Redis设计与实现》,仅在此做学习与大家分享。


Redis学习笔记(十八) 集群(下)的更多相关文章

  1. redis 学习笔记(6)-cluster集群搭建

    上次写redis的学习笔记还是2014年,一转眼已经快2年过去了,在段时间里,redis最大的变化之一就是cluster功能的正式发布,以前要搞redis集群,得借助一致性hash来自己搞shardi ...

  2. Redis学习笔记~conf自主集群模式

    回到目录 Redis自主提供了集群模式,当然也只是比较简单的读写分离模式,或者叫主从模式,它在各个redis服务端自己做数据同步机制,当然就是将主服务端的信息同步到各个slave服务器上,在客户端集成 ...

  3. python3.4学习笔记(十八) pycharm 安装使用、注册码、显示行号和字体大小等常用设置

    python3.4学习笔记(十八) pycharm 安装使用.注册码.显示行号和字体大小等常用设置Download JetBrains Python IDE :: PyCharmhttp://www. ...

  4. ZooKeeper学习笔记一:集群搭建

    作者:Grey 原文地址:ZooKeeper学习笔记一:集群搭建 说明 单机版的zk安装和运行参考:https://zookeeper.apache.org/doc/r3.6.3/zookeeperS ...

  5. 吴裕雄--天生自然HADOOP学习笔记:hadoop集群实现PageRank算法实验报告

    实验课程名称:大数据处理技术 实验项目名称:hadoop集群实现PageRank算法 实验类型:综合性 实验日期:2018年 6 月4日-6月14日 学生姓名 吴裕雄 学号 15210120331 班 ...

  6. Hadoop学习笔记—13.分布式集群中节点的动态添加与下架

    开篇:在本笔记系列的第一篇中,我们介绍了如何搭建伪分布与分布模式的Hadoop集群.现在,我们来了解一下在一个Hadoop分布式集群中,如何动态(不关机且正在运行的情况下)地添加一个Hadoop节点与 ...

  7. 利用Redis发布订阅完成tomcat集群下的消息通知

    以下为个人想法,如果有说的不对的地方请各位大佬见谅! 这是博主的第一篇博客,可能排版以及一些描述有不合理的地方还请勿喷,希望大家尽可能的多给我这样的新人一些鼓励让我能在写博客的道路上走下去. 进入正题 ...

  8. [redis读书笔记] 第二部分 集群

    1. 一个集群会包含多个节点(一个节点就是一个reid是服务器),CLUST MEET <ip><port>可以添加一个node到集群,命令执行后,两个node之间就会进行握手 ...

  9. 开源流媒体服务器SRS学习笔记(4) - Cluster集群方案

    单台服务器做直播,总归有单点风险,利用SRS的Forward机制 + Edge Server设计,可以很容易搭建一个大规模的高可用集群,示意图如下 源站服务器集群:origin server clus ...

  10. K8S学习笔记之CentOS7集群使用Chrony实现时间同步

    0x00 概述 容器集群对时间同步要求高,实际使用环境中必须确保集群中所有系统时间保持一致,openstack官方也推荐使用chrony代替ntp做时间同步. Chrony是一个开源的自由软件,像Ce ...

随机推荐

  1. 「雕爷学编程」Arduino动手做(19)—震动报警模块

    37款传感器与模块的提法,在网络上广泛流传,其实Arduino能够兼容的传感器模块肯定是不止37种的.鉴于本人手头积累了一些传感器和模块,依照实践出真知(一定要动手做)的理念,以学习和交流为目的,这里 ...

  2. .net core 3.1 使用nlog记录日志 NLog.Web.AspNetCore

    背景 .net core 中已经集成了log的方法, 但是只能控制台输出不能写入文件等等. 常见第三方的的日志工具包括log4net, nlog等等, 本文介绍nlog 一. 引用程序集, nuget ...

  3. scrapy爬取效率提升配置

    增加并发: 默认scrapy开启的并发线程为32个,可以适当进行增加.在settings配置文件中修改CONCURRENT_REQUESTS = 100值为100,并发设置成了为100. 降低日志级别 ...

  4. Gunicorn+Nginx+Flask项目部署

    安装python3.6 1)前往用户根目录 >: cd ~ 2)下载 或 上传 Python3.6.7 >: wget https://www.python.org/ftp/python/ ...

  5. centos 7 firewalld防火墙配置

    1.查看firewall服务状态 systemctl status firewalld 2.查看firewall的状态 firewall-cmd --state 3.开启.重启.关闭.firewall ...

  6. Less定义变量

    1. 定义: 使用 @ 符号来定义变量 ,在Less中开头是 @ 则是变量,关于变量的命名方法,大家可以参考js中命名的规则,毕竟是做前端的,有着统一的习惯有助于我们统一风格.个人推荐变量名的命名规则 ...

  7. Docker scratch 无法正常运行golang二进制程序的问题

    使用Docker构建容器能够极大的降低运维成本,提高部署效率,同时非常方便对服务的平行扩展.然而在构建容器镜像过程中的,存在着一个难以避免的问题,就是如果使用常见的发行版本作为程序运行的基础环境,那么 ...

  8. Unity 离线建造系统

    很多游戏,特别是养成类手游,都会有自己独特的建造系统,一个建造装置的状态循环或者说生命周期一般是这样的: 1.准备建造,设置各项资源的投入等 2.等待一段倒计时,正在建造中 3.建造结束,选择是否收取 ...

  9. ### MySQL主从搭建Position

    一.MySQL主从搭建 搭建主从架构的MySQL常用的有两种实现方式: 基于binlog的fileName + postion模式完成主从同步. 基于gtid完成主从同步搭建. 本篇就介绍如何使用第一 ...

  10. 安装和换源pip

    pip 是 Python 包管理工具,该工具提供了对Python 包的查找.下载.安装.卸载的功能 一.ubuntu安装和配置pip 1.进入终端,输入命令sudo su root ,输入密码后进入r ...