Zookeeper —— 一致性协议
一致性协议
为了解决分布式系统中存在的一致性问题,提出了一些经典的一致性协议和算法。
其中著名的有:二阶段提交协议、三阶段提交协议和 Paxos 算法。
2PC 与 3PC
2PC
2pc(Two-Phase Commit),即二阶段提交,是为了分布式系统架构下所有节点在进行事物处理过程中能够保持原子性和一致性而设计的一种算法。
二阶段提交协议也被认为是一种一致性协议,用来保证分布式系统数据的一致性。
大部分的关系型数据库都是采用二阶段提交协议。
核心是先尝试后提交的处理方式;
阶段一:提交事务请求
事务询问
协调者向所有参与者广播事务内容,询问是否可以执行事务提交操作,之后开始等待参与者的响应;
执行事务
各参与者节点执行事务操作,并将 Undo 和 Redo 信息记入事务日志中;
各参与者向协调者反馈事务询问的响应
如果参与者成功执行事务操作,将反馈 Yes 给协调者,表示事务可以执行;如果没有成功执行,则反馈 No;
阶段二:执行事务提交
如果协调者收到的反馈都是 Yes,则执行事务提交:
发送提交请求
协调者向所有参与者节点发送 Commit 请求;
事务提交
参与者收到 Commit 请求后,执行事务提交操作,在完成提交后释放事务占用资源;
反馈事务提交
参与者完成事务提交后,向协调者发送 Ack 消息;
完成事务
协调者收到所有参与者 Ack 消息后,完成事务;
如果协调者收到一个 No,或等待超时后无法收到所有反馈,则执行中断事务:
发送回滚请求;
事务回滚;
参与者接收到 Rollback 请求后,利用阶段一中记录的 Undo 信息来执行事务回滚操作;
反馈事务回滚结果;
中断事务;
缺点
同步阻塞:二阶段提交的执行过程中,各参与者都在等待其他参与者响应过程;
单点问题:协调者出问题,整个流程无法运转;如果阶段二出现问题,那被锁定的事务无法释放;
数据不一致:
太过保守:二阶段提交协议没有完善的容错机制,任意一个节点失败都会导致整个事务失败;
3PC
3pc(Three-Phase Commit),即三阶段提交,是二阶段提交的改进版;
将二阶段提交协议的”提交事务请求“过程一分为二,形成了 CanCommit、PreCommit 和 do Commit 三个阶段组成的事物处理协议。
协调者和参与者都引入超时机制;
优缺点:
相较于二阶段提交协议,三阶段提交协议最大的优点就是降低了参与者的阻塞范围;
在第二接单,如果参与者等待超时,则中断事务;
在第三阶段,如果协调者出现问题,参与者会收不到 do-commit 或者 rollback,等待超时后,还是会继续 commit,相当于解决了阻塞问题,但无法避免数据不一致的问题;
ZAB 协议
Zookeeper 使用 Zookeeper Atomic Broadcast(ZAB,Zookeeper 原子消息广播协议)的协议作为其数据一致性的核心算法。
ZK 使用一个单一的主进程来保持集群中各副本之间数据的一致性;
将服务器数据的状态变更以事物 Proposal 的形式广播到所有的副本进程上去;
ZAB 协议包括两种基本模式:崩溃恢复 和 消息广播
ZXID
消息广播
示意图:
详细过程:
Leader 服务器会为每个事物请求生成对应的 Proposal 来进行广播,并在广播之前为 Proposal 分配一个全局单调递增的唯一 ID(即 ZXID);
Leader 服务器为每个 Follower 服务器各自分配一个单独的队列,将要广播的 Proposal 依次放入队列中,并根据 FIFO 策略进行消息发送;
每个 Follower 服务器在收到 Proposal 后,会先将其以事物日志的形式写入本地磁盘,写入成功后,给 Leader 返回 Ack;
当 Leader 收到超过半数 Follower 的 Ack 响应后,就会广播 Commit 消息给所有 Follower 服务器通知其开始事物提交;
存在问题:无法处理 Leader 服务器崩溃退出而带来的数据不一致问题,所以 ZAB 协议增加了 崩溃恢复 模式;
崩溃恢复
当服务框架在启动中或 Leader 服务器出现网络中断、崩溃、重启情况时,ZAB 协议就会进入恢复模式并选举新的 Leader;
选举 Leader
ZAB 协议要确保已经在 Leader 服务器提交的事物最终被所有服务器都提交;
ZAB 协议需要确保丢弃那些只在 Leader 服务器上被提出的事物;
完成 Leader 选举后
正常情况的数据同步
Leader 服务器首先确认本地事物日志中的所有 Proposal 是否都已经被集群中过半的机器提交,即是否已完成数据同步;
Leader 会为每一个 Follower 服务器准备一个队列,并将没有被各 Follower 服务器同步的事物以 Proposal 消息的形式,广播给 Follower 服务器;
并在 Proposal 消息之后,紧跟发送 Commit 消息,以表示该事物已经提交;
等 Follower 服务器将所有尚未同步的事物 Proposal 都从 Leader 服务器同步过来并应用到本地数据库后,Leader 会将 Follower 加入真正可用的 Follower 列表中;
处理需要被丢弃的事物 Proposal
在 ZAB 协议的事物编号 ZXID 设计中,ZXID 是一个 64 位的数字,低 32 位是简单单调递增计数器,每一个客户端请求 Leader 生成新事物 Proposal 对该计数器 +1;
高 32 位表示 Leader 周期 epoch 编号,每当选举产生一个新的 Leader 服务器,就会从这个 Leader 服务器上取出本地日志最大失误 Proposal 的 ZXID,并从 ZXID 中解析出对应的 epoch 值,并 +1,之后就以此编号作为新的 epoch,并将低 32 位,置 0 来开始新的 ZXID;
当过半机器与 Leader 完成状态同步后,ZAB 协议退出恢复模式;
Zookeeper 的 Leader 选举过程
集群启动时,Leader 选举
集群运行时,Leader 选举
参考
https://dbaplus.cn/news-141-1875-1.html
Zookeeper —— 一致性协议的更多相关文章
- ZooKeeper 一致性协议 ZAB 原理
一致性协议有很多种,比如 Paxos,Raft,2PC,3PC等等,今天我们讲一种协议,ZAB 协议,该协议应该是所有一致性协议中生产环境中应用最多的了.为什么呢?因为他是为 Zookeeper 设计 ...
- Zookeeper一致性协议原理Zab
ZooKeeper为高可用的一致性协调框架,自然的ZooKeeper也有着一致性算法的实现,ZooKeeper使用的是ZAB协议作为数据一致性的算法, ZAB(ZooKeeper Atomic Bro ...
- Zookeeper——一致性协议:Zab协议
Reference: https://www.jianshu.com/p/2bceacd60b8a 什么是Zab协议 Zab 协议的作用 Zab 协议原理 Zab 协议核心 Zab 协议内容 原子广播 ...
- Zookeeper一致性协议——ZAB
ZAB协议简介 Zookeeper通过ZAB保证分布式事务的最终一致性. ZAB全称Zookeeper Atomic Broadcast(ZAB,Zookeeper原子消息广播协议) ZAB是一种专门 ...
- Zookeeper——分布式一致性协议及Zookeeper Leader选举原理
文章目录 一.引言 二.从ACID到CAP/BASE 三.分布式一致性协议 1. 2PC和3PC 2PC 发起事务请求 事务提交/回滚 3PC canCommit preCommit doCommit ...
- Zookeeper的一致性协议:Zab(转)
Zookeeper使用了一种称为Zab(Zookeeper Atomic Broadcast)的协议作为其一致性复制的核心,据其作者说这是一种新发算法,其特点是充分考虑了Yahoo的具体情况:高吞吐量 ...
- Zookeeper的一致性协议:Zab
Zookeeper使用了一种称为Zab(Zookeeper Atomic Broadcast)的协议作为其一致性复制的核心,据其作者说这是一种新发算法,其特点是充分考虑了Yahoo的具体情况: ...
- 分布式一致性协议之:Zab(Zookeeper的分布式一致性算法)
Zookeeper使用了一种称为Zab(Zookeeper Atomic Broadcast)的协议作为其一致性复制的核心,据其作者说这是一种新发算法,其特点是充分考虑了Yahoo的具体情况:高吞吐量 ...
- zookeeper中的分布式一致性协议
1. zookeeper中的一致性协议-ZAB协议 在深入了解ZK之前,相信很多同学都会认为ZK就是Paxos算法的一个实现.但事实上,ZK并没有完全采用Paxos算法,而是使用了一种称为ZooKee ...
随机推荐
- refine OpenRefine 3.0
refine 英[rɪˈfaɪn] 锐烦嗯 美[rɪˈfaɪn] vt. 提炼; 改善; 使高雅; == explore 英 [ɪkˈsplɔ:(r)] 一颗四普罗 美 [ɪkˈsplɔr] vi.勘 ...
- IntelliJ IDEA使用教程(简介)
最智能的IDE IDEA 全称IntelliJ IDEA 是java语言开发的集成环境,IntelliJ在业界被公认为最好的java开发工具之一,尤其在智能代码助手.代码自动提示.重构.J2EE支 ...
- CC2431 代码分析③-忍辱负重的CC2430
这节主要分析CC2430的代码,是参考节点的代码,协调器代码我们放到最后分析. 代码分析的原则是事件为导向,我们从CC2431 盲节点code的分析中发现CC2431 向CC2430参考节点发送的信息 ...
- 潭州课堂25班:Ph201805201 django 项目 第二十七课 docker简介,配置文件 (课堂笔记)
新闻搜索功能实现 一.docker介绍 1.什么是docker? 使用容器让创建.部署.运行应用程序更简单的一个工具 让应用所需的库和依赖环境打包 有一点点像虚拟机 2.为什么使用docker? 3. ...
- SSH(Spring SpringMVC Hibernate)框架整合
项目说明: 使用SSH(Spring SpringMVC Hibernate)框架整合添加部门功能 项目结构 1.导入依赖jar包 <!--单测--> <dependency&g ...
- Stm32常见英文缩写
Stm32常见英文缩写 https://wenku.baidu.com/view/4b9c2eee5022aaea998f0f5b.html STM32嵌入式开发常见缩写 https://wenku. ...
- 自己遇到过的出现java.lang.StackOverflowError的原因
public static JSONArray geth24Weather(String result) {//获取当天24小时以及第二天的天气结果对象 JSONObject fromO ...
- ASP.NET WebApi 基于OAuth2.0实现Token签名认证
一.课程介绍 明人不说暗话,跟着阿笨一起玩WebApi!开发提供数据的WebApi服务,最重要的是数据的安全性.那么对于我们来说,如何确保数据的安全将是我们需要思考的问题.为了保护我们的WebApi数 ...
- 对Android中的堆栈的理解(Stack)
版权声明:本文为博主原创文章,未经博主允许不得转载. https://blog.csdn.net/Ln_ZooFa/article/details/50337529 堆栈空间分配 栈(操作系统): ...
- 为Ubuntu新创建用户创建默认.bashrc并自动加载
首先,su – 到新创建的用户 拷贝默认的.bashrc过来 1 cp /etc/skel/.bashrc ~/ 然后创建.profile文件 1 vi ~/.profile 粘贴下面的内容 ...