Zookeeper ZAB协议-客户端源码解析
因为在Zookeeper的底层源码中大量使用了NIO,线程和阻塞队列,在了解之前对前面这些有个基础会更容易理解
ZAB 是Zookeeper 的一种原子广播协议,用于支持Zookeeper 的分布式协调一致性和奔溃恢复的一种,但是ZAB 协议的源码比上一篇Zookeeper的Leader选举算法要复杂一些,所以分多篇进行分析
首先来一张简单的架构图,对Zookeeper客户端架构有个基本概念
这里从客户端开始,我们来看一下zk 的一个简单使用,下面是创建zk客户端,然后创建一个节点
new Zookeeper
见Zookeeper
zookeeper.create
见zookeeper.create
Zookeeper客户端初始化
Zookeeper
createConnection
实际上是创建了一个ClientCnxn
对象,在这个对象中保存了一些数据,比如苏红zookeeper
自身引用,监视器,sessionId
,过期时间,配置信息, 这里我们需要重点关注的是创建了两个线程sendThread
,eventThread
,这两个线程一个是用于发送数据,一个是用于事件处理的,详见ClientCnxn
zk 客户端启动,详见cnxn.start
ClientCnxn
ClientCnxn#start
cnxn.start
这里很简单,就是直接启动了初始化创建的两个线程,sendThread
,eventThread
, 因为这是两个线程,start 方法实际上是调用了该线程的run 方法
sendThread见 sendThread.run
eventThread 见 sendThread.run
SendThread#run
sendThread.run
因为这里暂时只分析主流程,有些分支流程就暂时先跳过了
这里主要是做了几件事,
1:zookeeper服务端连接,见sendThrad.startConnect
2:发送数据,见 ClientCnxnSocketNIO.doTransport
3:保持心跳连接,见
SendThread#startConnect
sendThrad.startConnect
因为我们这里采用的是默认的模式,在上文中已经创建了ClientCnxnSocketNIO
这个对象, 实际上就是使用NIO 的方式进行连接,具体如下图,代码很简单,如果有NIO 的基础,应该很好理解,就不再深入分析
ClientCnxnSocketNIO#doTransport
ClientCnxnSocketNIO.doTransport
我们默认是client 已经和ZK server 连接成功了,,这里线程已经启动完成了,然后阻塞在select 方法上,下面我们走zookeeper.create
的逻辑zookeeper.create
当执行完create后,selector 被唤醒了,同时outgoingQueue队列中存在数据,然后会执行后续发送数据的IO 操作,我们来看doIO
ClientCnxnSocketNIO#doIO
Zookeeper.create
在create方法中,主要是构建了请求参数,然后调用socket 的submitRequest
,提交请求服务端,详情见clientCnxn.submitRequest
ClientCnxn.submitRequest
总结一下:这里主要干下面几件事
1: 将请求参数封装成一个Packet,然后放到outgoingQueue
阻塞队列中,然sendThread 处理
2: 将当前线程wait 住, 等待完成或者请求超时后唤醒
3: 请求超时后的一些处理
ClientCnxn.queuePacket
ClientCnxnSocketNIO#doIO
在这个方法中主要执行两个步骤,因为代码较长,所以这一块分开进行分析
1:执行写事件
总结一下:
1:从一个outgoingQueue
队列中拿到一个Packet 数据, 因为前面我们执行create 逻辑的时候,已经往outgoingQueue
中放入数据了,所以这里是存在数据的
2: 如果这个Packet没有创建ByteBuffer
,那么创建一个ByteBuffer,并且赋值给packet 对象的bb 属性
3: 利用socket将packet数据发送出去
4:发送完成后,将packet数据添加到一个等待服务端响应的链表中
2:执行读事件
因为zk 请求会先发4个字节作为整个报文的长度,所以会创建一个指定大小的buffer空间来接收后续请求。具体读取数据在SendThread#readResponse
SendThread#readResponse
SendThread#readResponse
总结一下:在上述代码中总共干了几件事
1: 根据返回的数据类型,会走一些其他逻辑,比如心跳,权限认证
2: 如果返回的类型是-1, 说明是监听了节点数据变动后返回的结果,那么会创建一个监听结果事件放入到eventThrad 的waitingEvents 队列中,见EventThread#queueEvent
3: 如果是普通的结果,那么会从等待响应队列pendingQueue
中删除这次请求的packet
4: 根据packet 重置一些属性,比如事务id,反序列化响应信息
5: 执行结束packet 的方法,然后执行一些逻辑, 见ClientCnxn#finishPacket
ClientCnxn#finishPacket
EventThread#run
下面来看一下事件处理线程
eventThread run 方法总共执行了两个功能
1: 循环从事件的阻塞队列中获取事件
2: 执行事件 ClientCnxn.processEvent
ClientCnxn.processEvent
// 这里if 判断比较多,所以只展示了其中的一个同步的逻辑,有些分支逻辑是异步回调的逻辑
if (event instanceof WatcherSetEventPair) {
// each watcher will process the event
WatcherSetEventPair pair = (WatcherSetEventPair) event;
for (Watcher watcher : pair.watchers) {
try { // 在这里调用了我们传入的watcher 的process方法,实现通知
watcher.process(pair.event);
} catch (Throwable t) {
LOG.error("Error while calling watcher ", t);
}
}
}
EventThread#queueEvent
Zookeeper ZAB协议-客户端源码解析的更多相关文章
- FileZilla客户端源码解析
FileZilla客户端源码解析 FTP是TCP/IP协议组的协议,有指令通路和数据通路两条通道.一般来说,FTP标准命令TCP端口号是21,Port方式数据传输端口是20. FileZilla作为p ...
- 设置ZooKeeper服务器地址列表源码解析及扩展
设置ZooKeeper服务器地址列表源码解析及扩展 ZooKeeper zooKeeper = new ZooKeeper("192.168.109.130:2181",SESSI ...
- Netty5客户端源码解析
Netty5客户端源码解析 今天来分析下netty5的客户端源码,示例代码如下: import io.netty.bootstrap.Bootstrap; import io.netty.channe ...
- Feign 客户端源码解析
Feign的使用非常简单,增加如下配置之后,便可以使用Feign进行调用.非常简单是不是.主要的工作由Feign框架完成.业务代码只提供了一个Interface, 然后由Feign动态生成代理类来实现 ...
- Spring Cloud系列(四):Eureka源码解析之客户端
一.自动装配 1.根据自动装配原理(详见:Spring Boot系列(二):Spring Boot自动装配原理解析),找到spring-cloud-netflix-eureka-client.jar的 ...
- 第零章 dubbo源码解析目录
第一章 第一个dubbo项目 第二章 dubbo内核之spi源码解析 2.1 jdk-spi的实现原理 2.2 dubbo-spi源码解析 第三章 dubbo内核之ioc源码解析 第四章 dubb ...
- [源码解析] PyTorch 分布式(2) --- 数据加载之DataLoader
[源码解析] PyTorch 分布式(2) --- 数据加载之DataLoader 目录 [源码解析] PyTorch 分布式(2) --- 数据加载之DataLoader 0x00 摘要 0x01 ...
- zookeeper集群搭建及Leader选举算法源码解析
第一章.zookeeper概述 一.zookeeper 简介 zookeeper 是一个开源的分布式应用程序协调服务器,是 Hadoop 的重要组件. zooKeeper 是一个分布式的,开放源码的分 ...
- dubbo源码解析-zookeeper创建节点
前言 在之前dubbo源码解析-本地暴露中的前言部分提到了两道高频的面试题,其中一道dubbo中zookeeper做注册中心,如果注册中心集群都挂掉,那发布者和订阅者还能通信吗?在上周的dubbo源码 ...
- Zookeeper 源码(三)Zookeeper 客户端源码
Zookeeper 源码(三)Zookeeper 客户端源码 Zookeeper 客户端主要有以下几个重要的组件.客户端会话创建可以分为三个阶段:一是初始化阶段.二是会话创建阶段.三是响应处理阶段. ...
随机推荐
- centos7 开机自启动脚本
两种实现方式 方法1:(rc.local) 1.因为在centos中/etc/rc.d/rc.local的权限被降低了,所以需要赋予其可执行权 chmod +x /etc/rc.d/rc.local ...
- el-inpu 输入框,输入一个字符失去焦点,不能连续输入问题
问题出现的原因:输入框绑定值改变导致代码从新渲染 <div v-for="(x,index) in item.newAttrs " :key="x.en" ...
- 初始化控件panel大小和相对父容器居中
/// <summary> /// 初始化界面大小 /// </summary> protected void InitForm() { int winwith = Scree ...
- nacos启动报错
Caused by: com.alibaba.nacos.api.exception.NacosException: Nacos Server did not start because dumpse ...
- CentOS7 yum设置阿里源
1.备份 mv /etc/yum.repos.d/CentOS-Base.repo /etc/yum.repos.d/CentOS-Base.repo.backup 2.下载新的CentOS-Base ...
- 2022-04-26内部群每日三题-清辉PMP
1.一家组织的经验教训数据库表明过去的重大项目问题是质量失败.项目经理在制定质量管理过程时决定做得更彻底.为确保质量,项目经理应该怎么做? A.根据项目的范围和需求制定质量管理计划. B.将所有质量控 ...
- iview、render使用方法
1.<Table size="large" :columns="columns7" :data="labelInput.label" ...
- Docker 对于容器的增删查命令
列出所有容器 ID 1 docker ps -aq 停止所有容器 1 docker stop $(docker ps -aq) 停止单个容器 1 docker stop 要停止的容器名 删除所有容器 ...
- LogAgent —— etcd+kafka+zookeeper+go实现实时读取日志发送到kafka,并实现热加载配置读取的日志路径
工具包目录结构: .├── conf│ ├── logAgent.ini│ └── logAgentConfig.go├── etcd│ └── etcd.go├── kafka│ └ ...
- C# 读取电脑CPU、主板、硬盘序列号等信息
ManagementObjectSearcher 解析不到头文件,需要手动 Add Referance 需要添加引用:System.Management,然后引入命名空间:using System.M ...