Zookeeper系列六:服务器角色、序列化与通信协议、数据存储、zookeeper总结
一、服务器角色
1. Leader
1)事务请求的唯一调度者和处理者。保证事务处理的顺序性
事务请求:导致数据一致性的请求(数据发生改变)。如删除一个节点、创建一个节点、设置节点数据,设置节点权限就是一个事物请求,全局的事物id(zxid)只能由leader来分配
2)集群内部个服务器之间的调度者
2. Follower
1)处理客户端的非事务请求。事务请求必须转发给Leader服务器。
非事物请求:读取数据
2)参与事务请求Proposal(议案)的投票
3)参与Leader选举
3. Observer
在实际运行中,它只是负责读,Leader不会将事务的投票发送给Observer。
在zk的配置server.1=master:2888:3888后面加:observer以后就是一个Observer
server.1=master:2888:3888:observer
二、序列化与通信协议
1. zookeeper序列化
常见序列化协议:
ProtoBuf
Thrift
Hessian
Kryo
Avro
JDK Serializable
Jsoniter/Jackson
Jute是zookeeper序列化、反序列化协议。
2. zookeeper通信协议
基于TCP/IP协议,所以是一个长连接。zookeeper在这个基础上完成客户端和服务器,服务器和服务器之间的通信。
zookeeper请求包:请求头+请求体
0-3 |
4-11 |
12-n |
|||
len |
4-7 |
8-11 |
12-15 |
16-(n-1) |
n |
xid |
type |
len |
path |
watch |
zookeeper响应包:响应头+响应体
0-3 |
4-19 |
20 - n |
|||||
len |
4-7 |
8-15 |
16-19 |
20-23 |
len位 |
48位 |
8位 |
xid |
zxid |
err |
len |
data |
...... |
pzxid |
0-3位:version+dbid+magic(魔数)
三、数据存储
1. 内存数据
Zk有个内存数据库:ZkDataBase、DataTree、DataNode
2. 日志数据FileTxnLog
运行时,不停地有数据写入。
当日志的剩余空间不足4K(4096),日志就做扩充,扩充64M,后面以“0”填充。
log都是使用zxid作为文件名的后缀。
查看日志方式:
cd /software/zookeeper-3.4.6
java -cp ./zookeeper-3.4.6.jar::./lib/log4j-1.2.16.jar:./lib/slf4j-api-1.6.1.jar:./lib/slf4j-log4j12-1.6.1.jar org.apache.zookeeper.server.LogFormatter /zookeeper/zk1/version-2/log.100000001
说明:
1)必须在zookeeper的安装目录下执行
2)/zookeeper/zk1/是zookeeper配置文件里面配置的数据目录(dataDir)
3. 快照数据
快照数据:在某一时刻内存所有全量数据的一个磁盘文件。举例:快照阈值100000,触发快照数据。
快照数据都是使用Zxid作为文件名的后缀。这样的话,获取快照数据的时候就不用遍历了,直接根据Zxid去获取就行了
查看快照命令:
cd /software/zookeeper-3.4.6
java -cp ./zookeeper-3.4.6.jar::./lib/log4j-1.2.16.jar:./lib/slf4j-api-1.6.1.jar:./lib/slf4j-log4j12-1.6.1.jar org.apache.zookeeper.server.SnapshotFormatter /zookeeper/zk1/version-2/snapshot.100000050
说明:
1)必须在zookeeper的安装目录下执行
2)/zookeeper/zk1/是zookeeper配置文件里面配置的数据目录(dataDir)
快照触发机制,非“半数机制”,过半随机策略。
logcount > (snapcount/2 + randroll)
logcount: 代表当前记录日志数量
snapcount: 多少次事务日志记录后触发一次数据快照
randroll: 1~snapcount/2 之间的一个随机数
四、zookeeper总结
ZK在分布式系统中的各种应用,本质其实就是对节点的创建,删除,数据更新等事件做监听,监听到以后做对应的操作
ZK是观察者设计模式
都是为了解决高可用,解决单点故障问题,数据可靠性
Zookeeper系列六:服务器角色、序列化与通信协议、数据存储、zookeeper总结的更多相关文章
- ios 沙盒 NSCoding(相当于JAVA对象序列化) 归档 数据存储
通过NSCoding能实现像JAVA一样能够实现对象的序列化,可以保存对象到文件里. NSCoding 跟其他存储方式略有不同,他可以存储对象 对象存储的条件是: 对象需要遵守 NSCoding 协议 ...
- 大数据之 ZooKeeper原理及其在Hadoop和HBase中的应用
ZooKeeper是一个开源的分布式协调服务,由雅虎创建,是Google Chubby的开源实现.分布式应用程序可以基于ZooKeeper实现诸如数据发布/订阅.负载均衡.命名服务.分布式协调/通知. ...
- 【分布式】Zookeeper序列化及通信协议
一.前言 前面介绍了Zookeeper的系统模型,下面进一步学习Zookeeper的底层序列化机制,Zookeeper的客户端与服务端之间会进行一系列的网络通信来实现数据传输,Zookeeper使用J ...
- ZooKeeper系列(6):ZooKeeper的伸缩性和Observer角色
ZooKeeper系列文章:https://www.cnblogs.com/f-ck-need-u/p/7576137.html#zk 1.ZooKeeper中的角色 在比较老的ZooKeeper版本 ...
- zookeeper系列(七)zookeeper的序列化及通讯协议
作者:leesf 掌控之中,才会成功:掌控之外,注定失败.原创地址http://www.cnblogs.com/leesf456/p/6091208.html尊重作者原创,奇文共欣赏,大家共同学 ...
- 【分布式】Zookeeper的服务器角色
一.前言 前一篇已经详细的讲解了Zookeeper的Leader选举过程,下面接着学习Zookeeper中服务器的各个角色及其细节. 二.服务器角色 2.1 Leader Leader服务器是Zook ...
- Zookeeper(六)服务器
Zookeeper(六)服务器 zkServer.cmd中声明 首先启动QuorumPeerMain set ZOOMAIN=org.apache.zookeeper.server.quorum.Qu ...
- zookeeper系列(六)zookeeper的系统模型(数据树)
作者:leesf 掌控之中,才会成功:掌控之外,注定失败. 出处:http://www.cnblogs.com/leesf456/p/6072597.html尊重作者原创,奇文共欣赏,大家共同学 ...
- zookeeper系列(八)zookeeper客户端的底层详解
作者:leesf 掌控之中,才会成功:掌控之外,注定失败.出处:http://www.cnblogs.com/leesf456/p/6098255.html 尊重原创,共同学习进步: 一.前言 ...
随机推荐
- NodeJS 模块&函数
NodeJS 模块&函数 nodejs的多文件操作通过模块系统实现,模块和文件一一对应.文件本身可以是javascript代码.JSON或编译过的C/C++扩展 基本用法 nodeJS通过ex ...
- linux 时间同步的2种方法(转)
linux 时间同步的2种方法 张映 发表于 2012-10-23 分类目录: 服务器相关 标签:linux, ntp, 同步, 时间服务器 由于硬件的原因,机器或多或少的根标准时间对不上,一个月的误 ...
- Selenium环境搭建---C#
最近在学习Selenium,主要看的是C#版和java版,目前先搭建好了C#的环境,java的后期再搭建,这里先总结一下在vs2013里搭建环境时所遇到的坑,以便分享和后期避免. 首先就是seleni ...
- javagc日志详解
https://blog.csdn.net/aliveTime https://plumbr.io/blog/garbage-collection/understanding-garbage-coll ...
- 使用Qemu运行Ubuntu文件系统(1)
参考 https://blog.csdn.net/mountzf/article/details/51707853 https://blog.csdn.net/stephen_lu_fahai/art ...
- Netty buffer缓冲区ByteBuf
Netty buffer缓冲区ByteBuf byte 作为网络传输的基本单位,因此数据在网络中进行传输时需要将数据转换成byte进行传输.netty提供了专门的缓冲区byte生成api ByteBu ...
- React组件间的通信
1.子组件调用父组件,采用props的方式进行调用和赋值,在父组件中设置相关属性值或者方法,子组件通过props的方式进行属性赋值或者方法调用: 2.父组件调用子组件,采用refs的方式进行调用,需要 ...
- RabbitMQ 可靠投递
RabbitMQ 可靠投递 标签: RabbitMQ shovel-plugin ConfirmCallback RabbitMQ消息投递 背景 confirmCallback 确认模式 return ...
- 转:C# Delegate委托 1
Delegate中文翻译为“委托”.MSDN中对Delegate的解释如下: C#中的委托类似于C或C++中的函数指针.使用委托使程序员可以将方法引用封装在委托对象内.然后可以将该委托对象传递给可调用 ...
- 如何对正在运行的进程,进行heap profile
简单来说, 就是先preload上tcmalloc, 日常用用没啥问题, 当感觉出现问题时, gdb attach 上, 然后执行 call HeapProfilerStart("xxx&q ...