中小研发团队架构实践之分布式协调器ZooKeeper
Apache ZooKeeper是由Apache Hadoop的子项目发展而来,于2010年11月正式成为了Apache的顶级项目。
ZooKeeper是一个开放源代码的分布式协调服务。它具有高性能、高可用的特点,同时也具有严格的顺序访问控制能力(主要是写操作的严格顺序性)。基于对ZAB协议(ZooKeeper Atomic Broadcast,ZooKeeper原子消息广播协议)的实现,它能够很好地保证分布式环境中数据的一致性。也正是基于这样的特性,使得ZooKeeper成为了解决分布式数据一致性问题的利器。
ZooKeeper整体架构
请见上图,文字说明如下:
ZooKeeper由两部分组成:ZooKeeper服务端和客户端。
ZooKeeper服务器采用集群的形式。值得一提的是,只要集群中存在超过一半的、处于正常工作状态的服务器,那么整个集群就能够正常对外服务。组成ZooKeeper集群的每台服务器都会在内存中维护当前的ZooKeeeper服务状态,并且每台服务器之间都互相保持着通信。
客户端在连接ZooKeeper服务集群时,会按照一定的随机算法选择集群中的某台服务器,然后和它共同创建一个TCP连接,使客户端连上到那台服务器。而当那台服务器失效时,客户端自动会重新选择另一台服务器进行连接,从而保证服务的连续性。
当其中一个客户端修改数据时,ZooKeeper会将修改同步到集群中所有的服务器上,从而使连接到集群中其它服务器上的客户端也能立即看到修改后的数据,很好地保证了分布式环境中数据的一致性。
ZooKeeper数据模型
请见上图,文字说明如下:
Zookeeper的数据模型采用类似于文件系统的树结构。树上的每个节点称为ZNode,而每个节点都可能有一个或者多个子节点。ZNode的节点路径标识方式是由一系列斜杠【/】进行分割的路径表示。
可以向ZNode节点写入、修改、读取数据,也可以创建、删除ZNode节点或ZNode节点下的子节点。值得注意的是,ZooKeeper的设计目标不是传统的数据库存储或者大数据对象存储,而是协同数据的存储,因此在实现时ZNode存储的数据大小不应超过1MB。另外,每一个节点都有个ACL(Access Control List,访问控制列表),据此控制该节点的访问权限。
ZNode数据节点是有生命周期的,其生命周期的长短取决于数据节点的节点类型。节点类型共有4种:持久节点(PERSISTENT)、持久顺序节点(PERSISTENT_SEQUENTIAL)、临时节点(EPHEMERAL)、临时顺序节点(EPHEMERAL_SEQUENTIAL)。
ZooKeeper的Watcher机制,概括为三个过程:客户端注册Watcher成为订阅者、服务端处理Watcher以及客户端回调Watcher。
客户端在自己需要关注的位于ZooKeeper服务器里的ZNode节点上注册一个Watcher监听后,一旦这个ZNode节点发生变化,则在该节点上注册过Watcher监听的所有客户端会收到ZNode节点变化通知。在收到通知时,客户端通过回调Watcher做相应的处理,从而实现特定的功能。
通过对ZooKeeper中丰富的数据节点类型进行交叉使用,配合Watcher事件通知机制,可以非常方便地构建分布式应用中都会涉及的核心功能,如:数据发布/订阅(即配置中心)、负载均衡、命名服务、分布式协调/通知、集群管理、Master选举、分布式锁和分布式队列等。
Demo中的【ConfigServiceDemo(配置服务Demo)】适用于ZooKeeper的配置中心应用场景:
应用中用到的一些常用配置信息放到ZooKeeper的一系列ZNode节点上,供应用获取配置数据;同时,如果某应用在需要关注的配置项节点上注册了个Watcher,则以后每次被关注的配置项有更新的时候,都会实时通知到该应用,从而达到获取最新配置信息的目的。
a. 减少我们的运维工作人员的工作量:当公司的应用程序以集群环境模式被部署的时候,若第1次部署应用程序或遇到需要配置新增/修改/删除的情况,我们的运维工作人员不得不为集群中的每台服务器进行一台一台地修改。而利用了ZooKeeper后,他们只需要修改一次,就能为集群中的所有服务器完成配置新增/修改/删除。
b. 使任意客户端能够看到即时生效的被改后的配置数据:目前现状:由于运维工作人员需要为集群中的每台服务器进行一台一台地配置修改,而导致出现了配置延时问题,使得集群中的每台服务器的配置数据不一致。也就是说,客户端(如应用程序)可能会无法立即读取到最新的配置值,需要过段时间后才能读取到。当运维工作人员利用ZooKeeper修改配置数据后,新的配置数据会立即被同步到集群中的所有服务器,从而保证集群中的所有服务器的配置数据对于任意客户端而言每时每刻都是准确无误的(可选加Watcher)。
下图显示的是ZooKeeper配置服务页面。
我们都知道,集群中的服务器一般只有1台起着Master角色。一旦这台具有Master角色的服务器出现宕机情况,则就出现了服务器单点故障问题。并且,我们并不知道这台具有Master角色的服务器是从什么时候开始处于宕机状态。利用ZooKeeper的“对在ZooKeeper上创建的临时顺序节点(EPHEMERAL_SEQUENTIAL),一旦创建它的客户端与ZooKeeper服务集群之间的会话失效,那么该临时节点也就被自动清除”这一特性,再加上Watcher事件通知机制的使用,就能够解决服务器的单点故障问题——一旦当前具有Master角色的服务器宕机了,它创建的临时顺序节点(EPHEMERAL_SEQUENTIAL)会马上消失;紧接着集群中注册过Watcher的所有服务器会马上收到当前Master服务器已宕机的通知,然后将重新进行Master选举。
- ZooKeeperDemo下载地址:https://github.com/das2017/ZooKeeperDemo
- ZooKeeper(v3.4.10) 官网:http://zookeeper.apache.org/doc/r3.4.10/
- ZooKeeper客户端下载地址:https://github.com/ewhauser/zookeeper
中小研发团队架构实践之分布式协调器ZooKeeper的更多相关文章
- 中小研发团队架构实践之分布式协调器.Net版ZooKeeper
原文:中小研发团队架构实践之分布式协调器.Net版ZooKeeper 一.ZooKeeper是什么 Apache ZooKeeper是由Apache Hadoop的子项目发展而来,于2010年11月 ...
- 中小型研发团队架构实践:分布式协调服务ZooKeeper
一.ZooKeeper 是什么 Apache ZooKeeper 由 Apache Hadoop 的子项目发展而来,于 2010 年 11 月正式成为了 Apache 的顶级项目. 相关厂商内容 优秀 ...
- 中小型研发团队架构实践:任务调度Job
一.Job 简介 Job 类似于数据库中的作业,多用于实现定时执行任务.适用场景主要包括定时轮询数据库同步.定时处理数据.定时邮件通知等. 我们的 Job 分为操作系统级别定时任务 WinJob 和 ...
- 中小型研发团队架构实践:Redis快速入门及应用
Redis的使用难吗?不难,Redis用好容易吗?不容易.Redis的使用虽然不难,但与业务结合的应用场景特别多.特别紧,用好并不容易.我们希望通过一篇文章及Demo,即可轻松.快速入门并学会应用. ...
- 中小研发团队架构实践之RabbitMQ快速入门及应用
原文:中小研发团队架构实践之RabbitMQ快速入门及应用 使用过分布式中间件的人都知道,程序员使用起来并不复杂,常用的客户端API就那么几个,比我们日常编写程序时用到的API要少得多.但是分布式中间 ...
- 中小研发团队架构实践之生产环境诊断工具WinDbg 三分钟学会.NET微服务之Polly 使用.Net Core+IView+Vue集成上传图片功能 Fiddler原理~知多少? ABP框架(asp.net core 2.X+Vue)模板项目学习之路(一) C#程序中设置全局代理(Global Proxy) WCF 4.0 使用说明 如何在IIS上发布,并能正常访问
中小研发团队架构实践之生产环境诊断工具WinDbg 生产环境偶尔会出现一些异常问题,WinDbg或GDB是解决此类问题的利器.调试工具WinDbg如同医生的听诊器,是系统生病时做问题诊断的逆向分析工具 ...
- 中小型研发团队架构实践八:分布式协调服务ZooKeeper
一.ZooKeeper 是什么 Apache ZooKeeper 由 Apache Hadoop 的子项目发展而来,于 2010 年 11 月正式成为了 Apache 的顶级项目. ZooKeeper ...
- 中小型研发团队架构实践六:如何用好消息队列RabbitMQ?
一.写在前面 使用过分布式中间件的人都知道,程序员使用起来并不复杂,常用的客户端 API 就那么几个,比我们日常编写程序时用到的 API 要少得多.但是分布式中间件在中小研发团队中使用得并不多,为什么 ...
- 中小研发团队架构实践之微服务MSA
一.MSA简介 1.1.MSA是什么 微服务架构MSA是Microservice Architecture的简称,它是一种架构模式,它提倡将单一应用程序划分成一组小的服务,服务之间互相通讯.互相配合, ...
随机推荐
- maven包加载
1) IDEA包加载pom.xml配置 <build> <sourceDirectory>src/main/java</sourceDirectory> ...
- 学习Layui 第一天
Layui 官网说这是款经典模块化前端框架 个人觉得Layui很好用,容易上手. 在学习Layui的之前.先去官网下载必要的文件 将这些文件放入项目当中 然后可以到官网看一下示例. 可以做一个简单的表 ...
- textarea 里设置 style="resize:none"
禁止textarea拉伸的方法是:: 设置这个 style="resize:none" 属性 例子: < ...
- Oracle数据库查询优化方案(处理上百万级记录如何提高处理查询速度)
1.对查询进行优化,应尽量避免全表扫描,首先应考虑在 where 及 order by 涉及的列上建立索引.2.应尽量避免在 where 子句中对字段进行 null 值判断,否则将导致引擎放弃使用索引 ...
- 设计模式(Design Patterns)Java版
设计模式(Design Patterns) ——可复用面向对象软件的基础 设计模式(Design pattern)是一套被反复使用.多数人知晓的.经过分类编目的.代码设计经验的总结.使用设计模式是为了 ...
- 基于Emit实现的C#版本的BeanCopier
在java的技术栈当中,著名的Cglib库里面有一个BeanCopier,这个类的功能就是可以完成两个对象的属性复制工作(哪怕属于两个不同的类). 今天本人通过.net内置的System.Reflec ...
- VMware12下CentOS 7安装教程
CentOS 7 DVD安装光盘(百度搜索CentOS即可找到官方主页):VMware Workstation 12 Pro及以上软件: 启动VMware Workstation 12 Pro程序,在 ...
- 连接Redis后执行命令错误 MISCONF Redis is configured to save RDB snapshots
今天在redis中执行setrange name 1 chun 命令时报了如下错误提示: (error) MISCONF Redis is configured to save RDB snapsho ...
- Netty 学习 一、初识Netty【原创】
在过去几年的工作和学习中,比较关注高层次的应用开发,对底层探究较少.实现Web应用的开发,主要依赖Tomcat.Apache等应用服务器,程序员无需了解底层协议,但同样限制了应用的性能和效率.现在开始 ...
- 关于crontab命令
crontab命令 crontab命令常见于Unix和类Unix的操作系统之中,用于设置周期性被执行的指令.该命令从标准输入设备读取指令,并将其存放于"crontab"文件中,以供 ...