zookeeper是一个分布式的,开源的分布式应用程序,该程序主要用于管理其他分布式应用程序。其他分布式应用程序可以基于zookeeper实现数据同步,配置维护和命名服务等等。zookeeper是Hadoop的一个子项目,由于在原有的分布式应用系统中,工程师不能很好的使用锁机制,或者基于消息的协调机制不适合在某些应用中使用,因此需要一种可靠的,可扩展的,分布式的,可配置的协调机制来统一系统的状态,Zookeeper的作用就在于此。本文简单介绍Zookeeper的相关名词概念,然后简单介绍其工作原理。

zookeeper概念

  • zookeeper主要角色

    zookeeper中的角色分类表如下所示:

    

  • zookeeper系统模型

    

  • zookeeper系统设计目的
  1. 最终一致性:client无论连接到哪个Server,展现给它的是同一个视图,这是zookeeper最重要的特性;
  2. 可靠性:具有简单、健壮、良好的性能,如果消息Message被一台服务器接受,那么他将被所有的服务器接受;
  3. 实时性:zookeeper保证client端在一个时间间隔范围内获取到服务器端的更新信息,或者服务器的失效信息。但由于网络延迟等原因,zookeeper无法保证两个客户端能够同时获取到Server端刚更新的信息,如果需要最新数据,应该在读取数据之前调用sync()接口。
  4. 等待无关性:慢的或者失效的client不得影响快速的client的请求,保证每个client的等待都是有效的;
  5. 原子性:更新只能成功或者失败,没有中间状态。
  6. 顺序性:包括全局有序或者片序两种:全局有序是在Server集群中,如果有一台上的消息a在消息b前发布,那么所有Server上的消息a均在消息b前被发布;片序是指客户端的更新顺序与它们被发送的顺序相一致。
  • zookeeper相关名词概念

    • ZNode:zookeeper树的节点称作ZNode。ZNode会维护一个包含数据信息和ACL(访问控制列表)修改版本号的Stat结构体,这个结构体还包括时间戳字段。版本号和时间戳可以让Zookeeper校验缓存,协调更新。每次修改Znode数据的时候,版本号都会增加。客户端获取数据的同时,也会获得数据的版本号。
    • ZNode观察:ZNode是程序员主要访问的实体,客户端可以在znode上设置观察点,客户端对znode的创建、修改、读取等操作会触发观察事件,当观察事件被触发时,Zookeeper向客户端发出一个通知。
    • Znode数据存取:存储在每个znode节点上的数据都是原子性的读取和写入。节点的ACL可以控制进行操作的用户。
    • 临时节点:zookeeper有临时节点的概念。临时节点在创建他的会话活动期间存在,会话终止的时候,临时节点会被删除,所以临时节点不能有子节点。
    • Zookeeper中的时间:zxid,zookeeper事物ID,事物ID是zoookeeper中所有修改的标记次序,如果zxid1<zxid2,那么zxid1修改事件是在zxid2修改事件之前发生的。
    • 版本号:对节点的每一次修改都会使得节点的版本号+1,节点版本号有3种:version(znode数据修改的次数)、cversion(znode子节点修改的次数)、aversion(znode ACL修改的次数)
    • Zookeeper的Stat结构体
      • czxid:创建节点事物的zxid
      • mzxid:对znode最近一次修改的事物zxid
      • ctime:以距离时间原点的毫秒数表示znode的创建时间
      • mtime:以距离时间原点的毫秒数表示znode的最近修改时间
      • version:znode数据修改次数
      • cversion:znode子节点修改次数
      • aversion:znode ACL修改次数
      • ephemeralOwner:如果znode是临时节点,则表示创建该znode会话的ID,如果不是临时节点,则为0
      • dataLength:znode数据长度
      • numChildren:znode子节点个数
  • zookeeper观察

    zookeeper中的所有读操作:getData()、getChildren()和exists()都会设置一个对znode进行观察的事件。观察事件是在znode数据发生变化时,发送给建立观察的客户  的一次性触发器。

    • 一次触发:观察事件将在数据发生修改后被触发。比如说,如果客户端对“/znode1”进行里数据读取操作(“getData("/znode1",true)”),然后对“/znode1”上的数据进行了修改操作,或者被删除时,客户端收到“/znode1”的观察事件。如果再次修改“/znode1”的数据,则不会再次触发观察事件,除非客户端再次执行一次读取操作,重新设置新的观察。
    • 发送给客户端:zookeeper保证在收到观察事件之前,客户端不会得到自己已经成功修改znode的返回码。即在存在观察事件的前提下,客户端先收到观察事件反馈的结果,然后才能得到自己修改节点数据成功的信息。

zookeeper原理

   zookeeper的核心是原子广播,这个机制保证了zookeeper集群之间的数据同步。实现原子广播机制的协议是Zab协议,该协议有两种模式:恢复模式(选leader)和广播模  式(同步模式)。当服务启动或者在leader崩溃后,Zab就进入了恢复模式,当leader被选举出来后,且大多数server与leader完成状态同步后,恢复模式结束,进入同步模式。  同步模式保证了leader和server具有相同的系统状态。

    为了保证事物顺序的一致性,zookeeper采用了递增的事物ID号zxid来标识事物。所有的提议(proposal)都在被提出的时候加上了zxid。zxid是一个64二进制位的数字,  他的高32位是epoch,用来标识leader是否发生变化,当一个新的leader被选举出来后,zxid就会有一个新的epoch,标识当前属于那个leader管理,低32位用来计数。

  每个Server在工作过程中存在三种状态:

    • LOOKING:当前Server不知道谁是Leader,正在搜索......
    • LEADING:当前Server为Leader
    • FOLLOWING:leader已经被选出,当前Server与之同步
  • 选主流程

    当leader崩溃或者集群启动或者在leader失去大多数follower时,zookeeper进入恢复模式选择出一个新的leader,让所有Server都恢复到一个正确的状态。zookeeper的  选举算法有两种:一种是基于basic paxos,一种基于fast paxos。系统默认选举算法为fast paxos。

  • 同步流程

    选完leader后,zookeeper就进入了同步过程。

    1. leader等待follower连接
    2. follower连接leader,将最大的zxid发送给leader
    3. leader根据follower的zxid确定同步点
    4. 完成同步后通知follower已经成为update状态
    5. follower接受到update信息后标识同步过程完成,此时client可以向follower发出服务请求了

zookeeper主流应用场景

  • 配置管理

    集中式的配置管理在集群应用中是非常常见的,一般商业公司内部都会实现一套集中的配置管理中心,应对不同的集群应用对各自配置信息的不同需求,并且在配置信息发生变化时配置管理中心会及时的通知到集群中的每一台机器。

    zookeeper很容易实现这种集群式的配置管理,比如将APP1的所有配置信息配置到znode “/APP1“节点中,APP1的所有机器一启动就对”/APP1“这个节点进行监控(zk.exist("/APP1",true)),并且实现回调方法Watcher,那么在zookeeper上 znode ”/APP1“节点数据发生变化时,Watcher方法将会被执行,每个APP1应用都会得到通知,那  么应用可以通过zk.getData("/APP1",false,null)重新获取最新配置信息。

  • 集群管理

    集群应用中,我们常常需要让每一台机器知道集群中那些机器是活着的,并且在集群机器因为宕机、网络中断等原因能够不再人工介入的情况下迅速通知到每一台机器。

    zookeeper很容易实现这个功能。比如,zookeeper服务端有一个znode叫”/APP1Servers“,那么集群中的每一台机器在启动的时候都在”/APP1Servers“目录下创建一个临时的(EPHEMERAL)节点,比如Server1创建”/APP1Servers/Server1“,Server2创建"/APP1Servers/Server2",然后Server1和Server2都Watch "/APP1Servers" 这个父节点。当父节点“/APP1Servers"或者父节点下的两个子节点的数据发生变化时,均会出发监控事件并及时反馈给两个客户端(Server1和Server2)。临时的(EPHEMERAL)节点有一个很重要的特性,就是当服务器端和客户端断开时,或者创建该Znode的会话Session过期时,该Znode节点会自动消失。所以,当某台机器宕机或者断开连接时,该机器创建的临时Znode节点就会自动消失,就会触发其他机器建立的Watch,从而其他机器就可以重新获取列表信息,了解当前集群状态。

参考文章

    

    

zookeeper基本概念及原理的更多相关文章

  1. Oracle 集群】ORACLE DATABASE 11G RAC 知识图文详细教程之ORACLE集群概念和原理(二)

    ORACLE集群概念和原理(二) 概述:写下本文档的初衷和动力,来源于上篇的<oracle基本操作手册>.oracle基本操作手册是作者研一假期对oracle基础知识学习的汇总.然后形成体 ...

  2. Java中的泛型 (上) - 基本概念和原理

    本节我们主要来介绍泛型的基本概念和原理 后续章节我们会介绍各种容器类,容器类可以说是日常程序开发中天天用到的,没有容器类,难以想象能开发什么真正有用的程序.而容器类是基于泛型的,不理解泛型,我们就难以 ...

  3. Zookeeper概论(对zookeeper的概论、原理、架构等的理解)

    Zookeeper概论(对zookeeper的概论.原理.架构等的理解) 一.概论 Zookeeper是一个分布式的.开放源码的分布式应用程序协调服务,是Google的Chubby一个开源的实现,是h ...

  4. Java线程:概念与原理

    Java线程:概念与原理 一.操作系统中线程和进程的概念 现在的操作系统是多任务操作系统.多线程是实现多任务的一种方式. 进程是指一个内存中运行的应用程序,每个进程都有自己独立的一块内存空间,一个进程 ...

  5. 【转】Bloom Filter布隆过滤器的概念和原理

    转自:http://blog.csdn.net/jiaomeng/article/details/1495500 之前看数学之美丽,里面有提到布隆过滤器的过滤垃圾邮件,感觉到何其的牛,竟然有这么高效的 ...

  6. Java IO学习笔记:概念与原理

    Java IO学习笔记:概念与原理   一.概念   Java中对文件的操作是以流的方式进行的.流是Java内存中的一组有序数据序列.Java将数据从源(文件.内存.键盘.网络)读入到内存 中,形成了 ...

  7. iptables实用教程(一):基本概念和原理

    概述 iptables是linux自带的防火墙软件,用于配置IPv4数据包过滤或NAT(IPv6用ip6tables). 在linux上,防火墙其实是系统内核的一部分,基于Netfilter构架,基本 ...

  8. 《从Paxos到Zookeeper:分布式一致性原理与实践》【PDF】下载

    内容简介 Paxos到Zookeeper分布式一致性原理与实践从分布式一致性的理论出发,向读者简要介绍几种典型的分布式一致性协议,以及解决分布式一致性问题的思路,其中重点讲解了Paxos和ZAB协议. ...

  9. LDAP概念和原理介绍

    LDAP概念和原理介绍 相信对于许多的朋友来说,可能听说过LDAP,但是实际中对LDAP的了解和具体的原理可能还比较模糊,今天就从“什么是LDAP”.“LDAP的主要产品”.“LDAP的基本模型”.“ ...

随机推荐

  1. 开源框架AsyncHttpClient使用

    开源框架AsyncHttpClient使用 2013-10-14 15:16:35 分类: Android平台 在大神岩岩的推荐下使用了AsyncHttpClient框架,用过之后感觉还是灰常好用滴. ...

  2. 【VBA研究】利用DateAdd函数取上月或上年同期的日期

    作者:iamlaosong DateAdd函数返回一个日期.这一日期加上了一个时间间隔.通过这个函数能够计算非常多我们须要的日期,比方上月上年同期日期等. 语法 DateAdd(interval, n ...

  3. Nav titleView 设置的两个方式

    1.self.navigationItem.titleView = vv; 2.[self.navigationController.navigationBar addSubview:vv];

  4. ubuntu:好用的help命令

    以前光知道如何不清楚某个命令的用法可以打上后缀 ‘ --help' 现在刚发现,原来还有help命令来帮忙,如果你安装的是中文支持,在ubuntu上, 那么部分命令说明还是中文版哦. 举例: help ...

  5. 理解、学习与使用Java中的Optional

    从Java8 引入的一个很有趣的特性是Optional类.Optional类主要解决的问题是臭名昭著的空指针异常(NullPointerException) —— 每个 Java 程序员都非常了解的异 ...

  6. 跟着百度学PHP[15]-会话控制session的工作机制

    COOKIE和SESSION的两大区别: cookie是存储与客户端 session是存储与服务端 需要开启session的时候需要使用session_start开启,且session的开头不能拥有任 ...

  7. 做过的自定义 View

    做过的自定义 View android view custom 音频条状图 需求 详细设计 具体实现 音频条状图 需求 音频图 最终效果类似于音频图中的条状图 只是效果模拟,并不监听真实的音频 条的宽 ...

  8. Google Analytics Overview - Google Analytics 概述

    该文档讨论了如何开始使用Google Analytics SDK for Android v3. Before you Begin - 在开始之前 在开始实现SDK之前,请确保有下面的东东: 1.  ...

  9. JS——覆盖显示,点击显示三层

    <!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3.org/ ...

  10. Java异常框架设计

    什么是异常? 异常(exception)应该是异常事件(exceptional event)的缩写.异常定义:异常是一个在程序执行期间发生的事件,它中断正在执行的程序的正常的指令流.当在一个方法中发生 ...