原文:ZooKeeper简单使用

版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/u012055638/article/details/80668116

ZooKeeper简单使用


1、ZooKeeper简介

Apache ZooKeeper是由Apache Hadoop的子项目发展而来,于2010年11月正式成为了Apache的顶级项目。ZooKeeper为分布式应用提供了高效且可靠的分布式协调服务,提供了诸如统一命名服务配置管理分布式锁等分布式的基础服务。在解决分布式一致性方面,ZooKeeper并没有直接采用Paxos算法,而是采用了一种被称为ZAB(ZooKeeper Atomic Broadcast)的一致性协议。

ZooKeeper是一个开放源代码的分布式协调服务,由知名互联网公司雅虎创建,是Google Chubby的开源实现。ZooKeeper的涉及目标是将那些复杂且容易出错的分布式一致性服务封装起来,构成一个高效可靠的原语集,并以一些列简单易用的接口提供给用户使用。

ZooKeeper在大型分布式系统中的应用案例:

- Hadoop

- HBase

- Kafka

- Alibaba 消息中间件 Metamorphosis(MetaQ)

- Alibaba RPC服务框架 Dubbo

- Alibaba 实时计算引擎 JStorm

2、ZooKeeper能做什么

ZooKeeper是一个典型的分布式数据一致性的解决方案,分布式应用程序可以基于它实现诸如数据发布/订阅负载均衡命名服务分布式协调/通知集群管理Master选举分布式锁分布式队列分布式Barrier等功能。

ZooKeeper可以保证如下分布式一致特性

  • 顺序一致性

    从同一个客户端发起的事物请求,最终会严格按照其发起的顺序被应用到ZooKeeper中去。

  • 原子性

    所有事物请求的处理结果在整个集群中所有机器上的应用情况是一致,也就是说,要么整个集群所有机器都成功应用了某一个事物,要么都没有应用,一定不会出现集群中部分机器应用了该事物,而另一部分没有应用的情况。

  • 单一视图(Single System Image)

    无论客户端连接的是那个ZooKeeper服务器,其看到的服务端数据模型都是一致的。

  • 可靠性

    一旦服务端成功的应用了一个事物,并完成对客户端的响应,那么该事物所引起的服务端状态变更将会一直保留下来,除非有另一个事物又对其进行了变更。

  • 实时性

    通常人们看到实时性的第一反映是,一旦一个事物被成功应用,那么客户端能够立即从服务端上读取到这个事物变更后的最新数据状态。这里需要注意的是,ZooKeeper仅仅保证在一定的时间段内,客户端最终一定能够从服务端上读取到最新的数据状态(ZooKeeper是基于异步通知的)。

3、ZooKeeper核心

3.1、ZooKeeper安装

  • 单机模式
  • 集群模式
  • 使用Docker搭建zookeeper集群

    以下是使用Docker搭建包含5个zk节点集群对应zookeeper-compose.yml文件示例:
version: '3'

services:
zk01:
image: zookeeper:3.3.6
container_name: zk01
expose:
- "2181"
- "2888"
- "3888"
ports:
- "2191:2181"
restart: always
environment:
ZOO_MY_ID: 1
ZOO_SERVERS: server.1=zk01:2888:3888 server.2=zk02:2888:3888 server.3=zk03:2888:3888 server.4=zk04:2888:3888 server.5=zk05:2888:3888
networks:
- zk_network
zk02:
image: zookeeper:3.3.6
container_name: zk02
expose:
- "2181"
- "2888"
- "3888"
ports:
- "2192:2181"
restart: always
environment:
ZOO_MY_ID: 2
ZOO_SERVERS: server.1=zk01:2888:3888 server.2=zk02:2888:3888 server.3=zk03:2888:3888 server.4=zk04:2888:3888 server.5=zk05:2888:3888
networks:
- zk_network
zk03:
image: zookeeper:3.3.6
container_name: zk03
expose:
- "2181"
- "2888"
- "3888"
ports:
- "2193:2181"
restart: always
environment:
ZOO_MY_ID: 3
ZOO_SERVERS: server.1=zk01:2888:3888 server.2=zk02:2888:3888 server.3=zk03:2888:3888 server.4=zk04:2888:3888 server.5=zk05:2888:3888
networks:
- zk_network
zk04:
image: zookeeper:3.3.6
container_name: zk04
expose:
- "2181"
- "2888"
- "3888"
ports:
- "2194:2181"
restart: always
environment:
ZOO_MY_ID: 4
ZOO_SERVERS: server.1=zk01:2888:3888 server.2=zk02:2888:3888 server.3=zk03:2888:3888 server.4=zk04:2888:3888 server.5=zk05:2888:3888
networks:
- zk_network
zk05:
image: zookeeper:3.3.6
container_name: zk05
expose:
- "2181"
- "2888"
- "3888"
ports:
- "2195:2181"
restart: always
environment:
ZOO_MY_ID: 5
ZOO_SERVERS: server.1=zk01:2888:3888 server.2=zk02:2888:3888 server.3=zk03:2888:3888 server.4=zk04:2888:3888 server.5=zk05:2888:3888
networks:
- zk_network networks:
zk_network:
driver: bridge

3.2、ZooKeeper角色

  • Leader

    Leader节点能够进行数据的读写

  • Follower

    Follower节点只能进行数据的读,不能进行数据的写。Follower能参与Leader的选举。

  • Observer

    Observer节点与Follower节点一样只能进行数据的读,与Follower节点的区别是,它不参与Leader的选举。

3.3、ZooKeeper节点类型

  • 持久节点
  • 持久顺序节点
  • 临时节点
  • 临时顺序节点

3.4、Java操作ZooKeeper

  • 原生ZooKeeper Java API

所需依赖:

    <dependency>
<groupId>org.apache.zookeeper</groupId>
<artifactId>zookeeper</artifactId>
<version>${zookeeper.version}</version>
</dependency>
  • ZkClient

    ZkClient是GitHub上一个开源的ZooKeeper客户端,是由Datameer的工程师Stefan Groschupf和Peter Voss一起开发的。ZkClient在ZooKeeper原生API接口之上进行了包装,是一个更易用的ZooKeeper客户端。同时,ZkClient在内部实现了诸如Session超时重连、Watcher反复注册等功能,使得ZooKeeper客户端的这些繁琐的细节工作对开发人员透明。

所需依赖:

    <dependency>
<groupId>org.apache.zookeeper</groupId>
<artifactId>zookeeper</artifactId>
<version>${zookeeper.version}</version>
</dependency>
<dependency>
<groupId>com.github.sgroschupf</groupId>
<artifactId>zkclient</artifactId>
<version>${zkclient.version}</version>
</dependency>
  • Curetor

    Curator是Netflix公司开源的一套ZooKeeper客户端框架,作者是Jordan Zimmerman。和ZkClient一样,Curator解决了很多ZooKeeper客户端非常底层的细节开发工作,包括连接重连、反复注册Watcher和NodeExistsException异常等,目前已成为Apache的顶级项目,是全世界范围使用最广泛的ZooKeeper客户端之一,Patrick Hunt(ZooKeeper代码的核心提交者)以一句“Guava is to Java what Curator is to ZooKeeper”对其进行高度评价。

所需依赖:

    <dependency>
<groupId>org.apache.zookeeper</groupId>
<artifactId>zookeeper</artifactId>
<version>${zookeeper.version}</version>
</dependency>
<dependency>
<groupId>org.apache.curator</groupId>
<artifactId>curator-framework</artifactId>
<version>${curator.version}</version>
</dependency>

另外,curator不仅为开发者提供了更为便利的API接口,而且还提供了一些典型场景的使用参考(Master选举、分布式锁、分布式计数器、分布式Barrier)以及一些工具类,极大的方便Java对ZooKeeper的操作,所需依赖:

    <dependency>
<groupId>org.apache.curator</groupId>
<artifactId>curator-recipes</artifactId>
<version>${curator.recipes.version}</version>
</dependency>

4、ZooKeeper简单应用

4.1、数据发布/订阅

配置中心,例如360的QConf、百度的Disconf(持久节点)。

4.2、命名服务

分布式系统中的唯一ID,订单ID、商品ID等(持久顺序节点)。

4.3、分布式锁

ZooKeeper简单使用的更多相关文章

  1. [转]ZooKeeper学习第一期---Zookeeper简单介绍

    ZooKeeper学习第一期---Zookeeper简单介绍 http://www.cnblogs.com/sunddenly/p/4033574.html 一.分布式协调技术 在给大家介绍ZooKe ...

  2. Linux配置zookeeper 和zookeeper简单介绍

    一.zookeeper介绍? 一.zookeeper 简单介绍? 1.什么是集群? // 很多台服务器保持连接通讯状态,并且所有的服务器做同一件事就称之为集群 2.什么是zookeeper? 注册中心 ...

  3. ZooKeeper学习第一期---Zookeeper简单介绍

    一.分布式协调技术 在给大家介绍ZooKeeper之前先来给大家介绍一种技术——分布式协调技术.那么什么是分布式协调技术?那么我来告诉大家,其实分布式协调技术主要用来解决分布式环境当中多个进程之间的同 ...

  4. dubbo+zookeeper简单环境搭建

    dubbo+zoopeeper例子 [TOC] 标签(空格分隔): 分布式 dubbo dubbo相关 dubbo是目前国内比较流行的一种分布式服务治理方案.还有一种就是esb了.一般采用的是基于Ap ...

  5. zookeeper简单介绍

    详见:http://blog.yemou.net/article/query/info/tytfjhfascvhzxcyt193 ZooKeeper是Hadoop的正式子项目,它是一个针对大型分布式系 ...

  6. 【Zookeeper系列】Zookeeper简单介绍(转)

    原文链接:https://www.cnblogs.com/sunddenly/p/4033574.html 一.分布式协调技术 在给大家介绍ZooKeeper之前先来给大家介绍一种技术——分布式协调技 ...

  7. 4、Zookeeper简单介绍

    一.分布式协调技术 在给大家介绍ZooKeeper之前先来给大家介绍一种技术——分布式协调技术.那么什么是分布式协调技术?那么我来告诉大家,其实分布式协调技术 主要用来解决分布式环境当中多个进程之间的 ...

  8. Zookeeper简单初应用

    一.Zookeeper 1.1 概述 Zookeeper是一个开源的分布式的,为分布式应用提供协调服务的Apache项目. Zookeeper从设计模式角度来理解:是一个基于观察者模式设计的分布式服务 ...

  9. ZooKeeper学习之-Zookeeper简单介绍(一)

    一.分布式协调技术 在给大家介绍ZooKeeper之前先来给大家介绍一种技术——分布式协调技术.那么什么是分布式协调技术?那么我来告诉大家,其实分布式协调技术主要用来解决分布式环境当中多个进程之间的同 ...

随机推荐

  1. Java学习笔记二.1

    和其他高级语言类似,Java也具有以下部分 1.关键字:见下表,注意Java严格区分大小写,关键字都是小写 2.标识符:见下图 3.注释.有两种://(单行注释)和/**/(多行注释).还有一种文档注 ...

  2. JS match方法的返回数据的探究

    match方法是JS的字符串方法,详细说明可以看MDN的说明. 如果正则表达式匹配成功的话,match方法会返回一个数组,而数组里的数据有两种形式,对应着匹配方式:全局匹配与非全局匹配. 1. 全局匹 ...

  3. 解决使用SecureCRT不能连接Ubuntu的问题

    一.现象 SecureCRT是远程登陆工具及串口,可以远程进行登陆Linux服务器或者串口打印数据.但我下载安装了之后想通过SecureCRT来远程登陆我的Ubuntu,出现一直连接不上. 二.问题原 ...

  4. 洛谷 P1610 鸿山洞的灯

    P1610 鸿山洞的灯 题目描述 已知n盏灯以及每盏灯的位置p[i],p[i]均不相等,两盏相邻的灯当小于dist时,若这个安全距离里面还有灯是亮着时,就可以关掉该盏灯,(即若第i-1盏与第i+1盏的 ...

  5. c3p0的经常使用配置方式

    1:第一种方式很easy c3p0.driverClass=com.mysql.jdbc.Driver c3p0.jdbcUrl=jdbc:mysql://localhost:3308/databas ...

  6. 15、python学习手册之:python语句、赋值、表达式和打印

    1.语句的另一个特殊规则是用一对括号把语句括起来就可以:括号().方括号[].字典的大括号{}.任何括在这些符号里的程序代码都可横跨好几行. 2.括号是可以包含一切的,因为任何表达式都可以包含在内,只 ...

  7. Appium_Python_API

    1) find_element_by_android_uiautomator (‘new UiSelector().text(“XXXX”)’).click 正常匹配2) find_element_b ...

  8. Sql Server 2014完全卸载

    经历过好多次Sql server的安装与卸载,有时发现自己卸载的费时费力,单纯地卸载个软件就要吐血了,那么现在我觉得是时候整理一下了. 1.在运行中输入services.msc,然后找到所有跟Sql ...

  9. 【Codeforces Round #432 (Div. 1) A】 Five Dimensional Points

    [链接]点击打开链接 [题意] 给你n个5维的点. 然后让你以其中的某一个点作为起点a. 另选两个点b,c. 组成向量a->b,a->c 如果所有的a->b和a->c的夹角都是 ...

  10. [Vue + TS] Write a Vue Component as a Class in TypeScript

    Starter app: https://github.com/alexjoverm/Vue-Typescript-Starter Writing Vue components as plain ob ...