本节内容:

  • Zookeeper介绍
  • Zookeeper特点
  • Zookeeper应用场景
  • 用到了Zookeeper的一些系统
  • Zookeeper集群安装部署

一、Zookeeper介绍

  • 是一个针对大型分布式系统的可靠协调系统;
  • 提供的功能包括:配置维护、名字服务、分布式同步、组服务等;
  • 目标就是封装好复杂易出错的关键职务,将简单易用的接口和性能高效、功能稳定的系统提供给用户;
  • Zookeeper已经成为Hadoop生态系统中的基础组件。

二、Zookeeper特点

  • 最终一致性:为客户端展示同一视图,这是Zookeeper最重要的性能;
  • 可靠性:如果消息被一台服务器接受,那么它将被所有的服务器接受;
  • 原子性:更新只能成功或失败,没有中间状态;

三、Zookeeper应用场景

1. 统一命名服务
(1)分布式环境下,经常需要对应用/服务进行统一命名,便于识别不同的服务

  • 类似于域名与ip之间对应关系,域名容易记住;
  • 通过名称来获取资源或服务的地址,提供者信息。

(2)按照层次结构组织服务/应用名称

  • 可将服务名称以及地址信息写在Zookeeper上,客户端通过Zookeeper获取可用服务列表。

2. 配置管理
(1)分布式环境下,配置文件管理和同步是一个常见问题

  • 一个集群中,所有节点的配置信息是一致的,比如Hadoop;
  • 对配置文件修改后,希望能够快速同步到各个节点上。

(2)配置管理可交由Zookeeper实现

  • 可将配置信息写入Zookeeper的一个znode上;
  • 各个节点监听这个znode
  • 一旦znode中的数据被修改,Zookeeper将会通知各个节点。

3. 集群管理
(1)分布式环境下,实时掌握每个节点的状态是必要的

  • 可根据节点实时状态做出一些调整。

(2)可交由Zookeeper实现

  • 可将节点信息写入Zookeeper的一个znode上;
  • 监听这个znode可获得它的实时状态变化。

(3)典型应用

  • HBase中Master状态的监控与选举。

4. 分布式通知/协调
原理其实就是发布/订阅。
(1)分布式环境下经常存在一个服务需要知道它所管理的子服务的状态

  • NameNode需要知道各DataNode的状态

(2)心跳检测机制可通过Zookeeper实现

(3)信息推送可由Zookeeper实现(发布/订阅模式)

5. 分布式锁
(1)Zookeeper是强一致性的

  • 多个客户端同时在Zookeeper上创建相同znode,只有一个创建成功。

(2)实现锁的独占性

  • 多个客户端同时在Zookeeper上创建相同znode,创建成功的那个客户端得到锁,其他客户端等待。

(3)控制锁的时序

  • 各个客户端在某个znode下创建临时znode(类型为CreateMode.EPHEMERAL_SEQUENTIAL),这样,该znode可掌握全局访问时序。

四、用到了Zookeeper的一些系统

  • HDFS
  • YARN
  • Storm
  • HBase
  • Flume
  • Dubbo
  • metaq

五、Zookeeper集群安装部署

下面开始介绍Zookeeper的安装部署。安装部署分三种模式:单机模式、伪分布式模式和分布式模式。单机模式和为分布式比较简单,多用于本地测试调试,下面介绍分布式模式安装部署。

注意:3台机器都需要安装zk。对于Zookeeper集群的话,官方推荐的最小节点数为3个。

1. 环境信息

主机名 操作系统版本 IP地址 安装软件
console CentOS 7.0 114.55.29.246 JDK1.7、zookeeper-3.4.6
log1 CentOS 7.0 114.55.29.86 JDK1.7、zookeeper-3.4.6
log2 CentOS 7.0 114.55.29.241 JDK1.7、zookeeper-3.4.6

2. 安装jdk1.7

3台机器都需要安装jdk1.7

[root@log1 local]# mkdir /usr/java
[root@log1 local]# tar zxf jdk-7u80-linux-x64.gz -C /usr/java/
[root@log1 local]# vim /etc/profile
export JAVA_HOME=/usr/java/jdk1..0_80
export PATH=$JAVA_HOME/bin:$PATH
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
[root@log1 local]# source /etc/profile

3. 安装配置zk

(1)配置zk节点的hosts文件:配置3台机器的ip地址和主机名的对应关系。以下以console主机为例,其hosts文件添加下面3行:

114.55.29.246 console
114.55.29.86 log1
114.55.29.241 log2

(2)解压安装配置第一台zk

[root@console local]# tar zxf zookeeper-3.4..tar.gz
[root@console local]# cd zookeeper-3.4.

创建快照日志存放目录:

[root@console zookeeper-3.4.]# mkdir -p dataDir 

创建事务日志存放目录:

[root@console zookeeper-3.4.]# mkdir dataLogDir

【注意】:如果不配置dataLogDir,那么事务日志也会写在dataDir目录中。这样会严重影响zk的性能。因为在zk吞吐量很高的时候,产生的事务日志和快照日志太多。

修改配置文件,添加如下内容:

[root@console zookeeper-3.4.]# cd conf
[root@console conf]# mv zoo_sample.cfg zoo.cfg
[root@console conf]# vim zoo.cfg
# 存放数据文件
dataDir=/usr/local/zookeeper-3.4./dataDir
# 存放日志文件
dataLogDir=/usr/local/zookeeper-3.4./dataLogDir
# zookeeper cluster,2888为选举端口,3888为心跳端口
server.=console::
server.=log1::
server.=log2::

在我们配置的dataDir指定的目录下面,创建一个myid文件,里面内容为一个数字,用来标识当前主机,conf/zoo.cfg文件中配置的server.X中X为什么数字,则myid文件中就输入这个数字:

[root@console ~]# echo "" > /usr/local/zookeeper-3.4./dataDir/myid

(3)远程复制第一台的zk到另外两台上,并修改myid文件为2和3

[root@console local]# scp -rp zookeeper-3.4. root@114.55.29.86:/usr/local/
[root@console local]# scp -rp zookeeper-3.4. root@114.55.29.241:/usr/local/

4. 启动和关闭zk

在ZooKeeper集群的每个结点上,执行启动ZooKeeper服务的脚本,如下所示:

[root@console bin]# ./zkServer.sh start
[root@log1 bin]# ./zkServer.sh start
[root@log2 bin]# ./zkServer.sh start

日志可查询:/usr/local/zookeeper-3.4.6/bin/zookeeper.out

可以通过命令jps查看Zookeeper进程:

停止zk命令:

# /usr/local/zookeeper-3.4./bin/zkServer.sh stop

5. 测试zk集群

可以通过ZooKeeper的脚本来查看启动状态,包括集群中各个结点的角色(或是Leader,或是Follower)

[root@console bin]# ./zkServer.sh status
JMX enabled by default
Using config: /usr/local/zookeeper-3.4./bin/../conf/zoo.cfg
Mode: follower
[root@log1 bin]# ./zkServer.sh status
JMX enabled by default
Using config: /usr/local/zookeeper-3.4./bin/../conf/zoo.cfg
Mode: leader
[root@log2 bin]# ./zkServer.sh status
JMX enabled by default
Using config: /usr/local/zookeeper-3.4./bin/../conf/zoo.cfg
Mode: follower

通过上面状态查询结果可见,log1是集群的Leader,其余的两个结点是Follower。

另外,可以通过客户端脚本,连接到ZooKeeper集群上。对于客户端来说,ZooKeeper是一个整体,连接到ZooKeeper集群实际上感觉在独享整个集群的服务,所以,你可以在任何一个结点上建立到服务集群的连接。

[root@log2 bin]# ./zkCli.sh -server log1:
Connecting to log1:
-- ::, [myid:] - INFO [main:Environment@] - Client environment:zookeeper.version=3.4.-, built on // : GMT
-- ::, [myid:] - INFO [main:Environment@] - Client environment:host.name=log2
-- ::, [myid:] - INFO [main:Environment@] - Client environment:java.version=1.7.0_80
-- ::, [myid:] - INFO [main:Environment@] - Client environment:java.vendor=Oracle Corporation
-- ::, [myid:] - INFO [main:Environment@] - Client environment:java.home=/usr/java/jdk1..0_80/jre
-- ::, [myid:] - INFO [main:Environment@] - Client environment:java.class.path=/usr/local/zookeeper-3.4./bin/../build/classes:/usr/local/zookeeper-3.4./bin/../build/lib/*.jar:/usr/local/zookeeper-3.4.6/bin/../lib/slf4j-log4j12-1.6.1.jar:/usr/local/zookeeper-3.4.6/bin/../lib/slf4j-api-1.6.1.jar:/usr/local/zookeeper-3.4.6/bin/../lib/netty-3.7.0.Final.jar:/usr/local/zookeeper-3.4.6/bin/../lib/log4j-1.2.16.jar:/usr/local/zookeeper-3.4.6/bin/../lib/jline-0.9.94.jar:/usr/local/zookeeper-3.4.6/bin/../zookeeper-3.4.6.jar:/usr/local/zookeeper-3.4.6/bin/../src/java/lib/*.jar:/usr/local/zookeeper-3.4.6/bin/../conf:.:/usr/java/jdk1.7.0_80/lib/dt.jar:/usr/java/jdk1.7.0_80/lib/tools.jar
2016-03-08 14:21:31,507 [myid:] - INFO [main:Environment@100] - Client environment:java.library.path=/usr/java/packages/lib/amd64:/usr/lib64:/lib64:/lib:/usr/lib
2016-03-08 14:21:31,508 [myid:] - INFO [main:Environment@100] - Client environment:java.io.tmpdir=/tmp
2016-03-08 14:21:31,508 [myid:] - INFO [main:Environment@100] - Client environment:java.compiler=<NA>
2016-03-08 14:21:31,508 [myid:] - INFO [main:Environment@100] - Client environment:os.name=Linux
2016-03-08 14:21:31,508 [myid:] - INFO [main:Environment@100] - Client environment:os.arch=amd64
2016-03-08 14:21:31,508 [myid:] - INFO [main:Environment@100] - Client environment:os.version=3.10.0-123.9.3.el7.x86_64
2016-03-08 14:21:31,508 [myid:] - INFO [main:Environment@100] - Client environment:user.name=root
2016-03-08 14:21:31,508 [myid:] - INFO [main:Environment@100] - Client environment:user.home=/root
2016-03-08 14:21:31,508 [myid:] - INFO [main:Environment@100] - Client environment:user.dir=/usr/local/zookeeper-3.4.6/bin
2016-03-08 14:21:31,510 [myid:] - INFO [main:ZooKeeper@438] - Initiating client connection, connectString=log1:2181 sessionTimeout=30000 watcher=org.apache.zookeeper.ZooKeeperMain$MyWatcher@ee01430
Welcome to ZooKeeper!
2016-03-08 14:21:31,534 [myid:] - INFO [main-SendThread(log1:2181):ClientCnxn$SendThread@975] - Opening socket connection to server log1/114.55.29.86:2181. Will not attempt to authenticate using SASL (unknown error)
2016-03-08 14:21:31,539 [myid:] - INFO [main-SendThread(log1:2181):ClientCnxn$SendThread@852] - Socket connection established to log1/114.55.29.86:2181, initiating session
JLine support is enabled
[zk: log1:2181(CONNECTING) 0] 2016-03-08 14:21:31,572 [myid:] - INFO [main-SendThread(log1:2181):ClientCnxn$SendThread@1235] - Session establishment complete on server log1/114.55.29.86:2181, sessionid = 0x25354db0d430000, negotiated timeout = 30000 WATCHER:: WatchedEvent state:SyncConnected type:None path:null [zk: log1:2181(CONNECTED) 0]

连接zookeeper

6. 脚本定期清理zk快照和日志文件

正常运行过程中,ZK会不断地把快照数据和事务日志输出到dataDir和dataLogDir这两个目录,并且如果没有人为操作的话,ZK自己是不会清理这些文件的。 我这里采用脚本切割。

[root@log1 ~]# cd /usr/local/zookeeper-3.4./
[root@log1 zookeeper-3.4.]# vim clean_zklog.sh
#!/bin/bash
###Description:This script is used to clear zookeeper snapshot file and transaction logs.
###Written by: jkzhao - jkzhao@wisedu.com
###History: -- First release. # Snapshot file dir.
dataDir=/usr/local/zookeeper-3.4./dataDir/version- # Transaction logs dir.
dataLogDir=/usr/local/zookeeper-3.4./dataLogDir/version- # Reserved files.
COUNT= ls -t $dataDir/snapshot.* | tail -n +$[$COUNT+] | xargs rm -f
ls -t $dataLogDir/log.* | tail -n +$[$COUNT+] | xargs rm -f [root@log1 zookeeper-3.4.]# chmod +x clean_zklog.sh

脚本切割zookeeper日志

每个Zookeeper集群节点配置周期性任务,每个星期日的0点0分执行:

[root@console zookeeper-3.4.]# crontab -e
* * /usr/local/zookeeper-3.4./clean_zklog.sh

Zookeeper介绍及安装部署的更多相关文章

  1. Storm介绍及安装部署

    本节内容: Apache Storm是什么 Apache Storm核心概念 Storm原理架构 Storm集群安装部署 启动storm ui.Nimbus和Supervisor 一.Apache S ...

  2. Kafka介绍及安装部署

    本节内容: 消息中间件 消息中间件特点 消息中间件的传递模型 Kafka介绍 安装部署Kafka集群 安装Yahoo kafka manager kafka-manager添加kafka cluste ...

  3. hue框架介绍和安装部署

    大家好,我是来自内蒙古的小哥,我现在在北京学习大数据,我想把学到的东西分享给大家,想和大家一起学习 hue框架介绍和安装部署 hue全称:HUE=Hadoop User Experience 他是cl ...

  4. (转)ZooKeeper 笔记(1) 安装部署及hello world

    ZooKeeper 笔记(1) 安装部署及hello world   先给一堆学习文档,方便以后查看 官网文档地址大全: OverView(概述) http://zookeeper.apache.or ...

  5. Apache Solr 初级教程(介绍、安装部署、Java接口、中文分词)

    Python爬虫视频教程零基础小白到scrapy爬虫高手-轻松入门 https://item.taobao.com/item.htm?spm=a1z38n.10677092.0.0.482434a6E ...

  6. Spark介绍及安装部署

    一.Spark介绍 1.1 Apache Spark Apache Spark是一个围绕速度.易用性和复杂分析构建的大数据处理框架(没有数据存储).最初在2009年由加州大学伯克利分校的AMPLab开 ...

  7. 【Hadoop离线基础总结】Hue的简单介绍和安装部署

    目录 Hue的简单介绍 概述 核心功能 安装部署 下载Hue的压缩包并上传到linux解压 编译安装启动 启动Hue进程 hue与其他框架的集成 Hue与Hadoop集成 Hue与Hive集成 Hue ...

  8. ZooKeeper 笔记(1) 安装部署及hello world

    先给一堆学习文档,方便以后查看 官网文档地址大全: OverView(概述) http://zookeeper.apache.org/doc/r3.4.6/zookeeperOver.html Get ...

  9. 161209、简要分析ZooKeeper基本原理及安装部署

    一.ZooKeeper 基本概念 1.ZooKeeper 是什么? Zookeeper官网地址: http://zookeeper.apache.org/ Zookeeper官网文档地址:http:/ ...

随机推荐

  1. Ansible8:Playbook循环

    目录 1.with_items 2.with_nested嵌套循环 3.with_dict 4.with_fileglob文件匹配遍历 5.with_lines 6.with_subelement遍历 ...

  2. 《剑指offer》 面试题53 :正则表达式匹配 Java

    引言:这道题情况比较复杂,边界条件较多,为了便于以后复习,整理一下.另外,由于C语言和Java对于字符串的操作存在不一样的地方,代码也存在改动. 题目:请实现一个函数用来匹配包含'.'和'*'的正则表 ...

  3. 2015/11/5用Python写游戏,pygame入门(5):面向对象的游戏设计

    昨天的内容里有了运动的子弹,虽然我们只添加了一个子弹,但你可以看到我们需要记录子弹的x,y坐标,每次要更新它的坐标.如果我们想要有多颗子弹,就需要存储多个坐标.那时候处理起来就不显得那么简单,也许我们 ...

  4. 《PHP和MySQL Web开发》读书笔记(上篇)

    最近过得太浮躁了,实在自己都看不下去了,看了PHP圣经之后,觉得非常有必要要总结一下. Chapter1.快速入门 ·PHP标记:总共有三种风格,常用的还是XML风格为主 <?php echo ...

  5. 双11怎么那么强!之二:浅析淘宝网络通信库tbnet的实现

    最近开始看Tair的源码实现,Tair的通信使用的是淘宝的开源的网络库tbnet实现.具体来说是依靠tbnet::Transport类型实现,其源代码路径如下:http://code.taobao.o ...

  6. 【Linux】VirtualBox安装ubuntu排错LowGraphic

    在Oracle的VirtualBox虚拟机上,安装Ubuntu后,提示了如下图这样的 错误 The system is running in low-graphics mode 在网上搜,有多种解答方 ...

  7. Google Congestion Control介绍

    随着网络带宽的日益增加和便携式设备,如智能手机或平板电脑处理能力的增强,基于互联网的实时通信已经成为热点. 虽然视频会议已商用了多年,特别是SKYPE这样的视频应用在互联网上已有10年时间,但针对实时 ...

  8. Python练习-基于授权方式包装list之与根儿哥必有一战

    # 编辑者:闫龙 # 基于授权定制自己的列表类型,要求定制的自己的__init__方法, # 定制自己的append:只能向列表加入字符串类型的值 # 定制显示列表中间那个值的属性(提示:proper ...

  9. Python练习-无参装饰器的正确打开方式

    import time def DecoUserPrint(UserFunc):#定义一个DecoUserPrint接收参数的多重方法 def DecoPrint(): StartTime = tim ...

  10. php中各种hash算法的执行速度比较

    更多内容推荐微信公众号,欢迎关注: PHP中的Hash函数很多,像MD4.MD5.SHA-1.SHA-256.SHA-384.SHA-512等我们比较常见,那么各个哈希的执行速度呢? $algos = ...