ZooKeeper安装、配置和使用
Zookeeper的概述:
ZooKeeper是一个开源的分布式的,为分布式应用提供协调服务的Apache项目。
ZooKeeper从设计模式角度来理解:是一个基于观察者模式设计的分布式服务管理框架,它负责存储和管理大家都关心的数据,然后接受观察者的注册,一旦这些数据的状态发生变化,ZooKeeper就将负责通知已经在ZooKeeper上注册的那些观察者做出相应的反应。
例如:一组服务器集群、一组客户端,全部通过ZooKeeper注册,如果一台服务节点宕机,则ZooKeeper集群可以监测宕机几点服务器状态并通知客户端。
ZooKeeper的特点:
1. ZooKeeper:一个领导者(Leader),多个跟随者(Follower)组成的集群。
2. 集群中只要有半数以上的节点存活,ZooKeeper集群就能正常服务。
3. 全局数据一致性:每个Server保存一份相同的数据副本,Client无论连接到哪个Server,数据都是一致的。
4. 更新请求顺序进行,来自同一个Client的更新请求按其发送顺序依次执行。
5. 数据更新原子性,一次数据更新要么成功,要么失败。
6. 实时性,在一定时间范围内,Client能读到最新数据。
ZooKeeper的数据结构
ZooKeeper数据模型的结构与Unix文件系统类似,整体上可以看做是一棵树,每个节点称作一个ZNode。每一个ZNode默认能够存储1MB的数据,每个ZNode都可以通过其路径唯一标识。
ZooKeeper应用场景
提供的服务包括:统一命名服务,统一配置管理,统一集群管理,服务器节点动态上下线,软负载均衡等。
ZooKeeper的内部原理
选举机制
半数机制:集群中半数以上机器存活,集群可用。所以ZooKeeper适合安装奇数台服务器。
ZooKeeper虽然在配置文件中没有指定Master和Slave,但是在集群工作时,是有一个节点为Leader,其他节点为Follower的,Leader是通过内部的选举机制临时产生的。
初始化集群选举机制的解释:五台服务器的集群为例,当第一台服务器启动后,给自己投票,此时不符合半数机制(配置文件中已经配置了五台服务器);第二台服务器启动时,投自己一票,此时仍然不符合半数机制,所以第一台服务器的票也投给第二台服务器;第三台服务器启动,投自己一票,此时还是不符合半数机制,所以第一台、第二台服务器都将票投给第三台服务器,现在符合了半数机制,所以Leader为第三台服务器。
ZooKeeper的节点类型
1. 持久(Persistent)
持久化目录节点:
客户端与ZooKeeper断开连接后,该节点依旧存在。
持久化顺序编号目录节点
客户端与ZooKeeper断开连接后,该节点依旧存在,只是ZooKeeper给该节点名称进行顺序编号。
说明:创建znode时设置顺序标识,znode名称后会附加一个值,顺序号是一个单调递增的计数器,由父节点维护。
注意:在分布式系统中,顺序号可以被用于为所有的事件进行全局排序,这样客户端可以通过顺序号推断时间的顺序。
2. 短暂
临时目录节点
客户端与ZooKeeper断开连接后,该节点被删除。
临时顺序编号目录节点
客户端与ZooKeeper断开连接后,该节点被删除,只是ZooKeeper给该节点名称进行顺序编号。
监听器的原理
一)、监听器的原理详解
1. 首先要有一个main()线程。
2. 在main()线程中创建ZooKeeper客户端,这时就会创建两个线程,一个负责网络连接通信(connet),一个负责监听(listener)。
3. 通过connect线程将注册的监听事件发送给ZooKeeper。
4. 在ZooKeeper的注册监听器列表中将注册的监听事件添加到列表中。
5. ZooKeeper监听到有数据或路径变化,就会将这个消息发送给listener线程。
6. listener线程内部调用process()方法(程序员自己写的方法)。
二)、常见的监听
1. 监听节点数据的变化
get path [watch]
2. 监听子节点增减的变化
ls path [watch]
写数据的流程
1. Client向ZooKeeper的Server1上写数据,发送一个写请求。
2. 如果Server1不是Leader,那么Server1会把接收到的请求进一步转发给Leader,因为每个ZooKeeper的Server里面有一个是Leader。这个Leader会将写请求广播给各个Server,各个Server写成功后就会通知Leader。
3. 当Leader收到大多数的Server数据写成功了,那么就说明数据写成功了。如果三个节点的集群,只要有两个节点数据写成功了,那么就认为数据写功了(半数机制)。写成功之后,Leader会告诉Server1数据写成功了。
4. Server1就会进一步通知Client数据写成功了,这时就认为整个写操作成功。
ZooKeeper的分布式安装部署
集群规划:三台服务器上部署ZooKeeper集群,基于前面的文章中已经部署的Hadoop环境的三台虚拟机。
打开ZooKeeper官方网站https://zookeeper.apache.org/
选择版本进行下载即可,此处选择的是3.5.5版本:
将压缩包使用Xftp上传hadoop-1的/usr目录下:
进入/usr目录,使用tar命令将压缩包进行解压,执行命令:
# tar -zxvf apache-zookeeper-3.5.5-bin.tar.gz
解压完成后会在/usr目录下生成apache-zookeeper-3.5.5-bin目录:
进入ZooKeeper的配置文件目录,并查看该目录下的文件:
# cd apache-zookeeper-3.5.5-bin/conf/
# ll
该目录下有示例配置文件zoo_sample.cfg,将其拷贝为zoo.cfg:
# cp zoo_sample.cfg zoo.cfg
使用vim编辑配置文件zoo.cfg:
# vim zoo.cfg
更改配置文件内容:
配置文件参数说明:
配置项 | 值 | 说明 |
tickTime | 2000 | 控制心跳和超时(毫秒) |
initLimit | 10 | follower连接到主节点的初始化时间 |
syncLimit | 5 | 主从节点请求和应答时间长度 |
dataDir | /home/zookeeper/zookeeper_data | 用于存储zookeeper产生的数据 |
clientPort | 2181 | Zookeeper客户端端口 |
maxClientCnxn | 0 | 为0则不限制客户端连接数量 |
server.1 | hadoop-1:2888:3888 | zookeeper节点名称以及服务所用端口,所有节点依次列举 |
在ZooKeeper的/home目录下创建数据存储目录和myid文件:
# cd /home
# mkdir -p zookeeper/zookeeper_data
在myid文件中写入zoo.cfg文件主机名所对应的的server号:
保存退出,使用scp将/usr下的apache-zookeeper-3.5.5-bin远程拷贝到hadoop-2和hadoop-3主机的/usr目录下:
如下图所示,拷贝完成:
查看hadoop-2的/usr目录下的apache-zookeeper-3.5.5-bin
然后将/home目录下的数据存储目录也远程拷贝到hadoop-2和hadoop-3的/home目录下:
然后在hadoop-2和hadoop-3主机上使用vim编辑myid文件:
将myid文件的内容更改为各自主机对应的server号:
然后分别进入三台主机的/user/apache-zookeeper-3.5.5-bin/bin目录下,执行启动脚本:
# cd /user/apache-zookeeper-3.5.5-bin/bin
# ./zkServer.sh start
启动成功,使用jps命令可以查看ZooKeeper的启动进程:
# jps
配置ZooKeeper环境变量:
# vim /etc/profile
在打开的文件最后添加如下内容:
保存退出,现在可以不进入ZooKeeper安装目录的bin目录就可以直接使用ZooKeeper的相关命令了:
同样方式对hadoop-2和hadoop-3添加环境变量即可。
Zookeeper的shell操作(常用命令)
使用zkCli.sh客户端连接ZooKeeper服务:
# zkCli.sh -server IP:2181
IP地址可以是ZooKeeper集群中任意节点的IP地址,2181为配置文件中client的端口。
在hadoop-1上使用客户端,可以直接使用zkCli.sh:
# zkCli.sh
此时客户端已经连接到ZooKeeper的服务,使用help命令可以查看操作命令:
ls命令用以查看指定节点下级的节点信息,但不能递归查看;ls -s(ls2已被弃用)命令可以递归查看制定节点下所有节点信息:
get命令用以获取指定节点的数据信息,因为现在没有创建任何节点,所以“/”节点下数据为空的:
create命令用以创建节点,-s参数表示创建顺序节点,-e参数表示创建临时节点,无参数默认创建持久节点。
1.创建顺序节点,数据(data)为000:
create -s /snow 000
顺序节点保证ZNode路径是唯一的,ZooKeeper服务自动向znode路径填充10位序列号。
2.创建临时节点,数据(data)为111:
create -e /snow-tmp 111
当会话过期或客户端断开连接时,临时节点将会被删除。
3.创建持久节点,数据(data)为222:
create /snow-per 222
set命令用以更改节点信息:
set /snow-per 333
更改/snow-per节点的数据内容为333。
delete用以删除节点,若该节点有子节点,则无法删除,即不能递归删除节点;rmr用以递归删除节点。
history命令用以查看历史操作命令:
history
redo命令用以指定历史命令编号快速执行命令:
redo 0
quit命令用以退出zkCli.sh客户端,其他命令请自行尝试。
ZooKeeper-API的应用
1. 创建一个Zookeeper的Client对象,并使用改Client连接Zookeeper集群。
2. 使用Create方法创建子节点。
3. 获取子节点并监听节点的变化(监听是放到process方法中执行)。
4. 判断Znode是否存在
5. 监听服务器节点动态上下线
业务服务器也是Zookeeper的Client,遵循以下步骤:连接Zookeeper集群、注册节点(向集群中写数据)、业务逻辑处理。
业务客户端也是Zookeeper的Client,遵循以下步骤:获取Zookeeper集群连接、注册监听、业务逻辑处理。
ZooKeeper安装、配置和使用的更多相关文章
- Zookeeper系列一:Zookeeper介绍、Zookeeper安装配置、ZK Shell的使用
https://www.cnblogs.com/leeSmall/p/9563547.html 一.Zookeeper介绍 1. 介绍Zookeeper之前先来介绍一下分布式 1.1 分布式主要是下面 ...
- Linux环境ZooKeeper安装配置及使用
Linux环境ZooKeeper安装配置及使用 一.ZooKeeper 1.1 zookeeper作用 1.2 zookeeper角色 1.3 zookeeper功能 二.集群规划 三.安装流程 (1 ...
- ZooKeeper学习第二期--ZooKeeper安装配置
一.Zookeeper的搭建方式 Zookeeper安装方式有三种,单机模式和集群模式以及伪集群模式. ■ 单机模式:Zookeeper只运行在一台服务器上,适合测试环境:■ 伪集群模式:就是在一台物 ...
- 【Zookeeper系列】ZooKeeper安装配置(转)
原文链接:https://www.cnblogs.com/sunddenly/p/4018459.html 一.Zookeeper的搭建方式 Zookeeper安装方式有三种,单机模式和集群模式以及伪 ...
- 【转载】ZooKeeper学习第二期--ZooKeeper安装配置
原文地址(https://www.cnblogs.com/sunddenly/p/4018459.html) 一.Zookeeper的搭建方式 Zookeeper安装方式有三种,单机模式和集群模式以及 ...
- ZooKeeper学习第二期--ZooKeeper安装配置(转)
转载来源:https://www.cnblogs.com/sunddenly/p/4018459.html 一.Zookeeper的搭建方式 Zookeeper安装方式有三种,单机模式和集群模式以及伪 ...
- Zookeeper安装配置及简单使用
我使用的CentOS 7阿里云服务器,ZK依赖JDK,需要先安装jdk并配置jdk环境变量. 1.安装wget: yum –y install wget 2.下载Zookeeper(http://mi ...
- zookeeper安装配置
以3.3.3为例(当然,前提是要安装好jdk,zookeeper的启动时依赖于jdk的) (1) wget http://www.apache.org/dist//zookeeper/zookeepe ...
- 【Zookeeper】Zookeeper安装配置
本文演示使用三台Linux服务器安装Zookeeper,使用的是zookeeper-3.4.5版本,将zookeeper-3.4.5.tar.gz上传到linux服务器, 使用如下命令解压到/usr/ ...
- CentOS系统下Hadoop、Hbase、Zookeeper安装配置
近期给一个项目搭建linux下的大数据处理环境,系统是CentOS 6.3.主要是配置JDK.安装Tomcat,Hadoop.HBase和Zookeeper软件.博主在Hadoop这方面也是新手.配置 ...
随机推荐
- Kubernetes的Job对象
Deployment.StatefulSet及DaemonSet三个主要用来进行长时间业务,不会退出. 而有一些离线业务,或者叫Batch Job(计算业务),计算完成后就直接退出 了,如果用Depl ...
- C#构造函数、属性的应用
using System; using System.Collections.Generic; using System.Text; namespace test { class Program { ...
- 执行超大的.sql文件处理,100M++
sqlcmd的命令参数如下: 1 [-U 登录 ID] [-P 密码] 2 [-S 服务器] [-H 主机名] [-E ...
- Spring Boot 2.2.2.RELEASE 版本中文参考文档
写在前面 在我初次接触MongoDB的时候,是为了做一个监控系统和日志分析系统.当时在用Java操作MongoDB数据里的数据的时候,都是在网上查找Demo示例然后完成的功能,相信大家也同样的体会,网 ...
- 假设高度已知,请写出三栏布局,其中左右各为300px 中间自适用
<!DOCTYPE html> <html lang="en"> <head> <meta charset="UTF-8&quo ...
- cookie --中间件
Cookie简介 cookie是服务器存储在用户计算机中的变量,可以让我们用同一个浏览器访问同一个域名的时共享数据. HTTP是一种无状态协议,简单来说,当你从一个页面,然后跳转到同站点的另一个页面时 ...
- 【转载】Android绘图之Path总结
Path作为Android中一种相对复杂的绘图方式,官方文档中的有些解释并不是很好理解,这里作一个相对全面一些的总结,供日后查看,也分享给大家,共同进步. 1.基本绘图方法 addArc(RectF ...
- [Go] go中的goto语句跳到指定标签
比如下面的语句goto TOP ,其中TOP就是自己的自定义的标签,下面的TOP:就是要执行的代码段一般用在需要两层循环的地方,里面goto再跳回上面去 ; i < ; i++ { { goto ...
- 向busybox中添加自己的applet
关键词:buysbox.applet等. busybox常用于嵌入式环境,集成中断Linux命令和工具.这些工具简单高效. 下面从如下方面了解: 这些命令是一个软链接到busybox,那么是如何从软连 ...
- 前端如何快速定位问题传参 和false
今天下午在请求接口的时候,出现了一个问题就是 传参问题 接口是请求成功的200,但是修改后返回来的却是500,这就很纳闷怎么会这样了. 经过查找,原来是因为传参问题.将有一个name:0 传递成了n ...