zookeeper相关知识与集群搭建
Zookeeper
Zookeeper相关概念
Zookeeper概述
Zookeeper是一个分布式协调服务的开源框架,主要用来解决分布式集群中应用系统的一致性问题。
Zookeeper本质上是一个分布式的小文件存储系统,主要的功能有统一命名服务、分布式配置管理、分布式消息队列、分布式锁、分布式协调等。
Zookeeper特性
- 全局数据一致
- 可靠性
- 顺序性
- 数据更新原子性
- 实时性
Zookeeper集群角色
- Leader:Zookeeper 集群工作的核心
事务请求(写操作)的唯一调度和处理者,保证集群事务处理的顺序性;集群内部各个服务器的调度者。
对于 create,setData,delete 等有写操作的请求,则需要统一转发给leader 处理,leader 需要决定编号、执行操作,这个过程称为一个事务。 - Follower:跟随者
处理客户端非事务(读操作)请求,转发事务请求给 Leader;参与集群 Leader 选举投票。 - Observer:针对访问量比较大的 zookeeper 集群,还可新增观察者角色
不会参与任何形式的投票只提供非事务服务,通常用于在不影响集群事务处理能力的前提下提升集群的非事务处理能力。
ZooKeeper数据模型
图中的每个节点称为一个 Znode。 Znode 兼具文件和目录两种特点;具有原子性操作;存储数据大小有限制,通常以 KB 为大小单位;通过路径引用,路径必须是绝对的,由斜杠字符来开头。
- 每个 Znode 由 3 部分组成:
- stat:此为状态信息, 描述该 Znode 的版本, 权限等信息
- data:与该 Znode 关联的数据
- children:该 Znode 下的子节点
- Znode 有两种,临时节点:会话结束,临时节点将被自动删除。临时节点不允许拥有子节点和永久节点
- 存在四种类型的 Znode 节点
- PERSISTENT:永久节点
- EPHEMERAL:临时节点
- PERSISTENT_SEQUENTIAL:永久节点、序列化
- EPHEMERAL_SEQUENTIAL:临时节点、序列化
Zookeeper Watcher
客户端向服务端注册Watcher、服务端事件发生触发 Watcher、客户端回调 Watcher 得到触发事件情况
- Watch机制特点
- 一次性触发
- 事件封装:WatchedEvent(通知状态(keeperState),事件类型(EventType)和节点路径(path))
- event 异步发送
- 先注册再触发
ZooKeeper 选举机制
- 全新集群选举
投票数正好大于半数时,服务器 ID最大的服务器为leader - 非全新集群选举
逻辑时钟小的选举结果被忽略,重新投票;统一逻辑时钟后,数据 id 大的胜出;数据 id 相同的情况下,服务器 id 大的胜出
Zookeeper集群搭建
JDK 环境安装
#卸载openjdk
rpm -qa | grep java
rpm -e --nodeps 上一步查出来的软件
#上传 jdk 安装包
jdk-8u65-linux-x64.tar.gz
#解压安装包
tar zxvf jdk-8u65-linux-x64.tar.gz -C /root/apps
#配置环境变量
vim /etc/profile
export JAVA_HOME=/root/apps/jdk1.8.0_65
export PATH=$PATH:$JAVA_HOME/bin
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
#刷新配置
source /etc/profile
Zookeeper集群搭建
#检查集群时间,下方窗口同时间发送
date
#同步时间
yum install -y ntp
ntpdate ntp6.aliyun.com
#关闭防火墙
service iptables stop
#注: 永久关闭防火墙[推荐使用]
chkconfig iptables off
映射 cat /etc/hosts
IP地址 主机名
##下载安装包、解压
tar -zxvf zookeeper-3.4.5.tar.gz
mv zookeeper-3.4.5 zookeeper
改一个名字
##修改环境变量(注意:3台zookeeper都需要修改)
#注 : 1.写环境变量的时候最后不能带有 / 一定不能!!2. 一定要ssh 自己能通过
vim /etc/profile
export ZOOKEEPER_HOME=/root/apps/zookeeper
export PATH=$PATH:$ZOOKEEPER_HOME/bin
source /etc/profile
##修改Zookeeper配置文件
cd /root/apps/zookeeper/conf
cp zoo_sample.cfg zoo.cfg
#创建数据文件夹
mkdir -p /export/data/zkdata
vim zoo.cfg
添加内容:
//修改路径.改成自己的
dataDir=/export/data/zkdata
## (心跳端口、选举端口)
server.1=node1:2888:3888
server.2=node2:2888:3888
server.3=node3:2888:3888
注: 最好这行配置后面不要加别的注释以及不要断开,防止启动不起来
cd /export/data/zkdata
#注意这是刚才创建的data路径文件夹
在data文件夹下新建myid文件,myid的文件内容为(设置节点的id):
echo 1 > myid
##分发安装包到其他机器(这里是要把jdk 也要传过去,)
scp -r /root/apps/zookeeper root@node2:/root/apps/
注:这里zookeeper 后面有没 / 把文件夹也传过去
##修改其他机器的配置文件[记得创建数据文件夹]
修改myid文件
到node2上:修改myid为:2
到node3上:修改myid为:3
#设置三个机器的本机免密登录(三台机器配置一样):
ssh-keygen -t rsa ---一直回车即可
cd /root/.ssh/ ---生成了公钥和私钥
cat id_rsa.pub >> authorized_keys ---将公钥追加到授权文件中
more authorized_keys ---可以查看到里面追加的公钥
ssh node1
#配置两两之间的免密登录:
#将node1中的公钥复制到node2中
ssh-copy-id -i node2
#将node3中的公钥复制到node2中
ssh-copy-id -i node2
#把node2中的授权文件复制给node1和node3
scp /root/.ssh/authorized_keys node1:/root/.ssh/
scp /root/.ssh/authorized_keys node3:/root/.ssh/
一键启动:
#!/bin/bash
for host in node1 node2 node3
do
{
echo $host start
ssh $host "source /etc/profile;/root/apps/zookeeper/bin/zkServer.sh start"
echo "$host zk is running"
}
done
##查看集群状态
jps(查看进程)
zkServer.sh status(查看集群状态,主从信息)
如果启动不成功,可以观察zookeeper.out日志,查看错误信息进行排查
一键关闭:
#!/bin/bash
for host in node1 node2 node3
do
{
echo "$host zk is stopping"
ssh $host "/root/apps/zookeeper/bin/zkServer.sh stop"
}
done
zookeeper相关知识与集群搭建的更多相关文章
- ZooKeeper的伪分布式集群搭建
ZooKeeper集群的一些基本概念 zookeeper集群搭建: zk集群,主从节点,心跳机制(选举模式) 配置数据文件 myid 1/2/3 对应 server.1/2/3 通过 zkCli.sh ...
- zookeeper+activemq高可用集群搭建
一.准备工作: 准备三台机器:192.168.35.111192.168.35.112192.168.35.113 二.搭建zookeeper 三台机器上均要搭建zookeeper服务// 下载zoo ...
- Zookeeper,Hbase 伪分布,集群搭建
工作中一般使用的都是zookeeper和Hbase的分布式集群. more /etc/profile cd /usr/local zookeeper-3.4.5.tar.gz zookeeper在安装 ...
- ASP.NET Core on K8S深入学习(1)K8S基础知识与集群搭建
在上一个小系列文章<ASP.NET Core on K8S学习初探>中,通过在Windows上通过Docker for Windows搭建了一个单节点的K8S环境,并初步尝试将ASP.NE ...
- 【ZooKeeper】单机伪集群搭建(适用于mac)
1.配置 .zookeeper下载地址:http://apache.mirrors.lucidnetworks.net/zookeeper/ 可以选择需要的版本,我下载的是zookeeper-3.4. ...
- zookeeper集群搭建及Leader选举算法源码解析
第一章.zookeeper概述 一.zookeeper 简介 zookeeper 是一个开源的分布式应用程序协调服务器,是 Hadoop 的重要组件. zooKeeper 是一个分布式的,开放源码的分 ...
- 分布式实时日志系统(一)环境搭建之 Jstorm 集群搭建过程/Jstorm集群一键安装部署
最近公司业务数据量越来越大,以前的基于消息队列的日志系统越来越难以满足目前的业务量,表现为消息积压,日志延迟,日志存储日期过短,所以,我们开始着手要重新设计这块,业界已经有了比较成熟的流程,即基于流式 ...
- K8S之集群搭建
转自声明 ASP.NET Core on K8S深入学习(1)K8S基础知识与集群搭建 1.K8S环境搭建的几种方式 搭建K8S环境有几种常见的方式如下: (1)Minikube Minikube是一 ...
- 初始zookeeper与集群搭建实例
zookeeper是什么 Zookeeper,一种分布式应用的协作服务,是Google的Chubby一个开源的实现,是Hadoop的分布式协调服务,它包含一个简单的原语集,应用于分布式应用的协作服务, ...
随机推荐
- Java访问控制权限
在Java中一共存在四种访问控制权限,即 private.default(默认).protected和public 1.private 访问权限 private属于私有访问权限,可以用在属性的定义.方 ...
- yanxin8文章归档
文章归档 - 2015年四月 (共21篇文章) 26日: 14443协议的CRC_A和CRC_B (0条评论) 25日: 百度钱包-1分钱5元话费 (0条评论) 22日: 驾照考试总结 (0条评论) ...
- 字符串安全处理:CRT安全增强以及安全模板重载
Secure Template Overloads :http://msdn.microsoft.com/en-us/library/ms175759(v=vs.80).aspx Security E ...
- WAKE-WIN10-SOFT-python配置
1,anaconda下载,安装 1,1 官网:https://www.continuum.io/downloads 下载:https://repo.continuum.io/archive/ win1 ...
- Android(java)学习笔记4:线程的控制
1. 线程休眠: Java中线程休眠指让正在运行的线程暂停执行一段时间,进入阻塞状态,通过调用Thread类的静态方法sleep得以实现. 当线程调用sleep进入阻塞状态后,在其休眠的时间内,该线程 ...
- auto create statistic script
--生成用户创建的statistic脚本 select object_name(stout.object_id), stout.name, 'CREATE STATISTICS '+ stout.na ...
- HDU 1853 MCMF
题意:给定一个有向带权图,使得每一个点都在一个环上,而且权之和最小. 分析:每个点在一个环上,入度 = 出度 = 1,拆点入点,出点,s到所有入点全部满载的最小费用MCMF; #include < ...
- POJ 1423 斯特林
题意:进制问题 分析: 打表,但是要用不能 long long 型,超内存. n! = log_{10}\sqrt{2{\pi}n}*(\frac{n}e)^n 精度要求 #include <c ...
- 使用paramiko的问题记录
用paramiko时遇到问题,异常如下: 解决方法记录如下: 更新gmp版本: wget https://ftp.gnu.org/gnu/gmp/gmp-6.0.0a.tar.bz2 tar -xvj ...
- 【luogu P1144 最短路计数】 题解
题目链接:https://www.luogu.org/problemnew/show/P1144 #include <iostream> #include <cstdio> # ...