zookeeper集群搭建与升级
zookeeper
1、zookeeper功能
1-1、配置管理
集中管理配置文件实现服务治理
1-2、命名服务
如为了通过网络访问一个系统,我们得知道对方的IP地址,但是IP地址对人非常不友好,这个时候我们就需要使用域名来访问。但是计算机是不能识别域名的。怎么办呢?如果我们每台机器里都备有一份域名到IP地址的映射,这个倒是能解决一部分问题,但是如果域名对应的IP发生变化了又该怎么办呢?于是我们有了DNS这个东西。我们只需要访问一个大家熟知的(known)点,它就会告诉你这个域名对应的IP是什么。在我们的应用中也会存在很多这类问题,特别是在我们的服务特别多的时候,如果我们在本地保存服务的地址的时候将非常不方便,但是如果我们只需要访问一个大家都熟知的访问点,这里提供统一的入口,那么维护起来将方便得多了。
1-3、分布式锁
如在一个分布式环境中,为了提高可靠性,我们的集群的每台服务器上都部署着同样的服务。但是,一件事情如果集群中的每个服务器都进行的话,那相互之间就要协调,编程起来将非常复杂。而如果我们只让一个服务进行操作,那又存在单点。通常还有一种做法就是使用分布式锁,在某个时刻只让一个服务去干活,当这台服务出问题的时候锁释放,立即fail over到另外的服务。这在很多分布式系统中都是这么做,这种设计有一个更好听的名字叫Leader Election(leader选举)。比如HBase的Master就是采用这种机制。但要注意的是分布式锁跟同一个进程的锁还是有区别的,所以使用的时候要比同一个进程里的锁更谨慎的使用
1-4、集群管理
在分布式的集群中,经常会由于各种原因,比如硬件故障,软件故障,网络问题,有些节点会进进出出。有新的节点加入进来,也有老的节点退出集群。这个时候,集群中其他机器需要感知到这种变化,然后根据这种变化做出对应的决策。比如我们是一个分布式存储系统,有一个中央控制节点负责存储的分配,当有新的存储进来的时候我们要根据现在集群目前的状态来分配存储节点。这个时候我们就需要动态感知到集群目前的状态。还有,比如一个分布式的SOA架构中,服务是一个集群提供的,当消费者访问某个服务时,就需要采用某种机制发现现在有哪些节点可以提供该服务(这也称之为服务发现,比如Alibaba开源的SOA框架Dubbo就采用了Zookeeper作为服务发现的底层机制)。还有开源的Kafka队列就采用了Zookeeper作为Cosnumer的上下线管理。
2、单机部署
2-1、解压
tar xzvf filename
mv filename zookeeper
2-2、创建数据和日志目录
cd zookeeper
mkdir data logs
2-3、添加配置文件
cd conf
cp zoo_sample.cfg zoo.cfg
修改文件 zoo.cfg
tickTime=2000
dataDir=/home/live/zookeeper/data
dataLogDir=/home/live/zookeeper/logs
clientPort=2181
2-4、添加环境变量
vim ~/.bash_prifile
把$HOME/zookeeper/bin添加到PATH中
2-5、写启动脚本
mkdir ~/scripts
cd scripts
vim zkserver.sh
#!/bin/sh
zookeeper_dir=/home/live/zookeeper
zookeeper_command_path=/home/live/zookeeper/bin
zookeeper_process="zookeeper"
case $1 in
start)
cd $zookeeper_command_path;./zkServer.sh start
;;
stop)
cd $zookeeper_command_path;./zkServer.sh stop
;;
restart)
cd $zookeeper_command_path;./zkServer.sh stop;
cd $zookeeper_command_path;./zkServer.sh start
;;
status)
Process=`ps -ef|grep ${zookeeper_process}|grep -v grep |grep -v $0| wc -l`
if [ "$Process" = 0 ];then
echo "$process stopping."
cd $zookeeper_command_path;./zkServer.sh status
else
echo "$process starting."
cd $zookeeper_command_path;./zkServer.sh status
fi
;;
*)
echo "Usage: $0 {start|stop|restart|status}"
esac
2-6、启动zookeeper
sh scripts/zkserver.sh start
2-7、测试
1、启动客户端
~/zookeeper/bin/zkCli.sh -server z1:2181
2、创建节点
create /asd asd
3、查看节点的值
get /asd
3、多机部署
3-1、解压
tar xzvf filename
mv filename zookeeper
3-2、创建数据和日志目录
cd zookeeper
mkdir data logs
vim data/myid
写入1,……n
3-3、添加配置文件
1、配置主机名
vim /etc/hosts
……
2、zookeeper配置文件
cd conf
cp zoo_sample.cfg zoo.cfg
修改文件 zoo.cfg
tickTime=2000
dataDir=/home/live/zookeeper/data
dataLogDir=/home/live/zookeeper/logs
clientPort=2181
server.n=主机名:2888:3888
前一个端口表示的是这个服务器与集群中的 Leader 服务器交换信息的端口;后一个端口 表示的是万一集群中的 Leader 服务器挂了,需要一个端口来重新进行选举,选出一个新的 Leader,而这个端口就是用来执行选举时服务器相互通信的端口
3-4、添加环境变量
vim ~/.bash_prifile
把$HOME/zookeeper/bin添加到PATH中
3-5、写启动脚本
mkdir ~/scripts
cd scripts
vim zkserver.sh
#!/bin/sh
zookeeper_dir=/home/live/zookeeper
zookeeper_command_path=/home/live/zookeeper/bin
zookeeper_process="zookeeper"
case $1 in
start)
cd $zookeeper_command_path;./zkServer.sh start
;;
stop)
cd $zookeeper_command_path;./zkServer.sh stop
;;
restart)
cd $zookeeper_command_path;./zkServer.sh stop;
cd $zookeeper_command_path;./zkServer.sh start
;;
status)
Process=`ps -ef|grep ${zookeeper_process}|grep -v grep |grep -v $0| wc -l`
if [ "$Process" = 0 ];then
echo "$process stopping."
cd $zookeeper_command_path;./zkServer.sh status
else
echo "$process starting."
cd $zookeeper_command_path;./zkServer.sh status
fi
;;
*)
echo "Usage: $0 {start|stop|restart|status}"
esac
3-6、启动zookeeper
sh scripts/zkserver.sh start
3-7、测试
1、启动客户端
~/zookeeper/bin/zkCli.sh -server z1:2181
2、创建节点
create /asd asd
3、查看节点的值
get /asd
4、zookeeper集群必须配置jdk
vim /etc/profile
JAVA_HOME=?/jdk1.7.0_75
PATH=$JAVA_HOME/bin:$PATH
CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
JRE_HOME=$JAVA_HOME/jre
export JAVA_HOME
export CLASSPATH
export JRE_HOME
export PATH
5、升级
5-1、查看节点的状态
用echo stat | nc localhost 2191查看zookeeper状态,先从follower开始升级,最后升级leader
5-2、下载新版本
如部署时操作
配置等与部署时一致
5-3、复制新版本目录到其它节点一份
scp -r -P2828 ?/zookeeper-3.4.8/ root@192.168.14.36:?
5-4、割接版本
1、停止老版本服务
/usr/local/zookeeper/bin/zkServer.sh stop
2、删除老版本软连接
rm -rf /usr/local/zookeeper
3、做新版本软连接
ln -sv /usr/local/zookeeper-3.4.8/ /usr/local/zookeeper
4、开启新版本服务
/usr/local/zookeeper/bin/zkServer.sh start
5、查看状态,观察集群是否建立起来。
/usr/local/zookeeper/bin/zkServer.sh status
ZooKeeper JMX enabled by default
Using config: /usr/local/zookeeper/bin/../conf/zoo.cfg
Mode: follower
6、查看升级后数据是否还在
使用ZooInspector查看
zookeeper集群搭建与升级的更多相关文章
- 分布式架构中一致性解决方案——Zookeeper集群搭建
当我们的项目在不知不觉中做大了之后,各种问题就出来了,真jb头疼,比如性能,业务系统的并行计算的一致性协调问题,比如分布式架构的事务问题, 我们需要多台机器共同commit事务,经典的案例当然是银行转 ...
- kafka学习(二)-zookeeper集群搭建
zookeeper概念 ZooKeeper是一个分布式的,开放源码的分布式应用程序协调服务,它包含一个简单的原语集,分布式应用程序可以基于它实现同步服务,配置维护和命名 服务等.Zookeeper是h ...
- 分布式协调服务Zookeeper集群搭建
分布式协调服务Zookeeper集群搭建 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任. 一.安装jdk环境 1>.操作环境 [root@node101.yinzhengjie ...
- Zookeeper 集群搭建--单机伪分布式集群
一. zk集群,主从节点,心跳机制(选举模式) 二.Zookeeper集群搭建注意点 1.配置数据文件 myid 1/2/3 对应 server.1/2/3 2.通过./zkCli.sh -serve ...
- Zookeeper集群搭建以及python操作zk
一.Zookeeper原理简介 ZooKeeper是一个开放源码的分布式应用程序协调服务,它包含一个简单的原语集,分布式应用程序可以基于它实现同步服务,配置维护和命名服务等. Zookeeper设计目 ...
- Kafka学习之(五)搭建kafka集群之Zookeeper集群搭建
Zookeeper是一种在分布式系统中被广泛用来作为:分布式状态管理.分布式协调管理.分布式配置管理.和分布式锁服务的集群.kafka增加和减少服务器都会在Zookeeper节点上触发相应的事件kaf ...
- zookeeper集群搭建及Leader选举算法源码解析
第一章.zookeeper概述 一.zookeeper 简介 zookeeper 是一个开源的分布式应用程序协调服务器,是 Hadoop 的重要组件. zooKeeper 是一个分布式的,开放源码的分 ...
- 【zookeeper】 zookeeper 集群搭建
集群搭建环境: 发行版:CentOS-6.6 64bit 内核:2.6.32-504.el6.x86_64 CPU:intel-i7 3.6G 内存:2G 集群搭建步骤: 1. 确保机器安装了jdk ...
- Zookeeper(二) zookeeper集群搭建 与使用
一.zookeeper集群搭建 鉴于 zookeeper 本身的特点,服务器集群的节点数推荐设置为奇数台.我这里我规划为三台, 为别为 hadoop01,hadoop02,hadoop03 1. ...
随机推荐
- Codeforces 1239D. Catowice City
传送门 如果选择 $i$ 当陪审团成员,那么 $i$ 认识的猫一定不能参加 又因为总人数和猫数要为 $n$ ,那么 $i$ 认识的猫 的主人也一定要当陪审团成员(不然总数不够) 所以可以考虑这样构图, ...
- Python学习日记(七)——装饰器
1.必备知识 #### 一 #### def foo(): print 'foo' foo #表示是函数 foo() #表示执行foo函数 #### 二 #### def foo(): print ' ...
- 2-SAT两题
看了大白书,学习了一下two-sat,很有意思的算法.题目就是大白书上的两题. 仅仅放一下代码作为以后的模板参考. #include <stdio.h> #include <algo ...
- WIN10环境下点击通知栏图标时自动切换输入法导致图标位置变动
这个问题由来已久,每当点击系统右下角任务栏中的按钮时,原本是搜狗输入法就会自动变成“US [ 中文(简体,中国) ]”,图标会自动错位,导致响应的是其他功能. 假设上图是正常的环境,此时我点击电池图标 ...
- 黑马vue---31-32、vue过滤器实例
黑马vue---31-32.vue过滤器实例 一.总结 一句话总结: vue内部的东西,无论是过滤器还是组件,都是键值对的方式 1.过滤器的定义语法? Vue.filter('过滤器的名称', fun ...
- vagrant系列三:vagrant搭建的php7环境
原文:https://blog.csdn.net/hel12he/article/details/51107236 前面已经把vagrant的基础知识已经基本过了一遍 了,相信只要按着教程来,你已经搭 ...
- 使用jquery 动态创建form 并提交
$(document).ready(function(){ $("a.delete").click(function(event){ action = this ...
- [System Design] Design a distributed key value caching system, like Memcached or Redis
https://www.interviewbit.com/problems/design-cache/ Features: This is the first part of any system d ...
- Entity Framework链接数据库设置
本人不才,学习EntityFramwork同时做个记录供大家参考.不多说,直接上步骤 1.在WebConfig中添加如下代码段 <connectionStrings> <add na ...
- Django:(07)数据库
一.ORM框架 ORM ,Object relational mapping 对象关系映射. 把类和数据库表对应,把对象和表记录对应,通过类和对象操作数据库表中的数据,而不需要编写SQL语句. Dja ...