Zookeeper-3.5.8集群搭建
大数据技术有着众多系统需要分布式协调服务,比如Hadoop、Kafka系统,其中主从切换、维护命名空间、以及分布式协调通知等场景,需要保证数据的分布式一致性。
Zookeeper是业界最著名的分布式协调系统,下文中简称为ZK。ZK系统的实现基于ZAB协议(Zookeeper Atomic Broadcast),ZAB协议的核心定义了那些会改变Zookeeper服务器数据状态的事务请求的处理方式。由于ZK实现的原理比较复杂,这里不再展开,感兴趣的读者可以阅读《从Paxos到Zookeeper分布式一致性原理与实践》这本书。
本文将重点讨论如何搭建一套稳定的ZK集群,合理地配置ZK参数,以及更高效地使用新版本的特性。希望能给初学者带来一些参考,也欢迎大家在留言区讨论~~~
1. 初始化各个zk节点基础环境
- 安装jdk
下载jdk1.8.0_144,并解压到目录/usr/local/
- 关闭swap
#临时生效
swapoff -a
#永久生效
echo 'swapoff -a' >> /etc/rc.d/rc.local
2. 中转机配置一份zookeeper
从ZK官网下载zookeeper-3.5.8到中转机,下载完成后解压tar包。这里要注意安装的版本号,根据Apache版本命名规范,x.y.z的y表示增加重要功能的版本号,z表示修复bug后的版本号,因此要权衡y和z的版本号。
笔者考虑到3.5是目前比较新的版本,且当前3.5最新的z版本号为8,之前的一些bug已经被修复,相对比较稳定,因此选择了3.5.8版本。
修改zk配置文件
- 修改zoo.cfg配置文件
cp conf/zoo_sample.cfg conf/zoo.cfg
#追加或修改以下配置
vim conf/zoo.cfg
# 配置数据保存目录
dataDir=/data0/zookeeper
# 只保留10个快照文件(用于自动清除历史数据)
autopurge.snapRetainCount=10
# 每隔1小时扫描一次数据目录
autopurge.purgeInterval=1
server.1=zk1.bjehp.com:2888:3888
server.2=zk2.bjehp.com:2888:3888
server.3=zk3.bjehp.com:2888:3888
server.4=zk4.bjehp.com:2888:3888
server.5=zk5.bjehp.com:2888:3888
# 把所有的四字命令加入白名单
4lw.commands.whitelist=*
- 修改zookeeper的日志目录
vim bin/zkEnv.sh
ZOO_LOG_DIR="/var/log/zookeeper"
ZOO_LOG4J_PROP="INFO,ROLLINGFILE" # 用于滚动清除系统日志
JAVA_HOME="/usr/local/jdk1.8.0_144"
- 添加jvm内存配置
vim conf/java.env
SERVER_JVMFLAGS="-Xms2g -Xmx4g $SERVER_JVMFLAGS" # 配置zk的JVM内存参数
- 修改log4j
vim conf/log4j.properties
zookeeper.log.maxfilesize=64MB # 每64MB迭代一个系统日志文件
zookeeper.log.maxbackupindex=10 # 只保留10个系统日志文件
- 配置jmx端口
vim bin/zkServer.sh
ZOOMAIN="-Dcom.sun.management.jmxremote -Dcom.sun.management.jmxremote.local.only=$JMXLOCALONLY -Dcom.sun.management.jmxremote.port=6999 -Dcom.sun.management.jmxremote.authenticate=false -Dcom.sun.management.jmxremote.ssl=false org.apache.zookeeper.server.quorum.QuorumPeerMain"
3. 安装并启动zk服务
登录各个zk节点,执行以下操作
安装
拷贝中转机的zookeeper-3.5.8安装包到/usr/local目录
mkdir /data0/zookeeper
mkdir /var/log/zookeeper
#对每个zk节点配置相应的id数字,id取值范围1~255,这里id要与zoo.cfg配置对应
vim /data0/zookeeper/myid
启动并验证
/usr/local/apache-zookeeper-3.5.8-bin/bin/zkServer.sh start
ll /var/log/zookeeper/
ll /data0/zookeeper/
/usr/local/apache-zookeeper-3.5.8-bin/bin/zkServer.sh status
tailf /var/log/zookeeper/zookeeper-*.log
echo mntr|nc zk.node 2181
zk节点全部启动后,会有一个leader节点,其余四个为follower节点。
停止
/usr/local/apache-zookeeper-3.5.8-bin/bin/zkServer.sh stop
配置监控报警
- 磁盘/内存/cpu
- 端口存活
- 服务是否正常
4. 总结
本文介绍了搭建zookeeper-3.5.8集群的详细步骤,包括先关闭swap(zk需要保证数据的一致性,写入磁盘会破坏数据的顺序,数据写入磁盘对于zk来说是个灾难),配置自动清除数据文件和日志文件,配置JMX便于日后采集metric排查问题,最后介绍了zk启停操作和验证服务是否正常的命令。
参考资料
- 《从Paxos到Zookeeper分布式一致性原理与实践》
- https://zookeeper.apache.org/
Zookeeper-3.5.8集群搭建的更多相关文章
- zookeeper相关知识与集群搭建
Zookeeper Zookeeper相关概念 Zookeeper概述 Zookeeper是一个分布式协调服务的开源框架,主要用来解决分布式集群中应用系统的一致性问题. Zookeeper本质上是一个 ...
- ZooKeeper的伪分布式集群搭建
ZooKeeper集群的一些基本概念 zookeeper集群搭建: zk集群,主从节点,心跳机制(选举模式) 配置数据文件 myid 1/2/3 对应 server.1/2/3 通过 zkCli.sh ...
- zookeeper+activemq高可用集群搭建
一.准备工作: 准备三台机器:192.168.35.111192.168.35.112192.168.35.113 二.搭建zookeeper 三台机器上均要搭建zookeeper服务// 下载zoo ...
- Zookeeper,Hbase 伪分布,集群搭建
工作中一般使用的都是zookeeper和Hbase的分布式集群. more /etc/profile cd /usr/local zookeeper-3.4.5.tar.gz zookeeper在安装 ...
- 【ZooKeeper】单机伪集群搭建(适用于mac)
1.配置 .zookeeper下载地址:http://apache.mirrors.lucidnetworks.net/zookeeper/ 可以选择需要的版本,我下载的是zookeeper-3.4. ...
- zookeeper集群搭建及Leader选举算法源码解析
第一章.zookeeper概述 一.zookeeper 简介 zookeeper 是一个开源的分布式应用程序协调服务器,是 Hadoop 的重要组件. zooKeeper 是一个分布式的,开放源码的分 ...
- 分布式实时日志系统(一)环境搭建之 Jstorm 集群搭建过程/Jstorm集群一键安装部署
最近公司业务数据量越来越大,以前的基于消息队列的日志系统越来越难以满足目前的业务量,表现为消息积压,日志延迟,日志存储日期过短,所以,我们开始着手要重新设计这块,业界已经有了比较成熟的流程,即基于流式 ...
- 分布式架构中一致性解决方案——Zookeeper集群搭建
当我们的项目在不知不觉中做大了之后,各种问题就出来了,真jb头疼,比如性能,业务系统的并行计算的一致性协调问题,比如分布式架构的事务问题, 我们需要多台机器共同commit事务,经典的案例当然是银行转 ...
- 28.zookeeper单机(Standalones模式)和集群搭建笔记
zookeeper单机(Standalones模式)和集群搭建: 前奏: (1).zookeeper也可以在windows下使用,和linux一样可以单机也可以集群,具体就是解压zookeeper-3 ...
- ZooKeeper在centos6.4的集群搭建
首先给一个小tips,在搭建zookeeper之前,需要配置好java环境,请参看我的另一篇文章<Jdk1.8在CentOS7中的安装与配置>,还需要免密码登录,请参看我的另一篇文章< ...
随机推荐
- milvus和faiss安装及其使用教程
写在前面 高性能向量检索库(milvus & faiss)简介 Milvus和Faiss都是高性能向量检索库,可以让你在海量向量库中快速检索到和目标向量最相似的若干个向量,这里相似度量标准可以 ...
- Python 自动化测试全攻略:五种自动化测试模型实战详解
随着移动互联网的发展,软件研发模型逐步完善,软件交付质量越来越受到软件公司的重视,软件测试技术特别是自动化测试技术开始在软件系统研发过程中发挥着越来越重要的作用. 与传统的手工测试技术相比,自动化测试 ...
- 日常使用 ADB 命令
最近项目中经常与安卓设备相连,用到adb命令.整理一下常用命令. wifi控制命令 adb connect IP 若连接失败,可尝试插数据线运行以下两条命令后,方可拔掉数据线,在设备未关闭之前可以直接 ...
- STM32之旅5——IWDG
STM32之旅5--IWDG stm32有两个看门狗,一个独立看门狗(IWDG).一个窗口看门狗(WWDG):独立看门狗是时钟源是内部的40kHz的低速时钟,即使主频出问题了,独立看门狗也不会受到影响 ...
- C#实例 武汉肺炎全国疫情实时信息图
如果需要查看更多文章,请微信搜索公众号 csharp编程大全,需要进C#交流群群请加微信z438679770,备注进群, 我邀请你进群! ! ! --------------------------- ...
- Create a cursor from hardcoded array instead of DB
https://stackoverflow.com/questions/18290864/create-a-cursor-from-hardcoded-array-instead-of-db Crea ...
- 微信小程序tabbar不显示2019.04.06
app.json中pages的第一项必须在tabBar中,且这一项需要在pages的list中(与顺序无关)否则无法显示tabBar app.json中pages数组中第一项(首页),必须在tabBa ...
- spring boot:spring security整合jwt实现登录和权限验证(spring boot 2.3.3)
一,为什么使用jwt? 1,什么是jwt? Json Web Token, 它是JSON风格的轻量级的授权和身份认证规范, 可以实现无状态.分布式的Web应用授权 2,jwt的官网: https:// ...
- linux(centos8):安装分布式事务服务seata(file单机模式,seata 1.3.0/centos 8.2)
一,什么是seata? Seata:Simpe Extensible Autonomous Transcaction Architecture, 是阿里中间件,开源的分布式事务解决方案. 前身是阿里的 ...
- zookeeper在生产环境中的配置(zookeeper3.6)
一,zookeeper中日志的配置 1,快照文件snapshot的目录: dataDir=/data/zookeeper/data 存储快照文件snapshot的目录.默认情况下,事务日志也会存储在这 ...