大数据-zookeeper集群安装
一、安装前发现的问题:
1、安装前期发现jps权限不够
[root@master1 ~]# jps
-bash: /opt/workspace/jdk1./bin/jps: Permission denied
解决:
这时只需要添加一个权限即可 chmod +x /usr/local/jdk8/bin/jps x是执行权限
2、中文乱码问题
解决:编辑服务器文件
vim etc/locale.conf
3、journalnode启动java权限问题
chmod +x /opt/workspace/jdk1./bin/java
二、安装zookeeper
(1)下载源码并解压
地址http://mirror.bit.edu.cn/apache/zookeeper/
mkdir /opt/workspace/zookeeper
下载稳定版本,解压缩到/opt/workspace/zookeeper目录
[root@master1 ~]# cd /opt/workspace
[root@master1 zookeeper]#tar -zxvf zookeeper-3.4..tar.gz
(2)环境配置
修改文件 /etc/profile
export ZK_HOME=/opt/workspace/zookeeper/zookeeper-3.4.
export PATH=.:${JAVA_HOME}/bin:${SCALA_HOME}/bin:${MAVEN_HOME}/bin:$HADOOP_HOME/sbin:$HADOOP_HOME/bin:${HIVE_HOME}/bin:${SPARK_HOME}/bin:${HBASE_HOME}/bin:$SQOOP_HOME/bin:${ZK_HOME}/bin:$PATH
source /etc/profile
(3)修改配置文件
1.在集群的服务器上都创建这些目录
切换到/opt/workspace/zookeeper/目录,执行以下命令
mkdir zookeeper/data
mkdir zookeeper/datalog
并在/opt/workspace/zookeeper/data目录下创建myid文件
touch myid
将master1、master2、slave1、slave2、slave3的myid文件内容改为1,2,3,4,5
(4)修改zoo.cfg文件
复制zoo_sample.cfg文件并重命名为zoo.cfg,并添加如下配置:
[root@master1 conf]mv zoo_sample.cfg zoo.cnf
dataDir=/opt/workspace/zookeeper/data
dataLogDir=/opt/workspace/zookeeper/datalog server.=master1:: server.=master2::
server.=slave1::
server.=slave2::
server.=slave3::
说明:client port,顾名思义,就是客户端连接zookeeper服务的端口。这是一个TCP port。dataLogDir里是放到的顺序日志(WAL)。而dataDir里放的是内存数据结构的snapshot,便于快速恢复。为了达到性能最大化,一般建议把dataDir和dataLogDir分到不同的磁盘上,这样就可以充分利用磁盘顺序写的特性。dataDir和dataLogDir需要自己创建,目录可以自己制定,对应即可。
1.tickTime:CS通信心跳数
Zookeeper 服务器之间或客户端与服务器之间维持心跳的时间间隔,也就是每个 tickTime 时间就会发送一个心跳。tickTime以毫秒为单位。
tickTime=2000
2.initLimit:LF初始通信时限
集群中的follower服务器(F)与leader服务器(L)之间初始连接时能容忍的最多心跳数(tickTime的数量)。
initLimit=10
3.syncLimit:LF同步通信时限
集群中的follower服务器与leader服务器之间请求和应答之间能容忍的最多心跳数(tickTime的数量)。
syncLimit=5
依旧将zookeeper传输到其他的机器上
(5)启动zookeeper
切换到/opt/workspace/zookeeper/zookeeper-3.4.12/bin目录下,执行
zkServer.sh start
注:成功配置zookeeper之后,需要在每台机器上启动zookeeper
在所有节点启动后,等待一段时间查看即可
[root@master1 bin]# zkServer.sh status
ZooKeeper JMX enabled by default
Using config: /opt/workspace/zookeeper/zookeeper-3.4./bin/../conf/zoo.cfg
Mode: follower
[root@slave3 bin]# zkServer.sh status
ZooKeeper JMX enabled by default
Using config: /opt/workspace/zookeeper/zookeeper-3.4./bin/../conf/zoo.cfg
Mode: leader
问题:
1、zookeeper启动正常,查看状态出现错误
解决方法:
查看zookeeper.out文件
我的在zookeeper/zookeeper-3.4.12/bin/zookeeper.out
关闭防火墙
systemctl stop firewalld.service
等待一会重新启动服务,问题解决,5台机器全部启动
2、DFSZKFailoverController进程启动失败
在搭建完成后,启动hadoop服务时,发现两个namenode都处于standby状态,仔细检查发现DFSZKFailoverController进程没有启动
首先去查找log日志
查看master1中的zkfc日志
发现错误
解决:重新在master1和master2上格式化zookeeper
[root@master1 hadoop-2.9.]# cd bin
[root@master1 bin]# hdfs zkfc -formatZK
在master1和master2上重新启动zookeeper
[root@master1 bin]# hadoop-daemon.sh start zkfc
查看启动的进程
[root@master1 bin]# hdfs haadmin -failover nn1 nn2
// :: WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
Failover to NameNode at master2/159.226.48.203: successful
[root@master1 bin]# hdfs haadmin -getServiceState nn1
// :: WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
standby
[root@master1 bin]# hdfs haadmin -getServiceState nn2
// :: WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
active
DFSZKFailoverController进程启动正常
参考:https://blog.csdn.net/sinat_25943197/article/details/81906060
大数据-zookeeper集群安装的更多相关文章
- 大数据Hadoop-Spark集群部署知识总结(一)
大数据Hadoop-Spark集群部署知识总结 一.启动/关闭 hadoop myhadoop.sh start/stop 分步启动: 第一步:在hadoop102主机上 sbin/start-dfs ...
- 原创:centos7.1下 ZooKeeper 集群安装配置+Python实战范例
centos7.1下 ZooKeeper 集群安装配置+Python实战范例 下载:http://apache.fayea.com/zookeeper/zookeeper-3.4.9/zookeepe ...
- 1、zookeeper集群安装
前提准备3台centos7.0虚拟机 c7003:192.168.70.103 c7004:192.168.70.104 c7005:192.168.70.105 并在三台虚拟机上配置hosts为 1 ...
- hbase和ZooKeeper集群安装配置
一:ZooKeeper集群安装配置 1:解压zookeeper-3.3.2.tar.gz并重命名为zookeeper. 2:进入~/zookeeper/conf目录: 拷贝zoo_sample.cfg ...
- Zookeeper集群安装Version3.5.1
Zookeeper集群安装,基于版本3.5.1, 使用zookeeper-3.5.1-alpha.tar.gz安装包. 1.安装规划 zookeeper集群模式,安装到如下三台机器 10.43.159 ...
- [转]大数据hadoop集群硬件选择
问题导读 1.哪些情况会遇到io受限制? 2.哪些情况会遇到cpu受限制? 3.如何选择机器配置类型? 4.为数据节点/任务追踪器提供的推荐哪些规格? 随着Apache Hadoop的起步,云客户 ...
- zookeeper 集群安装与配置
Zookeeper安装和配置 准备工作 安装 JDK,此步略. 下载 zookeeper wget http://archive.apache.org/dist/zookeeper/zookeeper ...
- 大数据 -- Hadoop集群环境搭建
首先我们来认识一下HDFS, HDFS(Hadoop Distributed File System )Hadoop分布式文件系统.它其实是将一个大文件分成若干块保存在不同服务器的多个节点中.通过联网 ...
- windows下zookeeper集群安装
windows下zookeeper单机版安装,见:https://www.cnblogs.com/lbky/p/9867899.html 一:zookeeper节点为什么是奇数个? 单机模式的zk进程 ...
随机推荐
- JAVA 上加密算法的实现用例,MessageDigest介绍
第 1 章基础知识 1.1. 单钥密码体制 单钥密码体制是一种传统的加密算法,是指信息的发送方和接收方共同使用同一把密钥进行加解密. 通常 , 使用的加密算法 比较简便高效 , 密钥简短,加解密速度快 ...
- 1097G Vladislav and a Great Legend
传送门 分析 https://blog.csdn.net/forever_shi/article/details/88048528 代码 #include<iostream> #inclu ...
- sql复制表结构,复制表内容语句
sql复制表结构,复制表内容语句 select * into b from a where 1<>1 select top 0 * into b from a insert into a ...
- 访问SAP的RFC
.NET 环境Xp(sp3) vs2010, win2003 EN 32bit(sp2)winform,webform 引用sapnco.dll,sapnco_utils.dll(自动引用)配置文件需 ...
- SourceInsight中 加namespace宏后,无法跳转问题解决
Option->preferences->languages: C++ language->special, checked Ignore namespace declaration ...
- Android性能分析Systrace工具
一.概述 保证系统流畅度,也就是保证系统能连续不间断地提供每秒60帧的运行状态.当出现掉帧时(也可称为Jank),需要知道当前整个系统所处的状态,systrace便是最佳的选择,它能手机检测Andro ...
- 用layer-list做一个卡片背景
<?xml version="1.0" encoding="utf-8"?> <layer-list xmlns:android=" ...
- 关于Qt官方下载页的最新变动
时间过得很快,现在Qt已经迎来了5.10版本,但是当我们去下载页下载对应安装包的时候,已经找不到之前的offline安装包了.你能够看到的只有在线安装包,并且我自己有做过测试,国内的网络基本上没有机会 ...
- MFC中按钮控件的用法笔记(转)
VC学习笔记1:按钮的使能与禁止 用ClassWizard的Member Variables为按钮定义变量,如:m_Button1:则m_Button1.EnableWindow(true); 使按钮 ...
- 20145233《网络对抗》Exp5 MSF基础应用
20145233<网络对抗>Exp5 MSF基础应用 实验问题思考 什么是exploit,payload,encode exploit是发现了的可以利用的安全漏洞或者配置弱点,这类模块存储 ...