Hadoop-HA配置详细步骤
1. HA服务器配置
对hdfs做高可用
1.1服务器详情
服务器:centos7
Hadoop:2.6.5
Jdk:1.8
共四台服务器
192.168.1.111 node1
192.168.1.112 node2
192.168.1.113 node3
192.168.1.114 node4
在每台服务器的/etc/hosts文件中添加上边四行内容
服务器分配
NN |
DN |
ZK |
ZKFC |
JN |
RM |
DM |
|
Node1 |
1 |
1 |
1 |
1 |
|||
Node2 |
1 |
1 |
1 |
1 |
1 |
1 |
|
Node3 |
1 |
1 |
1 |
1 |
|||
Node4 |
1 |
1 |
1 |
Journalnode:需要为奇数个
Zookeeper:需要为奇数个
ZKFS和NN在同台服务器
DM和DN保持一致。
1.2配置免密登录
- 在每台服务器分别生成各自的公钥私钥
命令如下
ssh-keygen –t rsa –P ‘’ –f ~/.ssh/id_rsa
此时查看 ~/.ssh目录下,会有两个文件,id_rsa(私钥)、id_rsa.pub(公钥)
- 将id_rsa.pub文件内容拼接到每台服务器的~/.ssh/authorized_keys文件
命令如下
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
每台服务器都需要拼接四次,包括本节点及其它三个节点的,配置完成后,即可免密登录其它节点
1.3Hadoop配置
此处使用的hadoop版本为2.6.5
1.3.1 hadoop-env.sh
编辑/etc/hadoop/hadoop-env.sh文件
找到JAVA_HOME配置位置,修改JAVA_HOME如下
export JAVA_HOME= /home/java/jdk1.8.0_144
1.3.2 hdfs-site.xml(/etc/hadoop/hdfs-site.xml)
- 配置nameservice
<property>
<name>dfs.nameservices</name>
<value>mycluster</value>
</property>
- 再配置所有namenode的名字
<property>
<name>dfs.ha.namenodes.mycluster</name>
<value>nn1,nn2</value>
</property>
注意:此处的mycluster和上边指定的服务名一致,nn1 nn2位两个namenode名称
- 配置RPC协议的端口,两个namenode都要配置
<property>
<name>dfs.namenode.rpc-address.mycluster.nn1</name>
<value>machine1.example.com:</value>
</property>
<property>
<name>dfs.namenode.rpc-address.mycluster.nn2</name>
<value>machine2.example.com:</value>
</property>
- 配置HTTP协议的端口和主机
<property>
<name>dfs.namenode.http-address.mycluster.nn1</name>
<value>node1:</value>
</property>
<property>
<name>dfs.namenode.http-address.mycluster.nn2</name>
<value>node2:</value>
</property>
- 配置journalnode
<!-- 配置journalnode --> <property>
<name>dfs.namenode.shared.edits.dir</name>
<value>qjournal://node2:8485;node3:8485;node4:8485/mycluster</value>
</property>
注意:此处的mycluster需要和服务名一样
- 配置ConfiguredFailoverProxyProvider类,HDFS通过这个类来找到active的namenode
<property>
<name>dfs.client.failover.proxy.provider.mycluster</name>
<value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
</property>
- 配置ssh fencing
<property>
<name>dfs.ha.fencing.methods</name>
<value>sshfence</value>
</property>
<property>
<name>dfs.ha.fencing.ssh.private-key-files</name>
<value>/root/.ssh/id_rsa</value>
</property>
- 配置journalnode的工作目录
<!--配置journalnode的工作目录-->
<property>
<name>dfs.journalnode.edits.dir</name>
<value>/opt/journalnode/data</value>
</property>
- 开启自动切换(可选),手动切换也可用
<!--开启自动切换(可选)-->
<property>
<name>dfs.ha.automatic-failover.enabled</name>
<value>true</value>
</property>
1.3.3 core-site.xml
- 配置namenode入口
<!--配置namenode入口-->
<property>
<name>fs.defaultFS</name>
<value>hdfs://mycluster</value>
</property>
注意:此处的mycluster需要和hdfs-site.xml文件中的nameservice名称一致
- 配置zookeeper的集群,zookeeper所在的节点
<!--配置zookeeper的集群-->
<property>
<name>ha.zookeeper.quorum</name>
<value>node1:,node2:,node3:</value>
</property>
- 配置工作目录hadoop.tmp.dir 默认是在系统的临时目录下/tmp
<!--配置hadoop的工作目录,默认在系统的临时目录下/tmp-->
<property>
<name>hadoop.tmp.dir </name>
<value>/opt/hadoop2</value>
</property>
1.3.4 slaves配置datanode
node2
node3
node4
不需要配master了,因为没有secondarynamenode,journalnode替代了它
2启动hdfs
- 先将zookeeper启动起来 ./zkServer.sh start
- 必须先启动journalnode
需要在node2、3、4启动journalnode
命令 ./hadoop-daemon.sh start journalnode
- 在任意一个namenode上格式化
在node1上格式化namenode
./hdfs namenode –format
注意centos关闭防火墙一定要用systemctl stop firewalld
格式化后,在/opt/hadoop2下就会有元数据文件了
- 将node1上的元数据文件拷贝到node2中
- 必须先启动node1中的namenode
./hadoop-daemon.sh start namenode
- 在没有格式化namenode的节点上(node2)上执行命令
./hdfs namenode –bootstrapStandby
命令成功执行后,在/opt/hadoop2/下就会有元数据文件了
- 格式化zk,在任意一台namenode节点上
hdfs zkfc -formatZK
- 停止hdfs
./stop-dfs.sh
会停止除了zookeeper之外的所有进程
- 启动hdfs
./start-dfs.sh
[root@localhost sbin]# ./start-dfs.sh Starting namenodes on [node1 node2] node2: starting namenode, logging to /home/hadoop/hadoop-2.6./logs/hadoop-root-namenode-node2.out node1: starting namenode, logging to /home/hadoop/hadoop-2.6./logs/hadoop-root-namenode-node1.out node4: starting datanode, logging to /home/hadoop/hadoop-2.6./logs/hadoop-root-datanode-node4.out node3: starting datanode, logging to /home/hadoop/hadoop-2.6./logs/hadoop-root-datanode-localhost.out node2: starting datanode, logging to /home/hadoop/hadoop-2.6./logs/hadoop-root-datanode-node2.out Starting journal nodes [node2 node3 node4] node4: starting journalnode, logging to /home/hadoop/hadoop-2.6./logs/hadoop-root-journalnode-node4.out node3: starting journalnode, logging to /home/hadoop/hadoop-2.6./logs/hadoop-root-journalnode-localhost.out node2: starting journalnode, logging to /home/hadoop/hadoop-2.6./logs/hadoop-root-journalnode-node2.out Starting ZK Failover Controllers on NN hosts [node1 node2] node2: starting zkfc, logging to /home/hadoop/hadoop-2.6./logs/hadoop-root-zkfc-node2.out node1: starting zkfc, logging to /home/hadoop/hadoop-2.6./logs/hadoop-root-zkfc-node1.out [root@localhost sbin]# jps Jps DFSZKFailoverController QuorumPeerMain NameNode
- 启动成功
会发现有一个是active 一个是standby
- 测试
在hdfs新建一个路径,上传文件
./hdfs dfs -mkdir -p /usr/file
./hdfs dfs -put /home/java/jdk-8u144-linux-x64.tar.gz /usr/file/
3.配置mapreduce
3.1 mapred-site.xml
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
3.2 yarn-site.xml
<!--resourcemanager在哪台服务器上-->
<property>
<name>yarn.resourcemanager.hostname</name>
<value>node1</value>
</property>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
<value>org.apache.hadoop.mapred.ShuffleHandler</value>
</property>
4.全面启动
- 需要先将hdfs停掉
在node1上./stop-dfs.sh
- 全面启动
Node1上 ./start-all.sh
jps查看进程
[root@node1 sbin]# jps
6977 NameNode
7603 Jps
3302 QuorumPeerMain
7244 DFSZKFailoverController
7327 ResourceManager
启动成功。
Hadoop-HA配置详细步骤的更多相关文章
- OPGL+GLFW+GLEW配置详细步骤
转载自:https://blog.csdn.net/weixin_40921421/article/details/80211813 本文设计的工具包: 链接:https://pan.baidu.co ...
- OPGL+VS2017+GLFW+GLEW配置详细步骤
OPGL+VS2017+GLFW+GLEW配置详细步骤: https://blog.csdn.net/weixin_40921421/article/details/80211813 原博客地址:ht ...
- Apollo 配置详细步骤(Windows环境)
一. 准备工作 1.下载 apollo 安装包 下载链接:http://activemq.apache.org/apollo/download.html 2.下载 JavaJDK 安装包 ( apol ...
- CentOS Hadoop安装配置详细
总体思路,准备主从服务器,配置主服务器可以无密码SSH登录从服务器,解压安装JDK,解压安装Hadoop,配置hdfs.mapreduce等主从关系. 1.环境,3台CentOS7,64位,Hadoo ...
- 【Hadoop】Hadoop HA 部署 详细过程(架构、机器规划、配置文件、部署步骤)
1.概念.架构 2.配置文件示例.部署步骤 hadoop2.0已经发布了稳定版本了,增加了很多特性,比如HDFS HA.YARN等.最新的hadoop-2.4.1又增加了YARN HA 注意:apac ...
- hadoop HA 配置 + zookeeper 服务注册
环境测试 6台机器 centos6.7 x64 master ( namenode/cluster ) 10.10.100.101 namenode1 10.10.100.105 namenode2 ...
- PERC H310 配置详细步骤【阵列RAID创建】【阵列恢复】【阵列池创建】
机器配置: HP PRO6300 二手淘的201912,HP的主板芯片Intel Q75芯片组,集成显卡(集成显卡与H310阵列卡冲突),CPU Intel I5 3450 [raid5阵列创建] 1 ...
- Oracle Stream配置详细步骤
1 引言 Oracle Stream功能是为提高数据库的高可用性而设计的,在Oracle 9i及之前的版本这个功能被称为Advance Replication.Oracle Stream利用高级队列技 ...
- lab_0 清华大学ucore实验环境配置详细步骤!(小白入)
实验步骤 1.下载项目 从github上 的https://github.com/kiukotsu/ucore下载 ucore lab实验: git clone https://github.com/ ...
随机推荐
- Atitit.go语言golang语言的新的特性 attilax总结
Atitit.go语言golang语言的新的特性 attilax总结 1. 继承树less 动态接口1 1.1. 按照书中说的,Go语言具有以下的特征,下面我们分别来进行介绍. q 自动垃圾回收 ...
- Hadoop2.6.0子项目hadoop-mapreduce-examples的简介
引文 学习Hadoop的同学们,一定知道假设执行Hadoop自带的各种样例,以大名鼎鼎的wordcount为例,你会输入下面命令: hadoop org.apache.hadoop.examples. ...
- Sphinx之配置文件
# # Sphinx configuration file sample # # WARNING! While this sample file mentions all available opti ...
- Ajax分页功能的实现
电脑换了固态硬盘,准备重装系统,因此打算把项目里一直延用的代码总结出来,防止丢失,以后也方便查阅.Ajax分页已经是非常普遍的技术了,所以也没什么需要特别说明的,直接贴代码: html部分 <! ...
- iOS 常用图尺寸 汇总
iCON 准备一张1024x1024尺寸的图,打开链接 http://www.atool.org/ios_logo.php 在线批量生成各种尺寸的图片 启动图LaunchImage 640x960 2 ...
- "下列引导或系统启动驱动程序无法加载: cdrom"的解决方案
1.进入注册表(开始->运行->regedit) 2.展开HKEY_LOCAL_MACHINE\SYSTEM\CurrentControlSet\services\cdrom 3.把Sta ...
- 嵌入式数据库H2的安装与配置
一.配置JAVA环境 1.首先检查系统是否自带JDK 使用命令:#java -version 没有信息即为没有安装,如有且版本较低,可采用如下方式卸载: 查看命令: rpm -qa | grep ja ...
- 同样的代码在java和c++中结果不同
#include <iostream> using namespace std; /* run this program using the console pauser or add y ...
- mysql主从:主键冲突问题
1.检查从库 show slave status \G; Slave_IO_Running: YesSlave_SQL_Running: No 2.出现类似如下的报错: Last_SQL_Error: ...
- Android SQLite基本用法
SQLite简介 Google为Andriod的较大的数据处理提供了SQLite,他在数据存储.管理.维护等各方面都相当出色,功能也非常的强大.SQLite具备下列特点: 1.轻量级 使用 SQLit ...