配置HDFS的HA
配置前准备：
-- 配置hadoop
-- 配置ZooKeeper，传送门：https://www.cnblogs.com/zhqin/p/11906106.html
安装配置好hadoop和ZooKeeper之后，接下来开始正式配置HA：
1、在/opt下创建ha文件夹
sudo mkdir ha
2、更改ha文件夹所有者
sudo chown admin:admin ha
3、将之前配置安装的hadoop文件夹拷贝到刚创建的ha文件夹下
cp -r module/hadoop-2.7.2/ ha/
4、然后进入到刚拷贝过去的ha文件夹下的hadoop文件夹，将之前集群运行产生的data和logs文件夹删除
rm -rf data/ logs/
5、进入etc/haoop/ 文件夹下
/opt/ha/hadoop-2.7.2/etc/hadoop
6、修改core-site.xml
<configuration>
<!-- 把两个NameNode）的地址组装成一个集群mycluster -->
<property>
<name>fs.defaultFS</name>
<value>hdfs://mycluster</value>
</property>
<!-- 指定hadoop运行时产生文件的存储目录 -->
<property>
<name>hadoop.tmp.dir</name>
<value>/opt/ha/hadoop-2.7.2/data/tmp</value>
</property>
</configuration>
7、配置hdfs-site.xml
<configuration>
<!-- 完全分布式集群名称 -->
<property>
<name>dfs.nameservices</name>
<value>mycluster</value>
</property>
<!-- 集群中NameNode节点都有哪些 -->
<property>
<name>dfs.ha.namenodes.mycluster</name>
<value>nn1,nn2</value>
</property>
<!-- nn1的RPC通信地址 -->
<property>
<name>dfs.namenode.rpc-address.mycluster.nn1</name>
<value>hadoop102:9000</value>
</property>
<!-- nn2的RPC通信地址 -->
<property>
<name>dfs.namenode.rpc-address.mycluster.nn2</name>
<value>hadoop103:9000</value>
</property>
<!-- nn1的http通信地址 -->
<property>
<name>dfs.namenode.http-address.mycluster.nn1</name>
<value>hadoop102:50070</value>
</property>
<!-- nn2的http通信地址 -->
<property>
<name>dfs.namenode.http-address.mycluster.nn2</name>
<value>hadoop103:50070</value>
</property>
<!-- 指定NameNode元数据在JournalNode上的存放位置 -->
<property>
<name>dfs.namenode.shared.edits.dir</name>
<value>qjournal://hadoop102:8485;hadoop103:8485;hadoop104:8485/mycluster</value>
</property>
<!-- 配置隔离机制，即同一时刻只能有一台服务器对外响应 -->
<property>
<name>dfs.ha.fencing.methods</name>
<value>sshfence</value>
</property>
<!-- 使用隔离机制时需要ssh无秘钥登录-->
<property>
<name>dfs.ha.fencing.ssh.private-key-files</name>
<value>/home/atguigu/.ssh/id_rsa</value>
</property>
<!-- 声明journalnode服务器存储目录-->
<property>
<name>dfs.journalnode.edits.dir</name>
<value>/opt/ha/hadoop-2.7.2/data/jn</value>
</property>
<!-- 关闭权限检查-->
<property>
<name>dfs.permissions.enable</name>
<value>false</value>
</property>
<!-- 访问代理类：client，mycluster，active配置失败自动切换实现方式-->
<property>
<name>dfs.client.failover.proxy.provider.mycluster</name>
<value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
</property>
</configuration>
8、分发ha文件夹
sudo xsync /opt/ha/
其实到目前为止，手动切换的HA已经配置完成。
接下来继续配置自动切换(自动故障转移)的HA，也就是ZooKeeper。
9、进入配置文件的文件夹下，修改hdfs-site.xml,vim /opt/ha/hadoop-2.7.2/etc/hadoop/hdfs-site.xml在原有的配置基础上追加如下内容：
<property>
<name>dfs.ha.automatic-failover.enabled</name>
<value>true</value>
</property>
10、修改core-site.xml，在core-site.xml最后追加如下内容：
<property>
<name>ha.zookeeper.quorum</name>
<value>hadoop102:2181,hadoop103:2181,hadoop104:2181</value>
</property>
11、同步三台机器的配置文件
xsync /opt/ha/hadoop-2.7.2/etc/hadoop/
到此配置完成，接下来开始第一次启动前的各种准备工作。
12、启动JournalNode
/opt/ha/hadoop-2.7.2/sbin/hadoop-daemons.sh start journalnode
13、格式化namenode(注意，执行该命令需等待上条命令执行之后稍等片刻，因为JournalNode节点启动稍微需要些时间，而HDFS是建立在这个节点之上的)
/opt/ha/hadoop-2.7.2/bin/hdfs namenode -format
14、启动namenode
/opt/ha/hadoop-2.7.2/sbin/hadoop-daemon.sh start namenode
此时执行jpsall应该有的进程是：
----------- hadoop102 -----------
10178 NameNode
10014 JournalNode
----------- hadoop103 -----------
12740 JournalNode
----------- hadoop104 -----------
12521 JournalNode
这样的结果的话代表目前执行正确
15、在hadoop103机器上执行：
/opt/ha/hadoop-2.7.2/bin/hdfs namenode -bootstrapStandby
16、然后在hadoop103上启动namenode
/opt/ha/hadoop-2.7.2/sbin/hadoop-daemon.sh start namenode
这个时候执行jpsall应该是三个jn两个nn，如下所示：
----------- hadoop102 -----------
10178 NameNode
10014 JournalNode
----------- hadoop103 -----------
12740 JournalNode
12981 NameNode
----------- hadoop104 -----------
12521 JournalNode
17、启动ZooKeeper集群
在所有机器同时发送命令：
$ZOOKEEPER_HOME/bin/zkServer.sh start
可以通过命令：$ZOOKEEPER_HOME/bin/zkServer.sh start查看ZooKeeper各个节点的状态。
18、需要格式化一下Zkfc需要在ZooKeeper中用到的数据信息。
/opt/ha/hadoop-2.7.2/bin/hdfs zkfc -formatZK
19、在配置了namenode节点的机器上启动zkfc
在hadoop102和hadoop103分别执行：
/opt/ha/hadoop-2.7.2/sbin/hadoop-daemon.sh start zkfc
此时执行jpsall，显示结果应该为：
----------- hadoop102 -----------
10432 QuorumPeerMain
10178 NameNode
10650 DFSZKFailoverController
10014 JournalNode
----------- hadoop103 -----------
13363 DFSZKFailoverController
12740 JournalNode
12981 NameNode
13151 QuorumPeerMain
----------- hadoop104 -----------
12772 QuorumPeerMain
12521 JournalNode
20、然后启动数据节点datanode，切换到hadoop102
/opt/ha/hadoop-2.7.2/sbin/hadoop-daemons.sh start datanode
这个时候执行jpsall
----------- hadoop102 -----------
10432 QuorumPeerMain
10817 DataNode
10178 NameNode
10650 DFSZKFailoverController
10014 JournalNode
----------- hadoop103 -----------
13665 DataNode
13363 DFSZKFailoverController
12740 JournalNode
12981 NameNode
13151 QuorumPeerMain
----------- hadoop104 -----------
12772 QuorumPeerMain
13092 DataNode
12521 JournalNode
21、至此，已经配置完成。
以后启动的话就一条启动命令即可：
/opt/ha/hadoop-2.7.2/sbin/start-dfs.sh
关闭同理：
/opt/ha/hadoop-2.7.2/sbin/stop-dfs.sh
配置HDFS的HA的更多相关文章
- 【Hadoop 分布式部署 十：配置HDFS 的HA、启动HA中的各个守护进程】
官方参考 配置 地址 :http://hadoop.apache.org/docs/r2.5.2/hadoop-project-dist/hadoop-hdfs/HDFSHighAvailabili ...
- hbase配置hdfs的HA之后需要修改的路径
hbase-site.xml中配置了hdfs的一个路径 <property> <name>hbase.rootdir</name> <value>hdf ...
- HDFS NameNode HA 部署文档
简介: HDFS High Availability Using the Quorum Journal Manager Hadoop 2.x 中,HDFS 组件有三个角色:NameNode.DataN ...
- Hadoop 2、配置HDFS HA (高可用)
前提条件 先搭建 http://www.cnblogs.com/raphael5200/p/5152004.html 的环境,然后在其基础上进行修改 一.安装Zookeeper 由于环境有限,所以在仅 ...
- 第九章 搭建Hadoop 2.2.0版本HDFS的HA配置
Hadoop中的NameNode好比是人的心脏,非常重要,绝对不可以停止工作.在hadoop1时代,只有一个NameNode.如果该NameNode数据丢失或者不能工作,那么整个集群就不能恢复了.这是 ...
- 3.配置HDFS HA
安装zookeeper下载zookeeper编辑zookeeper配置文件创建myid文件启动zookeeper配置HDFS HA配置手动HA配置自动HA启动HDFS HA namenode负责管理整 ...
- 使用QJM实现HDFS的HA配置
使用QJM实现HDFS的HA配置 1.背景 hadoop 2.0.0之前,namenode存在单点故障问题(SPOF,single point of failure),如果主机或进程不可用时,整个集群 ...
- hdfs的HA集群搭建的相关配置
前期准备就不详细说了 .修改Linux主机名 .修改IP .修改主机名和IP的映射关系 ######注意######如果你们公司是租用的服务器或是使用的云主机(如华为用主机.阿里云主机等) /etc/ ...
- Hadoop 2.7.4 HDFS+YRAN HA部署
实验环境 主机名称 IP地址 角色 统一安装目录 统一安装用户 sht-sgmhadoopnn-01 172.16.101.55 namenode,resourcemanager /usr/local ...
随机推荐
- Loki 初体验
Loki 是什么 Loki 是 Grafana Lab开发的一套日志系统,使用Go语言实现.根据官方的介绍, Loki,高可用性,多租户的日志聚合系统,受到Prometheus的启发.它的设计非常经济 ...
- laravel 数据库之DB类
// 取回数据表的第一条数据 DB::table('table')->where('key', 'value')->first(); DB::table('table')->firs ...
- C语言I博客作业1
1 .班级链接: https://edu.cnblogs.com/campus/zswxy/SE2020-3 2 .作业要求链接: https://edu.cnblogs.com/campus/zsw ...
- web版文件管理系统 ——文件图标的获取
需求来源:公司需要一个文件的管理系统,方便管理公司文档以及互相传阅以及一些权限控制的便利,其中极小的一块功能点就是现实文件列表里面的图标获取,从网上找图标太麻烦,而且不现实,不可能用户每次上传文件等你 ...
- C++模板元编程----堆排序
目录 目录 前言 实现的一些小细节 Debug 惰性求值 总结 Ref 前言 经过前两次经验的积累,终于来到了麻烦的堆排序.在一开始接触模板元编程的时候,我就期望有一天能够写出元编程堆排序的代码.原因 ...
- Miller Rabin素数检测与Pollard Rho算法
一些前置知识可以看一下我的联赛前数学知识 如何判断一个数是否为质数 方法一:试除法 扫描\(2\sim \sqrt{n}\)之间的所有整数,依次检查它们能否整除\(n\),若都不能整除,则\(n\)是 ...
- mysql锁类型
mysql锁类型 问题 都有哪些锁 锁与隔离级别的关系 sql语句中涉及都涉及哪些锁 事务中,锁何时释放 死锁检测机制 概要
- 软件工程与UML代码互改
这个作业属于哪个课程https://edu.cnblogs.com/campus/fzzcxy/2018SE1/ 这个作业的要求在哪里https://edu.cnblogs.com/campus/fz ...
- ES6参数默认值，剩余参数及展开数组
一.函数的参数默认值 在ES6之前,想要给参数设置默认值得话,只能在函数体内部加判断设置,比如如果传递参数为undefined时为true, 否则为false,如下图example1,ES6出现语法可 ...
- kafka容器报内存不足异常（failed; error='Cannot allocate memory' (errno=12)）
一.启动kafka broker时异常 nohup /mnt/sata1/kafka_2.11-0.10.0.1/bin/kafka-server-start.sh /mnt/sata1/kafka_ ...