NameNode DataNode Zookeeper ZKFC JournalNode ResourceManager NodeManager
node1      
node2  
node3      
node4      

(ZKFC在NameNode上启动,NodeManager在DataNode上启动,可通过start-dfs.sh和start-yarn.sh,yarn-daemons.sh查看)

1、4台机器,64位cenos6.5系统,Hadoop版本2.6.5

2、配置/etc/hosts

3、安装JDK1.8,配置环境变量

4、SSH免密登录

5、在node1,node2,node3上安装zookeeper,详见https://www.cnblogs.com/erbing/p/7493792.html

6、安装配置hadoop集群(在node1上操作)

  • 下载并解压hadoop安装包

    tar -zxvf hadoop-2.6.5-x64.tar.gz
  • 添加到环境变量中(每台都做)
    vim /etc/profile
    export HADOOP_HOME=/app/hadoop-2.6.5
    export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
  • 修改hadoop-env.sh
    export JAVA_HOME=/usr/java/jdk1.8.0_144

   (如果ssh端口不是默认的22,在hadoop-env.sh中添加export HADOOP_SSH_OPTS="-p 1234")

  • 修改hdfs-site.xml

    <configuration>
    <!--指定hdfs的nameservice为ns1,需要和core-site.xml中的保持一致 -->
    <property>
    <name>dfs.nameservices</name>
    <value>ns1</value>
    </property>
    <!-- ns1下面有两个NameNode,分别是nn1,nn2,name中的ns1必须和nameservice中一样 -->
    <property>
    <name>dfs.ha.namenodes.ns1</name>
    <value>nn1,nn2</value>
    </property>
    <!-- nn1的RPC通信地址 -->
    <property>
    <name>dfs.namenode.rpc-address.ns1.nn1</name>
    <value>node1:9000</value>
    </property>
    <!-- nn1的http通信地址 -->
    <property>
    <name>dfs.namenode.http-address.ns1.nn1</name>
    <value>node1:50070</value>
    </property>
    <!-- nn2的RPC通信地址 -->
    <property>
    <name>dfs.namenode.rpc-address.ns1.nn2</name>
    <value>node2:9000</value>
    </property>
    <!-- nn2的http通信地址 -->
    <property>
    <name>dfs.namenode.http-address.ns1.nn2</name>
    <value>node2:50070</value>
    </property>
    <!-- 指定NameNode的元数据在JournalNode上的存放位置 -->
    <property>
    <name>dfs.namenode.shared.edits.dir</name>
    <value>qjournal://node2:8485;node3:8485;node4:8485/ns1</value>
    </property>
    <!-- 指定JournalNode在本地磁盘存放数据的位置 -->
    <property>
    <name>dfs.journalnode.edits.dir</name>
    <value>/app/hadoop-2.6.5/journaldata</value>
    </property>
    <!-- 开启NameNode失败自动切换 -->
    <property>
    <name>dfs.ha.automatic-failover.enabled</name>
    <value>true</value>
    </property>
    <!-- 配置失败自动切换实现方式 -->
    <property>
    <name>dfs.client.failover.proxy.provider.ns1</name>
    <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
    </property>
    <!-- 配置隔离机制方法,多个机制用换行分割,即每个机制暂用一行-->
    <property>
    <name>dfs.ha.fencing.methods</name>
    <value>
    sshfence
    shell(/bin/true)
    </value>
    </property>
    <!-- 使用sshfence隔离机制时需要ssh免登陆 -->
    <property>
    <name>dfs.ha.fencing.ssh.private-key-files</name>
    <value>/root/.ssh/id_rsa</value>
    </property>
    </configuration>
  • 修改core-site.xml
    <configuration>
    <!-- 指定hdfs的nameservice为ns1 -->
    <property>
    <name>fs.defaultFS</name>
    <value>hdfs://ns1/</value>
    </property>
    <!-- 指定hadoop临时目录,tmp这个目录需要提前建立好 -->
    <property>
    <name>hadoop.tmp.dir</name>
    <value>/app/hadoop-2.6.5/tmp</value>
    </property>
    <!-- 指定zookeeper地址 -->
    <property>
    <name>ha.zookeeper.quorum</name>
    <value>node1:2181,node2:2181,node3:2181</value>
    </property>
    </configuration>
  • 修改mapred-site.xml
    <configuration>
    <!-- 指定mr框架为yarn方式 -->
    <property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
    </property>
    </configuration>
  • 修改yarn-site.xml
    <configuration>
    <!-- 开启RM高可用 -->
    <property>
    <name>yarn.resourcemanager.ha.enabled</name>
    <value>true</value>
    </property>
    <!-- 指定RM的cluster id -->
    <property>
    <name>yarn.resourcemanager.cluster-id</name>
    <value>yrc</value>
    </property>
    <!-- 指定RM的名字 -->
    <property>
    <name>yarn.resourcemanager.ha.rm-ids</name>
    <value>rm1,rm2</value>
    </property>
    <!-- 分别指定RM的地址 -->
    <property>
    <name>yarn.resourcemanager.hostname.rm1</name>
    <value>node1</value>
    </property>
    <property>
    <name>yarn.resourcemanager.hostname.rm2</name>
    <value>node4</value>
    </property>
    <!-- 指定zk集群地址 -->
    <property>
    <name>yarn.resourcemanager.zk-address</name>
    <value>node1:2181,node2:2181,node3:2181</value>
    </property>
    <property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
    </property>
    </configuration>
  • 修改yarn-env.sh
    export JAVA_HOME=/usr/java/jdk1.8.0_144
  • 修改slaves
    node2
    node3
    node4
  • 将配置好的hadoop拷贝到其他节点
    scp -r  ./hadoop-2.6.5 hello@node2:/app/
    scp -r ./hadoop-2.6.5 hello@node3:/app/
    scp -r ./hadoop-2.6.5 hello@node4:/app/

7、启动zookeeper集群(分别在node1、node2、node3上启动zk)

zkServer.sh start
#查看状态:一个leader,两个follower
zkServer.sh status

8、启动journalnode(分别在在node2、node3、node4上执行)

hadoop-daemon.sh start journalnode

  jps命令检验,node2、node3、node4上多了JournalNode进程

9、格式化HDFS

  • 在node1上执行命令(任意一个NameNode上):
hdfs namenode -format
  • 格式化后会根据core-site.xml中的hadoop.tmp.dir配置生成元数据文件(fsimage等),上面配置的地址是/app/hadoop-2.6.5/tmp
  • 然后启动node1上的NameNode
    hadoop-daemon.sh start namenode
  • 在未格式化过的NameNode上(node2)执行以下命令同步元数据
    hdfs  namenode  -bootstrapStandby

    (如果是把一个非HA集群转成HA集群,应该运行命令“hdfs –initializeSharedEdits”,这会初始化JournalNode中的数据)

10、在node1上格式化ZKFC(任意一个NameNode上)

hdfs zkfc -formatZK

  这会在ZooKeeper中创建znode节点,存储着NameNode失败自动切换的数据

11、启动HDFS(在node1上执行)

sh start-dfs.sh

12、启动YARN(在node1上执行)

sh start-yarn.sh

  在node4上执行(只启动resourcemanager)

yarn-daemon.sh start resourcemanager

成功部署完成后,通过jps查看进程是否都存在,或者在浏览器输入http://node1:50070查看NameNode信息。

13、为了方便集群管理,给大家提供了一键启动和关闭的脚本

  启动顺序应为:ZooKeeper -> JournalNode (Hadoop) -> NameNode (Hadoop) -> DataNode (Hadoop) -> 主 ResourceManager/NodeManager (Hadoop) -> 备份 ResourceManager (Hadoop) -> ZKFC (Hadoop) -> MapReduce JobHistory (Hadoop)

  关闭顺序相反

#!bin/bash
echo "------------开始启动集群-------------"
echo "------------正在启动JournalNode-----------"
for i in root@node2 root@node3 root@node4
do
ssh $i '/app/hadoop-2.6.5/sbin/hadoop-daemon.sh start journalnode'
done
echo "------------正在启动NameNode-----------"
hadoop-daemon.sh start namenode
ssh root@node2 '/app/hadoop-2.6.5/sbin/hadoop-daemon.sh start namenode'
echo "------------正在启动DataNode-----------"
for i in root@node2 root@node3 root@node4
do
ssh $i '/app/hadoop-2.6.5/sbin/hadoop-daemon.sh start datanode'
done
echo "------------正在启动resourmanager和nodemanager-----------"
sh start-yarn.sh
ssh root@node4 '/app/hadoop-2.6.5/sbin/yarn-daemon.sh start resourcemanager'
echo "------------正在启动zkfc-----------"
hadoop-daemon.sh start zkfc
ssh root@node2 '/app/hadoop-2.6.5/sbin/hadoop-daemon.sh start zkfc'
echo "-----------集群启动完成,请用jps检查或浏览器检查是否成功-----------"

node1上一键启动

#!bin/bash
echo "------------开始关闭集群-------------"
echo "------------正在关闭zkfc-----------"
ssh root@node2 '/app/hadoop-2.6.5/sbin/hadoop-daemon.sh stop zkfc'
hadoop-daemon.sh stop zkfc
echo "------------正在关闭resourmanager和nodemanager-----------"
ssh root@node4 '/app/hadoop-2.6.5/sbin/yarn-daemon.sh stop resourcemanager'
sh stop-yarn.sh
echo "------------正在关闭DataNode-----------"
for i in root@node2 root@node3 root@node4
do
ssh $i '/app/hadoop-2.6.5/sbin/hadoop-daemon.sh stop datanode'
done
echo "------------正在关闭NameNode-----------"
hadoop-daemon.sh stop namenode
ssh root@node2 '/app/hadoop-2.6.5/sbin/hadoop-daemon.sh stop namenode'
echo "------------正在关闭JournalNode-----------"
for i in root@node2 root@node3 root@node4
do
ssh $i '/app/hadoop-2.6.5/sbin/hadoop-daemon.sh stop journalnode'
done
echo "-----------集群关闭完成,请用jps检查是否成功-----------"

node1上一键关闭


测试集群工作状态的一些指令:

./bin/hdfs dfsadmin -report                           查看hdfs的各节点状态信息
./bin/hdfs haadmin -getServiceState nn1        查看namenode高可用
./bin/yarn rmadmin -getServiceState rm1       查看ResourceManager高可用
./sbin/hadoop-daemon.sh start namenode     单独启动一个namenode进程
./sbin/hadoop-daemon.sh start zkfc                     单独启动一个zkfc进程

hadoop HA集群搭建步骤的更多相关文章

  1. hadoop ha集群搭建

    集群配置: jdk1.8.0_161 hadoop-2.6.1 zookeeper-3.4.8 linux系统环境:Centos6.5 3台主机:master.slave01.slave02 Hado ...

  2. Hadoop2.0 HA集群搭建步骤

    上一次搭建的Hadoop是一个伪分布式的,这次我们做一个用于个人的Hadoop集群(希望对大家搭建集群有所帮助): 集群节点分配: Park01 Zookeeper NameNode (active) ...

  3. Hadoop2.7.4 yarn(HA)集群搭建步骤(CentOS7)

    群节点分配: Park01:Zookeeper.NameNode(active).ResourceManager(active) Park02:Zookeeper.NameNode(standby) ...

  4. hadoop HA集群搭建(亲测)

    1.hadoop-env.sh 2.core-site.xml <configuration> <!-- 指定hdfs的nameservice为ns1 --> <prop ...

  5. 大数据-hadoop HA集群搭建

    一.安装hadoop.HA及配置journalnode 实现namenode HA 实现resourcemanager HA namenode节点之间通过journalnode同步元数据 首先下载需要 ...

  6. Hadoop HA集群的搭建

    HA 集群搭建的难度主要在于配置文件的编写, 心细,心细,心细! ha模式下,secondary namenode节点不存在... 集群部署节点角色的规划(7节点)------------------ ...

  7. hadoop2.8 ha 集群搭建

    简介: 最近在看hadoop的一些知识,下面搭建一个ha (高可用)的hadoop完整分布式集群: hadoop的单机,伪分布式,分布式安装 hadoop2.8 集群 1 (伪分布式搭建 hadoop ...

  8. Hadoop分布式集群搭建

    layout: "post" title: "Hadoop分布式集群搭建" date: "2017-08-17 10:23" catalog ...

  9. 基于zookeeper的高可用Hadoop HA集群安装

    (1)hadoop2.7.1源码编译 http://aperise.iteye.com/blog/2246856 (2)hadoop2.7.1安装准备 http://aperise.iteye.com ...

随机推荐

  1. 【OpenCV3】threshold()函数详解

    threshold()函数源码 double cv::threshold( InputArray _src, OutputArray _dst, double thresh, double maxva ...

  2. 【12】JMicro微服务-Zookeeper

    如非授权,禁止用于商业用途,转载请注明出处作者:mynewworldyyl 往下看前,建议完成前面1到11小节 1. CuratorFramework支持 JMicro目前基于Zookeeper实现统 ...

  3. HttpContext rewritePath后中文乱码

    文章为转载 由于种种原因,最近将服务器上部署的网站修改4.0框架.但悲剧的问题出现了,发现搜索中文的时候关键词都成乱码了. 在网上查找相关资料得到几种相关解决方案如下: 服务器打补丁server200 ...

  4. rabbitmq系列四 之路由

    1.路由 在上一个的教程中,我们构建了一个简单的日志记录系统.我们能够向许多接收者广播日志消息. 在本次教程中,我们向该系统添加一些特性,比如,我只需要严重错误(erroe级别)的部分日志打印到磁盘文 ...

  5. Ubuntu Cannot run program "../SDK/build-tools/xxx/aapt": erro = 2 No such file or directory

    64位ubuntu Android Studio  Gradle编译时出现如下报错: java.io.IOException: Cannot run program "/home/king/ ...

  6. C++的开源跨平台日志库glog学习研究(二)--宏的使用

    上一篇从整个工程上简单分析了glog,请看C++的开源跨平台日志库glog学习研究(一),这一篇对glog的实现代码入手,比如在其源码中以宏的使用最为广泛,接下来就先对各种宏的使用做一简单分析. 1. ...

  7. C++实现的字符串模糊匹配

    C++基本没有正则表达式功能,当然像Boost里提供了正则.本文来源于博客园园友的一篇文章,请看: C/C++ 字符串模糊匹配 很早之前就看过这篇文章,原作者的需求很明确.代码实现也很好. 之所以又写 ...

  8. Spring Security构建Rest服务-0702-个性化用户认证流程2

    登录成功后的处理AuthenticationSuccessHandler: 认证成功后,默认情况下spring security会继续访问之前访问的url,如果想自定义处理逻辑,用默认的就不行了.此时 ...

  9. docker 搭建 php-mysql-nginx-redis-rabbitmq环境

    #创建redisdocker create -p 6379:6379 -v redis:/data --restart=always --name myredis redis #创建mysqldock ...

  10. Android Studio打开非本机项目比较慢的问题。

    使用Android Studio打开其他项目的时候,如果使用的AS版本.gradle不同的话,会在打开项目的时候下载gradle版本,网速不好的情况下回非常的慢. 解决方案: 1.将本机创建的AS项目 ...