Hadoop federation配置

1、介绍

hadoop federation也称为联邦，主要是对namenode进行扩容。HA模式下只是实现了hadoop namenode的高可用，但是随着文件数据的不断增家，导致对namenode的压力越来越大，因此就需要对namenode的负载进行均衡处理。联邦的本质是配置多个namenode集群，将不同的路径映射到不同的集群上即可。但是需要注意所有namenode的集群有着一致的clusterid。结构图如下：

2、集群规划

本例中引入四台namenode，分别是s101、s102、s103和s104。其中s101和s102组成集群ns1，s103和s104组成集群ns2。

3、集群准备

以上四台节点都需要配置ssh，能够登录到所有的集群节点。

4、停止原来的集群

$>stop-dfs.sh

5、配置文件

5.1hdfs-site.xml

  • s101和s102配置相同

    <?xml version="1.0" encoding="UTF-8"?>
    
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
    
<configuration>
    
  <property>
    
    <name>dfs.nameservices</name>
    
    <value>ns1,ns2</value>
    
  </property>
    
  <!-- **************ns1********************* -->
    
  <property>
    
    <name>dfs.ha.namenodes.ns1</name>
    
    <value>nn1,nn2</value>
    
  </property>
    
  <property>
    
    <name>dfs.namenode.rpc-address.ns1.nn1</name>
    
    <value>s101:8020</value>
    
  </property>
    
  <property>
    
    <name>dfs.namenode.rpc-address.ns1.nn2</name>
    
    <value>s102:8020</value>
    
  </property>
    
  <property>
    
    <name>dfs.namenode.http-address.ns1.nn1</name>
    
    <value>s101:50070</value>
    
  </property>
    
  <property>
    
    <name>dfs.namenode.http-address.ns1.nn2</name>
    
    <value>s102:50070</value>
    
  </property>
    
  <property>
    
    <name>dfs.client.failover.proxy.provider.ns1</name>
    
    <value>org.apache.hadoop.hdfs.server.namenode
    
      .ha.ConfiguredFailoverProxyProvider</value>
    
  </property>
    
  <!-- **************ns2********************* -->
    
  <property>
    
    <name>dfs.ha.namenodes.ns2</name>
    
    <value>nn3,nn4</value>
    
  </property>
    
  <property>
    
    <name>dfs.namenode.rpc-address.ns2.nn3</name>
    
    <value>s103:8020</value>
    
  </property>
    
  <property>
    
    <name>dfs.namenode.rpc-address.ns2.nn4</name>
    
    <value>s104:8020</value>
    
  </property>
    
  <property>
    
    <name>dfs.namenode.http-address.ns2.nn3</name>
    
    <value>s103:50070</value>
    
  </property>
    
  <property>
    
    <name>dfs.namenode.http-address.ns2.nn4</name>
    
    <value>s104:50070</value>
    
  </property>
    
  <property>
    
    <name>dfs.client.failover.proxy.provider.ns2</name>
    
    <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
    
  </property>
    
  <!--***********************************************-->
    
  <property>
    
    <name>dfs.namenode.shared.edits.dir</name>
    
    <value>qjournal://s102:8485;s103:8485;s104:8485/ns1</value>
    
  </property>

  <property>
    
    <name>dfs.ha.fencing.methods</name>
    
    <value>
    
      sshfence
    
      shell(/bin/true)
    
    </value>
    
  </property>
    
  <property>
    
    <name>dfs.ha.fencing.ssh.private-key-files</name>
    
    <value>/home/centos/.ssh/id_rsa</value>
    
  </property>

  <property>
    
    <name>dfs.ha.automatic-failover.enabled</name>
    
    <value>true</value>
    
  </property>
    
  <property>
    
    <name>dfs.replication</name>
    
    <value>3</value>
    
  </property>
    
</configuration>

    ​

  • s103和s104配置相同

    <?xml version="1.0" encoding="UTF-8"?>
    
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
    
<configuration>
    
  <property>
    
    <name>dfs.nameservices</name>
    
    <value>ns1,ns2</value>
    
  </property>
    
  <!-- **************ns1********************* -->
    
  <property>
    
    <name>dfs.ha.namenodes.ns1</name>
    
    <value>nn1,nn2</value>
    
  </property>
    
  <property>
    
    <name>dfs.namenode.rpc-address.ns1.nn1</name>
    
    <value>s101:8020</value>
    
  </property>
    
  <property>
    
    <name>dfs.namenode.rpc-address.ns1.nn2</name>
    
    <value>s102:8020</value>
    
  </property>
    
  <property>
    
    <name>dfs.namenode.http-address.ns1.nn1</name>
    
    <value>s101:50070</value>
    
  </property>
    
  <property>
    
    <name>dfs.namenode.http-address.ns1.nn2</name>
    
    <value>s102:50070</value>
    
  </property>
    
  <property>
    
    <name>dfs.client.failover.proxy.provider.ns1</name>
    
    <value>org.apache.hadoop.hdfs.server.namenode
    
      .ha.ConfiguredFailoverProxyProvider</value>
    
  </property>
    
  <!-- **************ns2********************* -->
    
  <property>
    
    <name>dfs.ha.namenodes.ns2</name>
    
    <value>nn3,nn4</value>
    
  </property>
    
  <property>
    
    <name>dfs.namenode.rpc-address.ns2.nn3</name>
    
    <value>s103:8020</value>
    
  </property>
    
  <property>
    
    <name>dfs.namenode.rpc-address.ns2.nn4</name>
    
    <value>s104:8020</value>
    
  </property>
    
  <property>
    
    <name>dfs.namenode.http-address.ns2.nn3</name>
    
    <value>s103:50070</value>
    
  </property>
    
  <property>
    
    <name>dfs.namenode.http-address.ns2.nn4</name>
    
    <value>s104:50070</value>
    
  </property>
    
  <property>
    
    <name>dfs.client.failover.proxy.provider.ns2</name>
    
    <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
    
  </property>
    
  <!--***********************************************-->

  <property>
    
    <name>dfs.namenode.shared.edits.dir</name>
    
    <value>qjournal://s102:8485;s103:8485;s104:8485/ns2</value>
    
  </property>

  <property>
    
    <name>dfs.ha.fencing.methods</name>
    
    <value>
    
      sshfence
    
      shell(/bin/true)
    
    </value>
    
  </property>
    
  <property>
    
    <name>dfs.ha.fencing.ssh.private-key-files</name>
    
    <value>/home/centos/.ssh/id_rsa</value>
    
  </property>

  <property>
    
    <name>dfs.ha.automatic-failover.enabled</name>
    
    <value>true</value>
    
  </property>
    
  <property>
    
    <name>dfs.replication</name>
    
    <value>3</value>
    
  </property>
    
</configuration>

5.2 core-site.xml

<?xml version="1.0"?>

<configuration xmlns:xi="http://www.w3.org/2001/XInclude">

  <xi:include href="mountTable.xml" />

  <property>

    <name>fs.defaultFS</name>

    <value>viewfs://ClusterX</value>

  </property>

  <property>

    <name>dfs.journalnode.edits.dir</name>

    <value>/home/centos/hadoop/federation/journalnode</value>

  </property>

  <property>

    <name>hadoop.tmp.dir</name>

    <value>/home/centos/hadoop/federation</value>

  </property>

  <property>

    <name>ha.zookeeper.quorum</name>

    <value>s102:2181,s103:2181,s104:2181</value>

  </property>

</configuration>

5.3 mountTable.xml

<configuration>

  <property>

    <name>fs.viewfs.mounttable.ClusterX.homedir</name>

    <value>/home</value>

  </property>

  <property>

    <name>fs.viewfs.mounttable.ClusterX.link./home</name>

    <value>hdfs://ns1/home</value>

  </property>

  <property>

    <name>fs.viewfs.mounttable.ClusterX.link./tmp</name>

    <value>hdfs://ns2/tmp</value>

  </property>

  <property>

    <name>fs.viewfs.mounttable.ClusterX.link./projects/foo</name>

    <value>hdfs://ns1/projects/foo</value>

  </property>

  <property>

    <name>fs.viewfs.mounttable.ClusterX.link./projects/bar</name>

    <value>hdfs://ns2/projects/bar</value>

  </property>

</configuration>

6、实操

6.1 删除日志和临时目录

$>xcall.sh rm -rf /soft/hadoop/logs/*

$>xcall.sh rm -rf /home/centos/hadoop/federation/*

6.2 修改软连接

$>xcall.sh ln -sfT /soft/hadoop/etc/federation /soft/hadoop/etc/hadoop

6.3 格式化ns1集群

  1. 启动journalnode节点

    登录s102、s103和s104，分别执行以下命令：

    $>hadoop-daemon.sh start journalnode

  2. 格式化nn1节点

    $>hdfs namenode -format

  3. 复制nn1元数据到nn2

    $>scp -r /home/centos/hadoop/federation centos@s102:/home/centos/hadoop

  4. nn2上执行引导

    # s101启动名称节点
    
$>hadoop-daemon.sh start namenode
    
# s102执行引导,不要重格(N)
    
$>hdfs namenode -bootstrapStandby

  5. nn2初始化编辑共享日志

    # 初始化共享编辑日志
    
$>hdfs namenode -initializeSharedEdits

  6. 格式化zk节点

    $>hdfs zkfc -formatZK

  7. 启动nn1和nn2的namenode以及容灾控制器

    # s101
    
$>hadoop-daemon.sh start zkfc

# s102
    
$>hadoop-daemon.sh start namenode
    
$>hadoop-daemon.sh start zkfc

  8. webui测试

    http://s101:50070

6.4 格式化ns2集群

格式化ns2集群时，务必需要使用ns1的集群id，以保证他们是一个完成的集群。

  1. 格式化nn3，使用nn1的集群id

    $>hdfs namenode -format -clusterId CID-e16c5e2f-c0a5-4e51-b789-008e36b7289a

  2. 复制s103的元数据到s104上

    $>scp -r /home/centos/hadoop/federation centos@s104:/home/centos/hadoop/

  3. 在s104引导

    # 在s103启动namenode
    
$>hadoop-daemon.sh start namenode
    
# 在s104执行引导
    
$>hdfs namenode -bootstrapStandby

  4. 在s104上初始化编辑日志

    $>hdfs namenode -initializeSharedEdits

  5. 在s104对zookeeper格式化zkfc(选择Y)

    $>hdfs zkfc -formatZK

  6. 启动s103和s104的namenode和zkfc进程

    # s103
    
$>hadoop-daemon.sh start zkfc
    
# s104
    
$>hadoop-daemon.sh start namenode
    
$>hadoop-daemon.sh start zkfc

6.5 重启集群

$>stop-dfs.sh

$>start-dfs.sh

6.6 创建目录

# 切记，使用-p参数创建上级目录

$>hdfs dfs -mkdir -p /home/data

6.7 上传文件

$>hdfs dfs -put 1.txt /home/data

6.8 webui考察

http://s101:50070/

7、小结

配置联邦模式时，第二个namenode的格式化需要指定clusterid，以保证和之前的集群id相同，同时引入挂载表指定不同目录映射到的namenode集群路径。最后，在指定编辑日志存放地址时，最好不同的namenode集群在各自不同的目录下。联邦模式的引进，有效缓解了namenode节点压力的问题，对namenode实现了扩容和负载平衡。

Hadoop federation配置的更多相关文章

  1. CentOS 7 Hadoop安装配置

    前言:我使用了两台计算机进行集群的配置,如果是单机的话可能会出现部分问题.首先设置两台计算机的主机名 root 权限打开/etc/host文件 再设置hostname,root权限打开/etc/hos ...

  2. ubuntu下hadoop环境配置

    软件环境: 虚拟机:VMware Workstation 10 操作系统:ubuntu-12.04-desktop-amd64 JAVA版本:jdk-7u55-linux-x64 Hadoop版本:h ...

  3. hadoop(四):配置参数

    hadoop参数配置,主要是配置 core-site.xml,hdfs-site.xml,mapred-site.xml 三个配置文件,core-site.xml是全局配置,hdfs-site.xml ...

  4. hadoop mapred-queue-acls 配置(转)

    hadoop作业提交时可以指定相应的队列,例如:-Dmapred.job.queue.name=queue2通过对mapred-queue-acls.xml和mapred-site.xml配置可以对不 ...

  5. hadoop安装配置——伪分布模式

    1. 安装 这里以安装hadoop-0.20.2为例 先安装java,参考这个 去着下载hadoop 解压 2. 配置 修改环境变量 vim ~/.bashrc export HADOOP_HOME= ...

  6. Hadoop平台配置总结

    hadoop的配置,个人感觉是非常容易出问题.一个原因是要配置的地方多,还有个原因就是集群配置要在几台机器上都配置正确,才能保证配置好hadoop,跑起任务. 经过昨晚加今天上午的折腾,总算成功配好了 ...

  7. 有关hadoop分布式配置详解

    linux配置ssh无密码登录 配置ssh无密码登录,先要安装openssh,如下: yum install openssh-clients 准备两台linux服务器或虚拟机,设置两台linux的ho ...

  8. CentOS Hadoop安装配置详细

    总体思路,准备主从服务器,配置主服务器可以无密码SSH登录从服务器,解压安装JDK,解压安装Hadoop,配置hdfs.mapreduce等主从关系. 1.环境,3台CentOS7,64位,Hadoo ...

  9. Hadoop的配置过程（虚拟机中的伪分布模式）

    1引言 hadoop如今已经成为大数据处理中不可缺少的关键技术,在如今大数据爆炸的时代,hadoop给我们处理海量数据提供了强有力的技术支撑.因此,了解hadoop的原理与应用方法是必要的技术知识. ...

随机推荐

  1. SprimgMVC学习笔记（六）—— 全局异常的处理

    一.处理思路 springmvc在处理请求过程中出现异常信息交由异常处理器进行处理,自定义异常处理器可以实现一个系统的异常处理逻辑. 系统中异常包括两类:预期异常和运行时异常RuntimeExcept ...

  2. 查询多列得到map与查询得到po对象

    import java.util.ArrayList; import java.util.HashMap; import java.util.List; import java.util.Map; i ...

  3. java thread start到run：C++源码分析

    转:https://hunterzhao.io/post/2018/06/11/hotspot-explore-inside-java-thread-run/ 整体流程 java new Thread ...

  4. SQL---MySQL数据库---聚合函数

    1.数值 format(x,n) 将x格式化为  由逗号分隔,小数点后n 位的数:

  5. java编程--04比较几个常用的日期时间相关类的区别

    第一篇,介绍日期的比较 第二篇,介绍日期的格式化 第三篇,介绍关于日期常用的计算 第四篇,比较几个常用的日期时间相关类的区别 第五篇,jdk9对日期类进行了更新,写一些i自己的学习心得. 下面以一组思 ...

  6. input类型为number去除上下按钮浏览器兼容方法

    <input type="number" ...> input::-webkit-outer-spin-button, input::-webkit-inner-spi ...

  7. 性能测试工具LoadRunner25-LR之常用性能指标计算公式

    1.吞吐量计算公式 定义:指单位时间内系统处理用户的请求数 从业务角度看,吞吐量可以用:请求数/秒.页面数/秒.人数/天或处理业务数/小时等单位来衡量. 从网络角度看,吞吐量可以用:字节/秒来衡量 对 ...

  8. 使用codedom自动生成代码

    刚刚接触自动代码生成,便小试牛刀,解决了项目中的一些问题. 问题:我们的项目分成很多层次,当增加一个方法的时候,会显得异常繁琐,但每个层次之间的调用大同小异,所以尝试使用代码生成.现在假设有Engin ...

  9. JavaScript控制流及关键字与C语言之比较

    学习JavaScript控制流及关键字概念前,对有过C语言学习经验的同学来说,那么关键字,控制语句概念并不陌生.我们先来看看C语言吧: C语言的32个关键字和9种控制语句 9种控制语句: if.if- ...

  10. 使用Nginx、Keepalived构建文艺负载均衡

    面对网站服务器端负载增大的问题,是"拿15万￥买一台服务器"来解决,还是靠"加三倍服务器"来解决?还是用其它一些办法? 对于一个访问量日益增加的网站架构而言,从 ...