Hadoop federation配置

1、介绍

hadoop federation也称为联邦，主要是对namenode进行扩容。HA模式下只是实现了hadoop namenode的高可用，但是随着文件数据的不断增家，导致对namenode的压力越来越大，因此就需要对namenode的负载进行均衡处理。联邦的本质是配置多个namenode集群，将不同的路径映射到不同的集群上即可。但是需要注意所有namenode的集群有着一致的clusterid。结构图如下：

2、集群规划

本例中引入四台namenode，分别是s101、s102、s103和s104。其中s101和s102组成集群ns1，s103和s104组成集群ns2。

3、集群准备

以上四台节点都需要配置ssh，能够登录到所有的集群节点。

4、停止原来的集群

$>stop-dfs.sh

5、配置文件

5.1hdfs-site.xml

  • s101和s102配置相同

    <?xml version="1.0" encoding="UTF-8"?>
    
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
    
<configuration>
    
  <property>
    
    <name>dfs.nameservices</name>
    
    <value>ns1,ns2</value>
    
  </property>
    
  <!-- **************ns1********************* -->
    
  <property>
    
    <name>dfs.ha.namenodes.ns1</name>
    
    <value>nn1,nn2</value>
    
  </property>
    
  <property>
    
    <name>dfs.namenode.rpc-address.ns1.nn1</name>
    
    <value>s101:8020</value>
    
  </property>
    
  <property>
    
    <name>dfs.namenode.rpc-address.ns1.nn2</name>
    
    <value>s102:8020</value>
    
  </property>
    
  <property>
    
    <name>dfs.namenode.http-address.ns1.nn1</name>
    
    <value>s101:50070</value>
    
  </property>
    
  <property>
    
    <name>dfs.namenode.http-address.ns1.nn2</name>
    
    <value>s102:50070</value>
    
  </property>
    
  <property>
    
    <name>dfs.client.failover.proxy.provider.ns1</name>
    
    <value>org.apache.hadoop.hdfs.server.namenode
    
      .ha.ConfiguredFailoverProxyProvider</value>
    
  </property>
    
  <!-- **************ns2********************* -->
    
  <property>
    
    <name>dfs.ha.namenodes.ns2</name>
    
    <value>nn3,nn4</value>
    
  </property>
    
  <property>
    
    <name>dfs.namenode.rpc-address.ns2.nn3</name>
    
    <value>s103:8020</value>
    
  </property>
    
  <property>
    
    <name>dfs.namenode.rpc-address.ns2.nn4</name>
    
    <value>s104:8020</value>
    
  </property>
    
  <property>
    
    <name>dfs.namenode.http-address.ns2.nn3</name>
    
    <value>s103:50070</value>
    
  </property>
    
  <property>
    
    <name>dfs.namenode.http-address.ns2.nn4</name>
    
    <value>s104:50070</value>
    
  </property>
    
  <property>
    
    <name>dfs.client.failover.proxy.provider.ns2</name>
    
    <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
    
  </property>
    
  <!--***********************************************-->
    
  <property>
    
    <name>dfs.namenode.shared.edits.dir</name>
    
    <value>qjournal://s102:8485;s103:8485;s104:8485/ns1</value>
    
  </property>

  <property>
    
    <name>dfs.ha.fencing.methods</name>
    
    <value>
    
      sshfence
    
      shell(/bin/true)
    
    </value>
    
  </property>
    
  <property>
    
    <name>dfs.ha.fencing.ssh.private-key-files</name>
    
    <value>/home/centos/.ssh/id_rsa</value>
    
  </property>

  <property>
    
    <name>dfs.ha.automatic-failover.enabled</name>
    
    <value>true</value>
    
  </property>
    
  <property>
    
    <name>dfs.replication</name>
    
    <value>3</value>
    
  </property>
    
</configuration>

    ​

  • s103和s104配置相同

    <?xml version="1.0" encoding="UTF-8"?>
    
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
    
<configuration>
    
  <property>
    
    <name>dfs.nameservices</name>
    
    <value>ns1,ns2</value>
    
  </property>
    
  <!-- **************ns1********************* -->
    
  <property>
    
    <name>dfs.ha.namenodes.ns1</name>
    
    <value>nn1,nn2</value>
    
  </property>
    
  <property>
    
    <name>dfs.namenode.rpc-address.ns1.nn1</name>
    
    <value>s101:8020</value>
    
  </property>
    
  <property>
    
    <name>dfs.namenode.rpc-address.ns1.nn2</name>
    
    <value>s102:8020</value>
    
  </property>
    
  <property>
    
    <name>dfs.namenode.http-address.ns1.nn1</name>
    
    <value>s101:50070</value>
    
  </property>
    
  <property>
    
    <name>dfs.namenode.http-address.ns1.nn2</name>
    
    <value>s102:50070</value>
    
  </property>
    
  <property>
    
    <name>dfs.client.failover.proxy.provider.ns1</name>
    
    <value>org.apache.hadoop.hdfs.server.namenode
    
      .ha.ConfiguredFailoverProxyProvider</value>
    
  </property>
    
  <!-- **************ns2********************* -->
    
  <property>
    
    <name>dfs.ha.namenodes.ns2</name>
    
    <value>nn3,nn4</value>
    
  </property>
    
  <property>
    
    <name>dfs.namenode.rpc-address.ns2.nn3</name>
    
    <value>s103:8020</value>
    
  </property>
    
  <property>
    
    <name>dfs.namenode.rpc-address.ns2.nn4</name>
    
    <value>s104:8020</value>
    
  </property>
    
  <property>
    
    <name>dfs.namenode.http-address.ns2.nn3</name>
    
    <value>s103:50070</value>
    
  </property>
    
  <property>
    
    <name>dfs.namenode.http-address.ns2.nn4</name>
    
    <value>s104:50070</value>
    
  </property>
    
  <property>
    
    <name>dfs.client.failover.proxy.provider.ns2</name>
    
    <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
    
  </property>
    
  <!--***********************************************-->

  <property>
    
    <name>dfs.namenode.shared.edits.dir</name>
    
    <value>qjournal://s102:8485;s103:8485;s104:8485/ns2</value>
    
  </property>

  <property>
    
    <name>dfs.ha.fencing.methods</name>
    
    <value>
    
      sshfence
    
      shell(/bin/true)
    
    </value>
    
  </property>
    
  <property>
    
    <name>dfs.ha.fencing.ssh.private-key-files</name>
    
    <value>/home/centos/.ssh/id_rsa</value>
    
  </property>

  <property>
    
    <name>dfs.ha.automatic-failover.enabled</name>
    
    <value>true</value>
    
  </property>
    
  <property>
    
    <name>dfs.replication</name>
    
    <value>3</value>
    
  </property>
    
</configuration>

5.2 core-site.xml

<?xml version="1.0"?>

<configuration xmlns:xi="http://www.w3.org/2001/XInclude">

  <xi:include href="mountTable.xml" />

  <property>

    <name>fs.defaultFS</name>

    <value>viewfs://ClusterX</value>

  </property>

  <property>

    <name>dfs.journalnode.edits.dir</name>

    <value>/home/centos/hadoop/federation/journalnode</value>

  </property>

  <property>

    <name>hadoop.tmp.dir</name>

    <value>/home/centos/hadoop/federation</value>

  </property>

  <property>

    <name>ha.zookeeper.quorum</name>

    <value>s102:2181,s103:2181,s104:2181</value>

  </property>

</configuration>

5.3 mountTable.xml

<configuration>

  <property>

    <name>fs.viewfs.mounttable.ClusterX.homedir</name>

    <value>/home</value>

  </property>

  <property>

    <name>fs.viewfs.mounttable.ClusterX.link./home</name>

    <value>hdfs://ns1/home</value>

  </property>

  <property>

    <name>fs.viewfs.mounttable.ClusterX.link./tmp</name>

    <value>hdfs://ns2/tmp</value>

  </property>

  <property>

    <name>fs.viewfs.mounttable.ClusterX.link./projects/foo</name>

    <value>hdfs://ns1/projects/foo</value>

  </property>

  <property>

    <name>fs.viewfs.mounttable.ClusterX.link./projects/bar</name>

    <value>hdfs://ns2/projects/bar</value>

  </property>

</configuration>

6、实操

6.1 删除日志和临时目录

$>xcall.sh rm -rf /soft/hadoop/logs/*

$>xcall.sh rm -rf /home/centos/hadoop/federation/*

6.2 修改软连接

$>xcall.sh ln -sfT /soft/hadoop/etc/federation /soft/hadoop/etc/hadoop

6.3 格式化ns1集群

  1. 启动journalnode节点

    登录s102、s103和s104，分别执行以下命令：

    $>hadoop-daemon.sh start journalnode

  2. 格式化nn1节点

    $>hdfs namenode -format

  3. 复制nn1元数据到nn2

    $>scp -r /home/centos/hadoop/federation centos@s102:/home/centos/hadoop

  4. nn2上执行引导

    # s101启动名称节点
    
$>hadoop-daemon.sh start namenode
    
# s102执行引导,不要重格(N)
    
$>hdfs namenode -bootstrapStandby

  5. nn2初始化编辑共享日志

    # 初始化共享编辑日志
    
$>hdfs namenode -initializeSharedEdits

  6. 格式化zk节点

    $>hdfs zkfc -formatZK

  7. 启动nn1和nn2的namenode以及容灾控制器

    # s101
    
$>hadoop-daemon.sh start zkfc

# s102
    
$>hadoop-daemon.sh start namenode
    
$>hadoop-daemon.sh start zkfc

  8. webui测试

    http://s101:50070

6.4 格式化ns2集群

格式化ns2集群时，务必需要使用ns1的集群id，以保证他们是一个完成的集群。

  1. 格式化nn3，使用nn1的集群id

    $>hdfs namenode -format -clusterId CID-e16c5e2f-c0a5-4e51-b789-008e36b7289a

  2. 复制s103的元数据到s104上

    $>scp -r /home/centos/hadoop/federation centos@s104:/home/centos/hadoop/

  3. 在s104引导

    # 在s103启动namenode
    
$>hadoop-daemon.sh start namenode
    
# 在s104执行引导
    
$>hdfs namenode -bootstrapStandby

  4. 在s104上初始化编辑日志

    $>hdfs namenode -initializeSharedEdits

  5. 在s104对zookeeper格式化zkfc(选择Y)

    $>hdfs zkfc -formatZK

  6. 启动s103和s104的namenode和zkfc进程

    # s103
    
$>hadoop-daemon.sh start zkfc
    
# s104
    
$>hadoop-daemon.sh start namenode
    
$>hadoop-daemon.sh start zkfc

6.5 重启集群

$>stop-dfs.sh

$>start-dfs.sh

6.6 创建目录

# 切记，使用-p参数创建上级目录

$>hdfs dfs -mkdir -p /home/data

6.7 上传文件

$>hdfs dfs -put 1.txt /home/data

6.8 webui考察

http://s101:50070/

7、小结

配置联邦模式时，第二个namenode的格式化需要指定clusterid，以保证和之前的集群id相同，同时引入挂载表指定不同目录映射到的namenode集群路径。最后，在指定编辑日志存放地址时，最好不同的namenode集群在各自不同的目录下。联邦模式的引进，有效缓解了namenode节点压力的问题，对namenode实现了扩容和负载平衡。

Hadoop federation配置的更多相关文章

  1. CentOS 7 Hadoop安装配置

    前言:我使用了两台计算机进行集群的配置,如果是单机的话可能会出现部分问题.首先设置两台计算机的主机名 root 权限打开/etc/host文件 再设置hostname,root权限打开/etc/hos ...

  2. ubuntu下hadoop环境配置

    软件环境: 虚拟机:VMware Workstation 10 操作系统:ubuntu-12.04-desktop-amd64 JAVA版本:jdk-7u55-linux-x64 Hadoop版本:h ...

  3. hadoop(四):配置参数

    hadoop参数配置,主要是配置 core-site.xml,hdfs-site.xml,mapred-site.xml 三个配置文件,core-site.xml是全局配置,hdfs-site.xml ...

  4. hadoop mapred-queue-acls 配置(转)

    hadoop作业提交时可以指定相应的队列,例如:-Dmapred.job.queue.name=queue2通过对mapred-queue-acls.xml和mapred-site.xml配置可以对不 ...

  5. hadoop安装配置——伪分布模式

    1. 安装 这里以安装hadoop-0.20.2为例 先安装java,参考这个 去着下载hadoop 解压 2. 配置 修改环境变量 vim ~/.bashrc export HADOOP_HOME= ...

  6. Hadoop平台配置总结

    hadoop的配置,个人感觉是非常容易出问题.一个原因是要配置的地方多,还有个原因就是集群配置要在几台机器上都配置正确,才能保证配置好hadoop,跑起任务. 经过昨晚加今天上午的折腾,总算成功配好了 ...

  7. 有关hadoop分布式配置详解

    linux配置ssh无密码登录 配置ssh无密码登录,先要安装openssh,如下: yum install openssh-clients 准备两台linux服务器或虚拟机,设置两台linux的ho ...

  8. CentOS Hadoop安装配置详细

    总体思路,准备主从服务器,配置主服务器可以无密码SSH登录从服务器,解压安装JDK,解压安装Hadoop,配置hdfs.mapreduce等主从关系. 1.环境,3台CentOS7,64位,Hadoo ...

  9. Hadoop的配置过程（虚拟机中的伪分布模式）

    1引言 hadoop如今已经成为大数据处理中不可缺少的关键技术,在如今大数据爆炸的时代,hadoop给我们处理海量数据提供了强有力的技术支撑.因此,了解hadoop的原理与应用方法是必要的技术知识. ...

随机推荐

  1. Android点击事件（click button）的四种写法

    在学习android开发和测试的时候发现不同的人对于click事件的写法是不一样的,上网查了一下,发现有四种写法,于是想比较一下四种方法的不同 第一种方法:匿名内部类 代码: package com. ...

  2. Hanlp(汉语言处理包)配置、使用、官方文档

    配置使用教程:https://github.com/hankcs/HanLP Hanlp官方文档:http://www.hankcs.com/nlp/hanlp.html 参考API:http://h ...

  3. node.js 设置 淘宝 镜像

    npm config set registry "https://registry.npm.taobao.org" npm info underscore (如果上面配置正确这个命 ...

  4. C语言中结构、联合、枚举的说明

    复杂的数据类型 一般的步骤: 1.声明模板 2.定义变量,分配内存空间 3.初始化 ++++++++++++++++++++++++++++++++++++++++++++++++++++++++++ ...

  5. git学习---去除版本控制

    本地这样去除文件夹 node_modules 的版本关联:执行:git rm -r --cached "node_modules/"提交: git commit -am 'remo ...

  6. 读经典——《CLR via C#》(Jeffrey Richter著) 笔记_类型转换

    1. C# 不要求任何特殊语法即可将一个对象转换为它的任何基类型,因为向基类型的转换被认为是一种安全的隐式转换: 2. 然而,将对象转换为它的某个派生类型时,C#要求开发人员只能进行显示转换,因为这样 ...

  7. 新磁盘创建lvm并挂载

    ### .查看硬盘 fdisk -l ### 删除分区 fdisk /dev/sdc ### 按d删除,按w保存并退出 ### 创建pv pvcreate /dev/sdc ### 创建 vg vgc ...

  8. bios-----> grub

    系统有两块硬盘, 第一块安装的win7, 第二块安装ubuntu 默认从sda加载grub 如果在bios页面选择从sdb启动,会找不到grub 进入原来的sda系统,  grub-install / ...

  9. ubuntu14.04下 安装matlabR2015b遇到的一些问题及其解决方法

    问题1:错误提示关于未取得权限,不能再/crack/bin文件中复制文件到安装matlab的/usr/bin文件中? 采取解决方法: 再终端里输入 sudo nautilus,在弹出文件夹里即可进行相 ...

  10. Lonsdor K518ISE Key Programmer Review

    Lonsdor K518ISE key programmer is the latest version of Lonsdor, with wider vehicle coverage in key ...