联盟实际上是一个单独的集群,集群里面包含很多的NameService
共享同样的DataNode,同一份数据只上传一份,block块相同,一个集群中删除,另一个集群中还是存在的.同一份数据只是在namespace中注册了一下.
联盟是共享同一个datanode,相同的数据还是一份
viewfs跨隶属于同一个hdfs联盟的hdfs
联盟的好处是扩展了Namenode

搭建federation(多了federation配置)

  ns1的namenode:hadoop4
  ns2的namenode:hadoop5
  datanode:hadoop4,hadoop5,hadoop6

1.1配置文件(hadoop-env.sh,core-site.xml)

  1.1.1 hadoop-env.sh

  export JAVA_HOME=/usr/local/jdk

  1.1.2 core-site.xml

	<property>
<name>fs.defaultFS</name>
<value>hdfs://ns1</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/usr/local/hadoop/tmp</value>
</property>
<property>
<name>fs.viewfs.mounttable.default.link./ns1</name>
<value>hdfs://hadoop4:9000/</value>
</property>
<property>
<name>fs.viewfs.mounttable.default.link./ns2</name>
<value>hdfs://hadoop5:9000</value>
</property>

  1.1.3 hdfs-site.xml

	<property>
<name>dfs.replication</name>
<value>2</value>
</property>
<property>
<name>dfs.nameservices</name>
<value>ns1,ns2</value>
</property>
<property>
<name>dfs.ha.namenodes.ns1</name>
<value>hadoop101</value>
</property>
<property>
<name>dfs.namenode.rpc-address.ns1.hadoop101</name>
<value>hadoop4:9000</value>
</property>
<property>
<name>dfs.namenode.http-address.ns1.hadoop101</name>
<value>hadoop5:50070</value>
</property>
<property>
<name>dfs.ha.namenodes.ns2</name>
<value>hadoop102</value>
</property>
<property>
<name>dfs.namenode.rpc-address.ns2.hadoop102</name>
<value>hadoop5:9000</value>
</property>
<property>
<name>dfs.namenode.http-address.ns2.hadoop102</name>
<value>hadoop5:50070</value>
</property>

  1.1.6 slaves

	hadoop2
hadoop3
hadoop4

  1.2 删除其他节点的hadoop文件夹,然后把hadoop4上的hadoop文件夹复制到hadoop4、hadoop5、hadoop6节点
  1.3 格式化namenode、启动namenode
    在hadoop4上执行hadoop/bin/hdfs namenode -format -clusterId clusterid1
    在hadoop4上执行hadoop/sbin/hadoop-daemon.sh start namenode

    [[clusterId的值与hadoop4上执行的clusterId的值完全相同。如果不同,就不属于同一个federation]]
    在hadoop5上执行hadoop/bin/hdfs namenode -format -clusterId clusterid1
    在hadoop5上分别执行hadoop/sbin/hadoop-daemon.sh start namenode
  1.4 启动datanode
    在hadoop4上执行hadoop/sbin/hadoop-daemons.sh start datanode
  1.5 启动resourcemanager和nodemanager
    在hadoop4上执行 hadoop/sbin/start-yarn.sh start resourcemanager

1.2.验证:

  viewFS是跨隶属于同一个federation的多个hdfs的文件管理系统。
  使用hadoop4:50070/dfsclusterhealth.jsp查看集群情况
  使用hadoop/bin/hdfs dfs -ls viewfs:///统一查看联邦中的数据内容

Hadoop2.2 federnation联盟的搭建的更多相关文章

  1. 懒人记录 Hadoop2.7.1 集群搭建过程

    懒人记录 Hadoop2.7.1 集群搭建过程 2016-07-02 13:15:45 总结 除了配置hosts ,和免密码互连之外,先在一台机器上装好所有东西 配置好之后,拷贝虚拟机,配置hosts ...

  2. hadoop2.7.2集群搭建

    hadoop2.7.2集群搭建 1.修改hadoop中的配置文件 进入/usr/local/src/hadoop-2.7.2/etc/hadoop目录,修改hadoop-env.sh,core-sit ...

  3. hadoop2.8 ha 集群搭建

    简介: 最近在看hadoop的一些知识,下面搭建一个ha (高可用)的hadoop完整分布式集群: hadoop的单机,伪分布式,分布式安装 hadoop2.8 集群 1 (伪分布式搭建 hadoop ...

  4. Win7+Eclipse+Hadoop2.6.4开发环境搭建

    Hadoop开发环境搭建 感谢参考网站:http://www.cnblogs.com/huligong1234/p/4137133.html 一.软件准备 JDK:jdk-7u80-windows-x ...

  5. Dockerfile完成Hadoop2.6的伪分布式搭建

    在 <Docker中搭建Hadoop-2.6单机伪分布式集群>中在容器中操作来搭建伪分布式的Hadoop集群,这一节中将主要通过Dokcerfile 来完成这项工作. 1 获取一个简单的D ...

  6. centos下hadoop2.6.0集群搭建详细过程

    一 .centos集群环境配置 1.创建一个namenode节点,5个datanode节点 主机名 IP namenodezsw 192.168.129.158 datanode1zsw 192.16 ...

  7. Hadoop-2.8.0 开发环境搭建(Mac)

    Hadoop是一个由Apache基金会开发的分布式系统架构,简称HDFS,具有高容错性.可伸缩性等特点,并且可以部署在低配置的硬件上:同时,提供了高吞吐量的数据访问性能,适用于超大数据集的应用程序,以 ...

  8. Hadoop2.0 HA集群搭建步骤

    上一次搭建的Hadoop是一个伪分布式的,这次我们做一个用于个人的Hadoop集群(希望对大家搭建集群有所帮助): 集群节点分配: Park01 Zookeeper NameNode (active) ...

  9. hadoop2.6.0集群搭建

    p.MsoNormal { margin: 0pt; margin-bottom: .0001pt; text-align: justify; font-family: Calibri; font-s ...

随机推荐

  1. shell脚本实现 视频格式转换 ffmpeg 实现视频转换

    #!/bin/bash original=$1 echo $original # check whether file is exist # if $original de chang du wei ...

  2. 虚拟机 linux系统如何安装vmware Tools

    1.打开VMware Workstation虚拟机,开启CentOS系统 虚拟机-安装VMware Tools 登录CentOS终端命令行 2.mkdir /media/mnt    #新建挂载目录 ...

  3. leetcode:Count and Say

    The count-and-say sequence is the sequence of integers beginning as follows:1, 11, 21, 1211, 111221, ...

  4. JS里面匿名函数的调用 & 变量作用域的实验

    参考 http://www.educity.cn/wenda/54753.html 已实验验证结果正确. 1.下列哪些正确?(B.C) A.function(){ alert("Here!& ...

  5. CSS 中区块的使用_宽高属性

    width 像素/百分比 区块的宽度 auto height 像素/百分比 区块的高度 auto min-height 像素像素/百分比 区块最小高度 auto max-height 像素像素/百分比 ...

  6. git plumbing 更加底层命令解析-深入理解GIT

    原文: http://rypress.com/tutorials/git/plumbing 本文详细介绍GIT Plumbing--更加底层的git命令,你将会对git在内部是如何管理和呈现一个项目r ...

  7. 51nod1052 最大M子段和

    dp优化我总是不太熟练.这一次首先我写了O(n4)->O(n3)->O(n2).一步步的优化过来.yyl好像用的是单调队列优化dp我看不懂他的代码... O(n4) #include< ...

  8. SqlDataAdapter的update方法

    公司项目需要,需要将旧数据升级.所谓的旧数据指密码,密码经过了加密处理,但是可逆的.现将加密算法进行了更新,因此需要同步处理系统中已有的旧数据. 所有的数据存储在一个表中,简单的说是数据批量更新.自动 ...

  9. 【解题报告】POJ-1108 Split Windows

    原题地址:http://poj.org/problem?id=1108 ============================== 题目大意: 一棵树表示一个窗口,它的叶子节点都是大写字母,非叶子节 ...

  10. 【解题报告】PKU 2318 TOYS AND PKU 2398 Toy Storage

    题目连接: http://poj.org/problem?id=2318     http://poj.org/problem?id=2398 两题类似的题目,2398是2318的升级版. 题目大概是 ...