Hadoop基础-网络拓扑机架感知及其实现

　　　　　　　　　　　　　　　　　　　　　　Hadoop基础-网络拓扑机架感知及其实现

　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　作者：尹正杰

版权声明：原创作品，谢绝转载！否则将追究法律责任。

一.网络拓扑结构

　　在本地网络中，两个节点被称为“彼此近邻”是什么意思？在海量数据处理中，其主要限制因素是节点之间数据的传输速率，即带宽稀缺。这里的想法是将两个节点之间的带宽作为距离的衡量标准。不用衡量节点之间的带宽，实际上很难实现（它需要一个稳定的集群，并且在集群中两两节点对数量是节点数量的平方），hadoop为此采用了一个简单的方法：把网络看作一棵树，两个节点之间的距离是他们到最近共同祖先的距离总和。该树中的层次是没有预先设定的， 但是相对与数据中心，机架和正在运行的节点，通常可以设定等级。具体想法是针对以下每个常见，可用带宽依次递减：

　　　　1>.同一节点上的进程；

　　　　2>.同一机架上的不同节点；

　　　　3>.同一数据中心中不同机架上的节点；

　　　　4>.不同数据中心的节点‘

　　举个例子，假设有数据中心d1，机架r1中的节点n1。该节点可以表示为“/d1/r1/n1”。利用这种标记，这里给出四种距离描述：

　　　　1>.distance(/d1/r1/n1,/d1/r1/n1)=0(同一节点上的进程)；

　　　　2>.distance(/d1/r1/n1,/d1/r1/n2)=2(同一机架上的不同节点)；

　　　　3>.distance(/d1/r1/n1,/d1/r2/n3)=4(同一数据中心中不同机架上的节点)；

　　　　4>.distance(/d1/r1/n1,/d2/r3/n4)=6(不同数据中心中的节点)；

　　上图摘自《Hadoop权威指南第四版》。我们必须要意识到Hadoop无法自动发现你的网络拓扑结构。它需要一些帮助,不过在默认情况下，假设网络是扁平化的只有一层，换句话说，所有节点在同一数据中心的同一机架上。规模小的集群可能如此，不需要进一步配置。

二.机架感知

 　　机架感知可以通过python和shell实现，详情请参考官方文档的案例：http://hadoop.apache.org/docs/r2.7.3/hadoop-project-dist/hadoop-common/RackAwareness.html。由于Hadoop是Java语言写的，因此本篇博客主要使用Java代码实现机架感知。在机架感知中，接受的数据(参数)是一个包含所有节点的ip或主机名的List，返回的数据也是一个List，是拓扑距离的list。

1>.编写机架感知自定义逻辑代码

 /*
 @author :yinzhengjie
 Blog:http://www.cnblogs.com/yinzhengjie/tag/Hadoop%E8%BF%9B%E9%98%B6%E4%B9%8B%E8%B7%AF/
 EMAIL:y1053419035@qq.com
 */
 package cn.org.yinzhengjie.hdfs;

 import org.apache.hadoop.net.DNSToSwitchMapping;
 import java.util.ArrayList;
 import java.util.List;
 /**
  *hadoop副本放置策略：(3副本情况)
  *      1、在本地机架的一个节点放置一个副本    s101-s103    rack1
  *      2、在其他机架的两个结点放置两个副本    s104-s105    rack2
  */
 public class RackAware implements DNSToSwitchMapping {
     public List<String> resolve(List<String> names) {
         List<String> list = new ArrayList<String>();
         for(String name : names){
             Integer suffix = 0;
             /**
              * 第一种情况: names是主机名
              */
             if(name.startsWith("s")){
                 //将s101变为101
                 suffix = Integer.parseInt(name.substring(1));
             }
             /**
              * 第二种情况：names是ip
              */
             else {
                 suffix = Integer.parseInt(name.substring(name.lastIndexOf(".") + 1));
             }
             /**
              *  我们的策略是主机位大于103的就放在第一个机会上，即"/rack1",否则就放在第二个机柜上上，即"/rack2"
              */
             if(suffix <= 103){
                 // /rack1/s102
                 list.add("/rack1");
             }
             else {
                 // /rack2/s105
                 list.add("/rack2");
             }
         }
         return list;
     }
     /**
      * 下面的两个方法空实现即可。不用搭理它们，咱们这里用不到他们两个方法
      */
     public void reloadCachedMappings() {}
     public void reloadCachedMappings(List<String> names) {}
 }

2>.打包并上传至服务器端的/soft/hadoop/share/hadoop/common/lib目录下

3>.修改配置文件

4>.分发配置文件

[yinzhengjie@s101 ~]$ more `which xrsync.sh`
#!/bin/bash
#@author :yinzhengjie
#blog:http://www.cnblogs.com/yinzhengjie
#EMAIL:y1053419035@qq.com

#判断用户是否传参
if [ $# -lt  ];then
    echo "请输入参数";
    exit
fi

#获取文件路径
file=$@

#获取子路径
filename=`basename $file`

#获取父路径
dirpath=`dirname $file`

#获取完整路径
cd $dirpath
fullpath=`pwd -P`

#同步文件到DataNode
for (( i=;i<=;i++ ))
do
    #使终端变绿色
    tput setaf
    echo =========== s$i %file ===========
    #使终端变回原来的颜色，即白灰色
    tput setaf
    #远程执行命令
    rsync -lr $filename `whoami`@s$i:$fullpath
    #判断命令是否执行成功
    if [ $? ==  ];then
        echo "命令执行成功"
    fi
done
[yinzhengjie@s101 ~]$
[yinzhengjie@s101 ~]$ xrsync.sh /soft/hadoop/etc/hadoop/core-site.xml
=========== s102 %file ===========
命令执行成功
=========== s103 %file ===========
命令执行成功
=========== s104 %file ===========
命令执行成功
=========== s105 %file ===========
命令执行成功
[yinzhengjie@s101 ~]$ xrsync.sh /soft/hadoop/etc/hadoop/slaves
=========== s102 %file ===========
命令执行成功
=========== s103 %file ===========
命令执行成功
=========== s104 %file ===========
命令执行成功
=========== s105 %file ===========
命令执行成功
[yinzhengjie@s101 ~]$
[yinzhengjie@s101 ~]$ xrsync.sh /soft/hadoop/share/hadoop/common/lib/MyHbase-1.0-SNAPSHOT.jar
=========== s102 %file ===========
命令执行成功
=========== s103 %file ===========
命令执行成功
=========== s104 %file ===========
命令执行成功
=========== s105 %file ===========
命令执行成功
[yinzhengjie@s101 ~]$ 

5>.启动HDFS并查看NameNode日志