Hadoop--Hadoop的机架感知

Hadoop的机架感知

Hadoop有一个“机架感知”特性。管理员可以手工定义每个slave数据节点的机架号。为什么要做这么麻烦的事情?有两个原因：防止数据丢失和提高网络性能。
    为了防止数据丢失，Hadoop会将每个数据块复制到多个机器上。想象一下，如果某个数据块的所有拷贝都在同一个机架的不同机器上，而这个机架刚好发生故障了(交换机坏了，或者电源掉了)，这得有多悲剧?为了防止出现这种情况，必须要有一个人来记住所有数据节点在网络中的位置，并且用这些知识来确定——把数据的所有拷贝们放在哪些节点上才是最明智的。这个“人”就是Name Node。

另外还有一个假设，即相比不同机架间的机器，同一个机架的机器之间有着更大的带宽和更小的延时。这是因为，机架交换机的上行带宽一般都小于下行带宽。而且机架内的延时一般也小于跨机架的延时(但也不绝对)。

机架感知的缺点则是，我们需要手工为每个数据节点设置机架号，还要不断地更新这些信息，保证它们是正确的。

hadoop默认对3个副本的存放策略为：

    （具体到Hadoop集群，由于hadoop的HDFS对数据文件的分布式存放是按照分块block存储，每个block会有多个副本(默认为3)，并且为了数据的安全和高效）
    第一个block副本放在和client所在的node里（如果client不在集群范围内，则这第一个node是随机选取的）。
    第二个副本放置在与第一个节点不同的机架中的node中（随机选择）。 
    第三个副本似乎放置在与第一个副本所在节点同一机架的另一个节点上。
    如果还更多的副本就随机放在集群的node里。

HDFS不能够自动判断集群中各个datanode的网络拓扑情况。这种机架感知需要topology.script.file.name属性定义的可执行文件（或者脚本来实现，文件提供了IP->rackid的翻译。NameNode通过这个得到集群中各个datanode机器的rackid。如果topology.script.file.name没有设定，则每个IP都会翻译成/default-rack。

在jobtracker的hadoop-site.xml配置文件中加入一下配置选项：

<property>
    <name>topology.script.file.name</name>
    <value>/path/to/rackmap.sh</value>
    <description> The script name that should be invoked to resolve DNS names to
    NetworkTopology names. Example: the script would take host.foo.bar as an
    argument, and return /rack1 as the output.
    </description>
</property>
<property>
    <name>topology.script.number.args</name>
    <value>1000</value>
    <description> The max number of args that the script configured with
    topology.script.file.name should be run with. Each arg is an
    IP address.
    </description>
</property>

网络拓扑图

有了机架感知，NameNode就可以画出上图所示的datanode网络拓扑图。D1,R1都是交换机，最底层是datanode。则H1的rackid=/D1/R1/H1，H1的parent是R1，R1的是D1。这些rackid信息可以通过topology.script.file.name配置。有了这些rackid信息就可以计算出任意两台datanode之间的距离。

distance(/D1/R1/H1,/D1/R1/H1)=0  相同的datanode
   distance(/D1/R1/H1,/D1/R1/H2)=2  同一rack下的不同datanode
   distance(/D1/R1/H1,/D1/R1/H4)=4  同一IDC下的不同datanode
   distance(/D1/R1/H1,/D2/R3/H7)=6  不同IDC下的datanode

以上内容均由各个网站收集整理。