Hadoop多节点集群规划

服务起名称 内网IP HDFS YARN
master 192.168.1.155 NameNode ResourceManager
slave1 192.168.1.116 DataNode NodeManager
slave2 192.168.1.117 DataNode NodeManager
slave3 192.168.1.118 DataNode NodeManager

1. Slave1机器配置
    1.1 以单机Hadoop镜像为模板克隆出一个虚拟机, 修改固定IP及MAC地址(修改/etc/sysconfig/network-scripts/ifcfg-ens33)

    DEVICE="ens33"
        HWADDR="00:0C:29:30:BB:7E"
    Type="Ethernet"
    BOOTPROTO="static"
    IPADDR=192.168.1.156
    GATEWAY=192.168.1.1
    NETMASK=255.255.255.0
    ONBOOT="yes"
    1.2 修改机器名为Slave1(/etc/hostname)
    1.3 修改机器名及ip映射(/etc/hosts),同时将127.0.0.1映射到slave1

192.168.1.155 master
      192.168.1.156 slave1
      192.168.1.157 slave2
      192.168.1.157 slave3

1.4 编辑/usr/local/hadoop/etc/hadoop/core-site.xml,设置fs.defaultFS值为hdfs://master:9000
    1.5 编辑.../..../yarn-site.xml,添加额外的3个property(nodemanager->resourcemanager,  application-master->resourcemanager, client->resourcemanager)

      <property>
       <name>yarn.resourcemanager.resource-tracker.address</name>
       <value>master:8025</value>
    </property>
         <property>
       <name>yarn.resourcemanager.scheduler.address</name>
         <value>master:8030</value>
      </property>
      <property>
        <name>yarn.resourcemanager.address</name>
        <value>master:8050</value>
      </property>
    1.6 编辑mapred-site.xml,添加

<property>
              <name>mapred.job.tracker</name>
       <value>master:54331</value>
      </property>
    1.7 编辑hdfs-site.xml, slave1为datanode,所以设置data dir

<property>
        <name>dfs.datanode.data.dir</name>
        <value>file:/usr/local/hadoop/hadoop_data/hdfs/datanode</value>
      </property>

2. Slave2机器配置
    2.1 以Slave1机器为模板,复制出新的VM,然后修改固定IP及MAC

   DEVICE="ens33"
         HWADDR="00:0C:29:51:C4:45"
     Type="Ethernet"
     BOOTPROTO="static"
     PADDR=192.168.1.157
     GATEWAY=192.168.1.1
     NETMASK=255.255.255.0
     ONBOOT="yes"

2.2 修改机器名为Slave2(/etc/hostname)

2.3 修改/etc/hosts,将127.0.0.1映射到slave2

3. Slave3机器配置
    3.1 以Slave1机器为模板,复制出新的VM,然后修改固定IP及MAC

     DEVICE="ens33"
     HWADDR="00:0C:29:BE:C6:0C"
     Type="Ethernet"
     BOOTPROTO="static"
     IPADDR=192.168.1.158
     GATEWAY=192.168.1.1
     NETMASK=255.255.255.0
     ONBOOT="yes"

3.2 修改机器名为Slave3(/etc/hostname)

3.3 修改/etc/hosts,将127.0.0.1映射到slave3

4. Master机器配置
    4.1 设置hdfs-site.xml, Master为NameNode, 指定name dir

      <property>
        <name>dfs.namenode.name.dir</name>
        <value>file:/usr/local/hadoop/hadoop_data/hdfs/namenode</value>
      </property>

4.4 设置yarn-site.xml

   <property>
     <name>yarn.resourcemanager.resource-tracker.address</name>
     <value>master:8025</value>
     </property>
     <property>
       <name>yarn.resourcemanager.scheduler.address</name>
       <value>master:8030</value>
   </property>
     <property>
       <name>yarn.resourcemanager.address</name>
         <value>master:8050</value>
   </property>

4.3 编辑masters(/usr/local/hadoop/etc/hadoop/masters), 内容为master
    4.4 编辑slaves(/usr/local/hadoop/etc/hadoop/slaves,内容为
          slave1
          slave2
          slave3
    4.5 ssh到3台slaves机器,创建datanode目录/usr/local/hadoop/hadoop_data/hdfs/datanode
    4.6 master机器上创建namenode目录/usr/local/hadoop/hadoop_data/hdfs/namenode
    4.7 格式化NameNode HDFS目录(hdfs namenode -format), 注意:首次格式化时使用
    4.8 启动多节点Hadoop Cluster
          start-dfs.sh
          start-yarn.sh
    4.9 查看ResourceManager Web界面(http://master:8088)及NameNode Web界面(http://master:50070)
    4.10 关闭多节点Hadoop Cluster
          stop-dfs.sh
          stop-yarn.sh

其他:删除多余内网ip命令ip addr del 192.168.1.105/24 dev ens33

Hadoop多节点Cluster的更多相关文章

  1. Hadoop添加节点datanode(生产环境)

    Hadoop添加节点datanode 博客分类: hadoop HadoopSSHJDKXML工作  1.部署hadoop    和普通的datanode一样.安装jdk,ssh  2.修改host  ...

  2. 实验-hadoop新增节点

    关于hadoop新增节点网上的说法都有些差别,自己来实践一把 1.建立一个namenode一个datanode的集群 master:192.168.126.130 slave1:192.168.126 ...

  3. Hadoop Datanode节点无法启动(All directories in dfs.data.dir are invalid)

    Hadoop Datanode节点无法启动(All directories in dfs.data.dir are invalid) java.io.IOException: All director ...

  4. 一、hadoop单节点安装测试

    一.hadoop简介 相信你或多或少都听过hadoop这个名字,hadoop是一个开源的.分布式软件平台.它主要解决了分布式存储(hdfs)和分布式计算(mapReduce)两个大数据的痛点问题,在h ...

  5. 当Hadoop 启动节点Datanode失败解决

    Hadoop 启动节点Datanode失败解决 [日期:2014-11-01] 来源:Linux社区  作者:shuideyidi [字体:大 中 小] 当我动态添加一个Hadoop从节点的之后,出现 ...

  6. 【Hadoop】Hadoop DataNode节点超时时间设置

    hadoop datanode节点超时时间设置 datanode进程死亡或者网络故障造成datanode无法与namenode通信,namenode不会立即把该节点判定为死亡,要经过一段时间,这段时间 ...

  7. 【大数据系列】hadoop单节点安装官方文档翻译

    Hadoop: Setting up a Single Node Cluster. HADOOP:建立单节点集群 Purpose Prerequisites Supported Platforms R ...

  8. Hadoop多节点集群安装配置

    目录: 1.集群部署介绍 1.1 Hadoop简介 1.2 环境说明 1.3 环境配置 1.4 所需软件 2.SSH无密码验证配置 2.1 SSH基本原理和用法 2.2 配置Master无密码登录所有 ...

  9. 一步步教你Hadoop多节点集群安装配置

    1.集群部署介绍 1.1 Hadoop简介 Hadoop是Apache软件基金会旗下的一个开源分布式计算平台.以Hadoop分布式文件系统HDFS(Hadoop Distributed Filesys ...

随机推荐

  1. eclipse 快捷键及使用技巧

    一.程序的编译和运行的环境配置(一般不改) window -- Preferences -- Java 编译环境:Compiler 默认选中的就是最高版本. 运行环境:Installed JREs 默 ...

  2. js数组对象排序详解

    一.js对象遍历输出的时候真的是按照顺序输出吗? 下边就来实践一下: var obj={'3':'ccc',name:'abc',age:23,school:'sdfds',class:'dfd',h ...

  3. 解析特殊格式的xml到map

    由于项目特殊,需要解析的xml文档样式特别,所以自己写了一个解析特殊xml的方法 先提供xml样式 <?xml version="1.0" encoding="UT ...

  4. H5 坑

    document.addEventListener("touchmove",function(e){e.preventDefault();},false); 防止滑动时整屏页面移动 ...

  5. Curious Cupid

    There are K different languages in the world. Each person speaks one and only one language. There ar ...

  6. Spring Boot使用thymeleaf模板时报异常:template might not exist or might not be accessible by any of the configured Template Resolvers

    错误如下: template might not exist or might not be accessible by any of the configured Template Resolver ...

  7. Retrofit网络框架入门使用

    1.简单介绍 retrofit事实上就是对okhttp做了进一步一层封装优化. 我们仅仅须要通过简单的配置就能使用retrofit来进行网络请求了. Retrofit能够直接返回Bean对象,比如假设 ...

  8. PyQt5学习随笔01--计算一个目录里我们码的代码行数&amp;&amp;PyQt的多线程通信

    今天突然想知道自学习Python以来我一共码了多少行代码了,于是写了一个简单的程序: __author__ = 'jiangzhiheng' # coding=utf-8 from PyQt5.QtC ...

  9. UVA 11021 - Tribles(概率递推)

    UVA 11021 - Tribles 题目链接 题意:k个毛球,每一个毛球死后会产生i个毛球的概率为pi.问m天后,全部毛球都死亡的概率 思路:f[i]为一个毛球第i天死亡的概率.那么 f(i)=p ...

  10. ubuntu 关机命令

    ubuntu 关机命令 关机命令 shutdown ubuntu的终端中默认的是当前用户的命令,只是普通用户,因此在终端器中可以使用sudo -sh 转换到管理员root用户下执行命令. 1)shut ...