Hadoop多节点集群规划

服务起名称 内网IP HDFS YARN
master 192.168.1.155 NameNode ResourceManager
slave1 192.168.1.116 DataNode NodeManager
slave2 192.168.1.117 DataNode NodeManager
slave3 192.168.1.118 DataNode NodeManager

1. Slave1机器配置
    1.1 以单机Hadoop镜像为模板克隆出一个虚拟机, 修改固定IP及MAC地址(修改/etc/sysconfig/network-scripts/ifcfg-ens33)

    DEVICE="ens33"
        HWADDR="00:0C:29:30:BB:7E"
    Type="Ethernet"
    BOOTPROTO="static"
    IPADDR=192.168.1.156
    GATEWAY=192.168.1.1
    NETMASK=255.255.255.0
    ONBOOT="yes"
    1.2 修改机器名为Slave1(/etc/hostname)
    1.3 修改机器名及ip映射(/etc/hosts),同时将127.0.0.1映射到slave1

192.168.1.155 master
      192.168.1.156 slave1
      192.168.1.157 slave2
      192.168.1.157 slave3

1.4 编辑/usr/local/hadoop/etc/hadoop/core-site.xml,设置fs.defaultFS值为hdfs://master:9000
    1.5 编辑.../..../yarn-site.xml,添加额外的3个property(nodemanager->resourcemanager,  application-master->resourcemanager, client->resourcemanager)

      <property>
       <name>yarn.resourcemanager.resource-tracker.address</name>
       <value>master:8025</value>
    </property>
         <property>
       <name>yarn.resourcemanager.scheduler.address</name>
         <value>master:8030</value>
      </property>
      <property>
        <name>yarn.resourcemanager.address</name>
        <value>master:8050</value>
      </property>
    1.6 编辑mapred-site.xml,添加

<property>
              <name>mapred.job.tracker</name>
       <value>master:54331</value>
      </property>
    1.7 编辑hdfs-site.xml, slave1为datanode,所以设置data dir

<property>
        <name>dfs.datanode.data.dir</name>
        <value>file:/usr/local/hadoop/hadoop_data/hdfs/datanode</value>
      </property>

2. Slave2机器配置
    2.1 以Slave1机器为模板,复制出新的VM,然后修改固定IP及MAC

   DEVICE="ens33"
         HWADDR="00:0C:29:51:C4:45"
     Type="Ethernet"
     BOOTPROTO="static"
     PADDR=192.168.1.157
     GATEWAY=192.168.1.1
     NETMASK=255.255.255.0
     ONBOOT="yes"

2.2 修改机器名为Slave2(/etc/hostname)

2.3 修改/etc/hosts,将127.0.0.1映射到slave2

3. Slave3机器配置
    3.1 以Slave1机器为模板,复制出新的VM,然后修改固定IP及MAC

     DEVICE="ens33"
     HWADDR="00:0C:29:BE:C6:0C"
     Type="Ethernet"
     BOOTPROTO="static"
     IPADDR=192.168.1.158
     GATEWAY=192.168.1.1
     NETMASK=255.255.255.0
     ONBOOT="yes"

3.2 修改机器名为Slave3(/etc/hostname)

3.3 修改/etc/hosts,将127.0.0.1映射到slave3

4. Master机器配置
    4.1 设置hdfs-site.xml, Master为NameNode, 指定name dir

      <property>
        <name>dfs.namenode.name.dir</name>
        <value>file:/usr/local/hadoop/hadoop_data/hdfs/namenode</value>
      </property>

4.4 设置yarn-site.xml

   <property>
     <name>yarn.resourcemanager.resource-tracker.address</name>
     <value>master:8025</value>
     </property>
     <property>
       <name>yarn.resourcemanager.scheduler.address</name>
       <value>master:8030</value>
   </property>
     <property>
       <name>yarn.resourcemanager.address</name>
         <value>master:8050</value>
   </property>

4.3 编辑masters(/usr/local/hadoop/etc/hadoop/masters), 内容为master
    4.4 编辑slaves(/usr/local/hadoop/etc/hadoop/slaves,内容为
          slave1
          slave2
          slave3
    4.5 ssh到3台slaves机器,创建datanode目录/usr/local/hadoop/hadoop_data/hdfs/datanode
    4.6 master机器上创建namenode目录/usr/local/hadoop/hadoop_data/hdfs/namenode
    4.7 格式化NameNode HDFS目录(hdfs namenode -format), 注意:首次格式化时使用
    4.8 启动多节点Hadoop Cluster
          start-dfs.sh
          start-yarn.sh
    4.9 查看ResourceManager Web界面(http://master:8088)及NameNode Web界面(http://master:50070)
    4.10 关闭多节点Hadoop Cluster
          stop-dfs.sh
          stop-yarn.sh

其他:删除多余内网ip命令ip addr del 192.168.1.105/24 dev ens33

Hadoop多节点Cluster的更多相关文章

  1. Hadoop添加节点datanode(生产环境)

    Hadoop添加节点datanode 博客分类: hadoop HadoopSSHJDKXML工作  1.部署hadoop    和普通的datanode一样.安装jdk,ssh  2.修改host  ...

  2. 实验-hadoop新增节点

    关于hadoop新增节点网上的说法都有些差别,自己来实践一把 1.建立一个namenode一个datanode的集群 master:192.168.126.130 slave1:192.168.126 ...

  3. Hadoop Datanode节点无法启动(All directories in dfs.data.dir are invalid)

    Hadoop Datanode节点无法启动(All directories in dfs.data.dir are invalid) java.io.IOException: All director ...

  4. 一、hadoop单节点安装测试

    一.hadoop简介 相信你或多或少都听过hadoop这个名字,hadoop是一个开源的.分布式软件平台.它主要解决了分布式存储(hdfs)和分布式计算(mapReduce)两个大数据的痛点问题,在h ...

  5. 当Hadoop 启动节点Datanode失败解决

    Hadoop 启动节点Datanode失败解决 [日期:2014-11-01] 来源:Linux社区  作者:shuideyidi [字体:大 中 小] 当我动态添加一个Hadoop从节点的之后,出现 ...

  6. 【Hadoop】Hadoop DataNode节点超时时间设置

    hadoop datanode节点超时时间设置 datanode进程死亡或者网络故障造成datanode无法与namenode通信,namenode不会立即把该节点判定为死亡,要经过一段时间,这段时间 ...

  7. 【大数据系列】hadoop单节点安装官方文档翻译

    Hadoop: Setting up a Single Node Cluster. HADOOP:建立单节点集群 Purpose Prerequisites Supported Platforms R ...

  8. Hadoop多节点集群安装配置

    目录: 1.集群部署介绍 1.1 Hadoop简介 1.2 环境说明 1.3 环境配置 1.4 所需软件 2.SSH无密码验证配置 2.1 SSH基本原理和用法 2.2 配置Master无密码登录所有 ...

  9. 一步步教你Hadoop多节点集群安装配置

    1.集群部署介绍 1.1 Hadoop简介 Hadoop是Apache软件基金会旗下的一个开源分布式计算平台.以Hadoop分布式文件系统HDFS(Hadoop Distributed Filesys ...

随机推荐

  1. 01派【北京大学ACM/ICPC竞赛训练暑期课】

    01:派 总时间限制:  1000ms 内存限制:  65536kB 描述 我的生日要到了!根据习俗,我需要将一些派分给大家.我有N个不同口味.不同大小的派.有F个朋友会来参加我的派对,每个人会拿到一 ...

  2. scrapy——7 scrapy-redis分布式爬虫,用药助手实战,Boss直聘实战,阿布云代理设置

    scrapy——7 什么是scrapy-redis 怎么安装scrapy-redis scrapy-redis常用配置文件 scrapy-redis键名介绍 实战-利用scrapy-redis分布式爬 ...

  3. bupt summer training for 16 #4 ——数论

    https://vjudge.net/contest/173277#overview A.平方差公式后变为 n = (x + y)(x - y) 令 t = x - y ,变成 n = (t + 2x ...

  4. (39.2). Spring Boot Shiro权限管理【从零开始学Spring Boot】

    (本节提供源代码,在最下面可以下载) (4). 集成Shiro 进行用户授权 在看此小节前,您可能需要先看: http://412887952-qq-com.iteye.com/blog/229973 ...

  5. [bzoj2467][中山市选2010]生成树_快速幂

    生成树 bzoj-2467 中山市选2010 题目大意:题目链接 注释:略. 想法:首先,考虑生成树的性质.每两个点之间有且只有一条路径.我们将每个五边形的5条边分为外面的4条边和内部的一条边,在此简 ...

  6. [bzoj2802][Poi2012]Warehouse Store_贪心_堆

    Warehouse Store bzoj-2802 Poi-2012 题目大意:一家商店的连续n天内,每一天会进货$a_i$个,有且只有一个客人回来买$b_i$个,问至多满足多少人. 注释:$1\le ...

  7. Spring MVC-表单(Form)标签-文件上传(File Upload)示例(转载实践)

    以下内容翻译自:https://www.tutorialspoint.com/springmvc/springmvc_upload.htm 说明:示例基于Spring MVC 4.1.6. 以下示例显 ...

  8. Windows超级卸载工具Total Uninstaller,能完全卸载.NET Framework

    https://github.com/tsasioglu/Total-Uninstaller

  9. SharePoint 2013:解决添加域名后每次都需要登录的问题

    在SharePoint 2013中,当我们添加一个域名给SP后(添加域名的方法请参考此文:http://www.cnblogs.com/jianyus/archive/2013/08/10/32494 ...

  10. PHP5+标准函数库观察者之实现

    PHP的观察者设计模式实现相对简单,可是PHP5+版本号中已经有标准库类库支持,我们仅仅需简单继承并实现就能够了. 观察者:实现标准接口类库SplSubject. 一个注冊方法:attach.一个取消 ...