前期准备:

1.系统基本形况:

ip hostname role server loginName
192.168.1.101 h1 NameNode,ResourceManager centos7_64 hwd
192.168.1.102 h2 DataNode, NodeManager centos7_64 hwd
192.168.1.103 h3 DataNode, NodeManager centos7_64 hwd

2.各个系统之间实现用自己的用户名ssh无密钥登陆

3.在各个机器上安装java

4.先在其中一台机器上解压hadoop

5.关闭各个机器的防火墙

6.在各个机器上配置环境变量,建议每台服务器上的java和hadoop放置位置都相同,如把java解压到:/usr/java/文件夹下,把hadoop解压到/home/hwd/文件夹下,这样可以方便操作。

注意:此时是,每台机器上都安装好了java环境,但只有一台电脑上有hadoop,但每台机器上都配置了这两个软件的环境变量,因为需要修改hadoop,修改好后再拷到其余机器上即可。

环境变量参考:

在~/.bashrc文件中添加以下配置:

export JAVA_HOME=/usr/java/jdk1.7.0_67
export HADOOP_DEV_HOME=/home/hwd/hadoop-2.4.1
export HADOOP_MAPARED_HOME=${HADOOP_DEV_HOME}
export HADOOP_COMMON_HOME=${HADOOP_DEV_HOME}
export HADOOP_HDFS_HOME=${HADOOP_DEV_HOME}
export YARN_HOME=${HADOOP_DEV_HOME}
export HADOOP_CONF_DIR=${HADOOP_DEV_HOME}/etc/hadoop
export HDFS_CONF_DIR=${HADOOP_DEV_HOME}/etc/hadoop
export YARN_CONF_DIR=${HADOOP_DEV_HOME}/etc/hadoop
export PATH=$PATH:$HADOOP_DEV_HOME/bin:$JAVA_HOME/bin:$HADOOP_DEV_HOME/sbin

#lixun64位的系统加上下面的环境变量,

#否则启动时会出现“name or service not known” Warning警告,

#请参考http://stackoverflow.com/questions/21326274/hadoop-2-2-0-name-or-service-not-known-warning

export HADOOP_COMMON_LIB_NATIVE_DIR=${HADOOP_DEV_HOME}/lib/native
 export HADOOP_OPTS="-Djava.library.path=${HADOOP_DEV_HOME}/lib"

配置完成后,执行source ~/.bashrc命令(也可以修改文件/etc/profile)

对hadoop的修改如下其中修改文件的位置在$hadoop2.4.1/etc/hadoop文件夹下:

1.修改文件$hadoop2.4.1/etc/hadoop/hadoop-env.sh文件:

export JAVA_HOME=/usr/java/jdk1.7.0_67

2.配置core-site.xml文件,设置namenode的服务器位置。

3.修改hdfs-site.xml文件,建议dfs.data.dir的路径设置成自己用户目录下的一个位置,这样可以在运行hadoop时避免修改该位置的权限。

dfs.data.dir : Determines where on the local filesystem an DFS data node should store its blocks

dfs.replication : Default block replication. The actual number of replications can be specified when the file is created. The default is used if replication is not specified in create time.

<configuration>
  <property>
    <name>dfs.data.dir</name>
    <value>/home/hwd/data</value>
<!--数据节点存储块的目录的列表-->
  </property>
  <property>
    <name>dfs.replication</name>
    <value>2</value>
</property>

4.修改mapred-site.xml文件(该文件不存在,执行cp mapred-site.xml.template mapred-site.xml命令,从mapred-site.xml.template复制一份),修改文件内容为:

 <configuration>
  <property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
  </property>
</configuration>

5.修改文件yarn-site.xml,修改后的内容为:

 <configuration>
<!-- Site specific YARN configuration properties -->
<property>
<name>yarn.resourcemanager.hostname</name>
<value>h1</value>
</property> <property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property> </configuration>

6.修改文件slaves,修改后的内容为:

7.至此,文件就修改好了,然后修改后的hadoop拷到各个服务器上。

用命令可以很方便的进行操作:

scp -r /home/hwd/hadoop-2.4.1 h2:/home/hwd

scp -r /home/hwd/hadoop-2.4.1 h3:/home/hwd

8.启动hadoop

1).  在h1服务器上运行命令:

hdfs namenode -format     //格式化namenode

start-dfs.sh       //启动hdfs系统

此时,用jps命令查看java运行的java进程如下(此时如果没错误的话,在namenode节点上启动的进程有:NameNode ,SecondaryNameNode):

此时,查看datanode节点上的java进程如下:

2).运行命令:start-yarn.sh

此时namenode节点的java进程为:

此时datanode节点上的java进程为:

9.至此分布式的hadoop测试环境就搭好了。

结束语:

期间可能没有这么顺利,如果启动后各个节点的进程缺少,请查看各个节点的日志信息,来排除错误。

如:我的hadoop启动日志信息位置如下图所示(在启动过程中会在控制台显示日志文件的位置):

在该信息中,如果在您的namenode节点中namenode进程没启动起来,则进入h1节点,查看对应的.log文件,来排除错误

datanode节点同理去datanode节点服务器上查看对应的.log文件。

关闭hadloop分别运行命令:

stop-dfs.sh

stop-yarn.sh

参考:http://www.ibm.com/developerworks/cn/opensource/os-cn-hadoop-yarn/

搭建hadoop2.4.1的更多相关文章

  1. 32位Ubuntu12.04搭建Hadoop2.5.1完全分布式环境

    准备工作 1.准备安装环境: 4台PC,均安装32位Ubuntu12.04操作系统,统一用户名和密码 交换机1台 网线5根,4根分别用于PC与交换机相连,1根网线连接交换机和实验室网口 2.使用ifc ...

  2. 搭建Hadoop2.7.1的分布式集群

    Hadoop 2.7.1 (2015-7-6更新),hadoop的环境配置不是特别的复杂,但是确实有很多细节需要注意,不然会造成许多配置错误的情况.尽量保证一次配置正确防止反复修改. 网上教程有很多关 ...

  3. 搭建Hadoop2.6.0+Spark1.1.0集群环境

    前几篇文章主要介绍了单机模式的hadoop和spark的安装和配置,方便开发和调试.本文主要介绍,真正集群环境下hadoop和spark的安装和使用. 1. 环境准备 集群有三台机器: master: ...

  4. ubuntu14.04搭建Hadoop2.9.0集群(分布式)环境

    本文进行操作的虚拟机是在伪分布式配置的基础上进行的,具体配置本文不再赘述,请参考本人博文:ubuntu14.04搭建Hadoop2.9.0伪分布式环境 本文主要参考 给力星的博文——Hadoop集群安 ...

  5. 在Win7虚拟机下搭建Hadoop2.6.0+Spark1.4.0单机环境

    Hadoop的安装和配置可以参考我之前的文章:在Win7虚拟机下搭建Hadoop2.6.0伪分布式环境. 本篇介绍如何在Hadoop2.6.0基础上搭建spark1.4.0单机环境. 1. 软件准备 ...

  6. 在Win7虚拟机下搭建Hadoop2.6.0伪分布式环境

    近几年大数据越来越火热.由于工作需要以及个人兴趣,最近开始学习大数据相关技术.学习过程中的一些经验教训希望能通过博文沉淀下来,与网友分享讨论,作为个人备忘. 第一篇,在win7虚拟机下搭建hadoop ...

  7. # 从零開始搭建Hadoop2.7.1的分布式集群

    Hadoop 2.7.1 (2015-7-6更新),Hadoop的环境配置不是特别的复杂,可是确实有非常多细节须要注意.不然会造成很多配置错误的情况.尽量保证一次配置正确防止重复改动. 网上教程有非常 ...

  8. 64bit Centos6.4搭建hadoop-2.5.1

    64bit Centos6.4搭建hadoop-2.5.1 1.分布式环境搭建 採用4台安装Linux环境的机器来构建一个小规模的分布式集群. 当中有一台机器是Master节点,即名称节点,另外三台是 ...

  9. centos7搭建hadoop2.10高可用(HA)

    本篇介绍在centos7中搭建hadoop2.10高可用集群,首先准备6台机器:2台nn(namenode);4台dn(datanode):3台jns(journalnodes) IP hostnam ...

  10. centos7搭建hadoop2.10完全分布式

    本篇介绍在centos7中大家hadoop2.10完全分布式,首先准备4台机器:1台nn(namenode);3台dn(datanode) IP hostname 进程 192.168.30.141 ...

随机推荐

  1. 在eclipse中xml文件注释的快捷键

    在eclipse中xml文件注释的快捷键 注释:Ctrl+Shift+/ 取消注释:Ctrl+Shift+\

  2. 内网监控zabbix

    告警 告警方式:linkedsee 类型:使用脚本linkedsee.sh [root@zabbix-server ~]# cat linkedsee.sh #! /bin/bash SERVICE_ ...

  3. flex布局详解

    1.背景介绍 传统的布局解决方案,基于盒状模型,依赖 display 属性 + position属性 + float属性.它对于那些特殊布局非常不方便,比如,垂直居中就不容易实现. 2009年,W3C ...

  4. 利用swoole coroutine协程实现redis异步操作

    <?php #注意:如果不开启兼容模式,会遇到这样的现象,用swoole协程的方法访问常规方法添加到redis中的数据,可能访问不到(直接返回NULL)!这可能是两者采用了不同的技术标准所致! ...

  5. java.util.Queue

    转载于:https://www.runoob.com/java/data-queue.html 队列是一种特殊的线性表,它只允许在表的前端进行删除操作,而在表的后端进行插入操作. LinkedList ...

  6. triggerHandler(type, [data])

    triggerHandler(type, [data]) 概述 这个特别的方法将会触发指定的事件类型上所有绑定的处理函数.但不会执行浏览器默认动作,也不会产生事件冒泡. 大理石平台价格 这个方法的行为 ...

  7. HGOI 20191106 题解

    Problem A  旅行者 有$n$种转移装置,每种转移装置本质相同,每种装置可以前进$a_i$单位,但只有$b_i$个. 从初始坐标为$0$出发,途中不能经过$c_1,c2,...,c_m$中的任 ...

  8. AGC029C - Lexicographic constraints

    记录我心路历程吧,这道小水题暴露出我很多问题. 给定 \(n\) 个字符串长度 \(a_i\) ,求字符集最小多大,才能构造出按字典序比较 \(s_1 < s_2 < \dots < ...

  9. node中的stream(流)内置模块

    stream是Node.js提供的又一个仅在服务区端可用的模块,目的是支持“流”这种数据结构. 什么是流?流是一种抽象的数据结构.想象水流,当在水管中流动时,就可以从某个地方(例如自来水厂)源源不断地 ...

  10. sscanf简介

    #include<cstdio> #include<cstring> using namespace std; int main() { ]; //用法一:取指定长度的字符串 ...