一、准备虚拟环境

  1. 虚拟环境网络设置

A、安装VMware软件并安装linux环境,本人安装的是CentOS

B、安装好虚拟机后,打开网络和共享中心 -> 更改适配器设置 -> 右键VMnet8 -> 属性。设置IPv4,设置如下:

    

C、在创建好的虚拟机上点击网络设置,选择自定义并设置成“VMnet8(NAT)”如下图所示:

    

D、修改VMware软件网络设置,设置方式如下所示:

    

  2.  修改主机名

命令:vi /etc/sysconfig/network

将内容修改为

  NETWORKING=yes
  HOSTNAME=hadoop1-#hostname为主机名,可根据情况修改

  3. 修改IP地址

    修改配置文件:

    vi /etc/sysconfig/network-scripts/ifcfg-eth0

    修改其中

    IPADDR=192.168.2.110(具体IP地址根据情况修改)

  4.防火墙

    将防火墙关闭或者将需要对外的端口加到防火墙中,常用的防火墙命令:

    #查看防火墙状态
    service iptables status
    #关闭防火墙
    service iptables stop
    #查看防火墙开机启动状态
    chkconfig iptables --list
    #关闭防火墙开机启动
    chkconfig iptables off

    设置完成后需要重启linux,命令:reboot

  5.linux设置无密钥登录

    之前对无密钥登录专门做过讲解,有兴趣的同学可以参考:Linux配置SSH免登陆

二、安装JDK

  1.上传jdk软件包并解压

    创建文件夹:mkdir /home/hadoop/app

    解压:tar xf jdk-7u55-linux-i586.tar.gz -C /home/hadoop/app

  2.将java添加到环境变量中

  vim /etc/profile
  #在文件最后添加
  export JAVA_HOME=/home/hadoop/app/jdk-7u_65-i585
  export PATH=$PATH:$JAVA_HOME/bin

  3.刷新环境变量配置

  source /etc/profile

三、 安装hadoop2.4.1

  1、上传安装包并解压

    上传hadoop的安装包到服务器上去/home/hadoop/并解压,

    解压命令:tar xf hadoop-2.4.1.tar.gz -C /home/hadoop/app/

  2、配置hadoop配置文件,伪分布式需要修改5个配置文件

A、hadoop-env.sh,修改JAVA_HOME路径

  vim hadoop-env.sh
  export JAVA_HOME=/usr/java/jdk1..0_65

B、core-site.xml

<!-- 指定HADOOP所使用的文件系统URI,NameNode的地址 -->
<property>
<name>fs.defaultFS</name>
<value>hdfs://192.168.2.170:9000</value>
</property>
<!-- 指定hadoop运行时产生文件的存储目录 -->
<property>
<name>hadoop.tmp.dir</name>
<value>/home/hadoop/hadoop-2.4./tmp</value>
</property>

C、hdfs-site.xml

<configuration>
<!-- 指定HDFS副本的数量 -->
<property>
<name>dfs.replication</name>
<value></value>
</property>
</configuration>

D、mapred-site.xml

    hadoop安装路径中配置文件叫mapred-site.xml.template,需要将其修改成mapred-site.xml。

修改文件名命令:

mv mapred-site.xml.template mapred-site.xml

    将配置文件内容修改如下:

<configuration>
<!-- 指定mr框架为yarn方式 -->
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>

E、yarn-site.xml

<configuration>
<!-- 指定YARN的ResourceManager地址 -->
<property>
<name>yarn.resourcemanager.hostname</name>
<value>192.168.2.170</value>
</property>
<!-- reducer获取数据的方式 -->
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
</configuration>

  3、将hadoop添加到环境变量

  vim /etc/proflie
  export JAVA_HOME=/usr/java/jdk1..0_65
  export HADOOP_HOME=/itcast/hadoop-2.4.
  export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

    修改完成之后刷新环境变量配置文件:source /etc/profile

  4、初始化namenode

    初始化命令:

  hdfs namenode -format

  5、启动hadoop

  #先启动HDFS
  start-dfs.sh
  #再启动YARN
  start-yarn.sh 

  6、验证是否启动成功

    a、使用jps命令验证

  5983 Jps
   NameNode
   ResourceManager
   DataNode
   NodeManager
   SecondaryNameNode

    b、登陆管理

      HDFS管理界面:http://192.168.2.170:50070

    

      MR管理界面:http://192.168.2.170:8088

    

    c、简单hadoop命令测试

  [hadoop@hadoop1- hadoop]$ hadoop fs -mkdir /test
  [hadoop@hadoop1- hadoop]$ hadoop fs -ls /
  Found items
  drwxr-xr-x - hadoop supergroup -- : /test

Hadoop学习2—伪分布式环境搭建的更多相关文章

  1. Hadoop学习笔记(3)——分布式环境搭建

    Hadoop学习笔记(3) ——分布式环境搭建 前面,我们已经在单机上把Hadoop运行起来了,但我们知道Hadoop支持分布式的,而它的优点就是在分布上突出的,所以我们得搭个环境模拟一下. 在这里, ...

  2. Hadoop 2.7 伪分布式环境搭建

    1.安装环境 ①.一台Linux CentOS6.7 系统 hostname                ipaddress              subnet mask             ...

  3. Hadoop学习笔记1:伪分布式环境搭建

    在搭建Hadoop环境之前,请先阅读如下博文,把搭建Hadoop环境之前的准备工作做好,博文如下: 1.CentOS 6.7下安装JDK , 地址: http://blog.csdn.net/yule ...

  4. 【Hadoop】伪分布式环境搭建、验证

    Hadoop伪分布式环境搭建: 自动部署脚本: #!/bin/bash set -eux export APP_PATH=/opt/applications export APP_NAME=Ares ...

  5. 大数据:Hadoop(JDK安装、HDFS伪分布式环境搭建、HDFS 的shell操作)

    所有的内容都来源与 Hadoop 官方文档 一.Hadoop 伪分布式安装步骤 1)JDK安装 解压:tar -zxvf jdk-7u79-linux-x64.tar.gz -C ~/app 添加到系 ...

  6. 【Hadoop离线基础总结】CDH版本Hadoop 伪分布式环境搭建

    CDH版本Hadoop 伪分布式环境搭建 服务规划 步骤 第一步:上传压缩包并解压 cd /export/softwares/ tar -zxvf hadoop-2.6.0-cdh5.14.0.tar ...

  7. CentOS7下Hadoop伪分布式环境搭建

    CentOS7下Hadoop伪分布式环境搭建 前期准备 1.配置hostname(可选,了解) 在CentOS中,有三种定义的主机名:静态的(static),瞬态的(transient),和灵活的(p ...

  8. Hadoop2.5.0伪分布式环境搭建

    本章主要介绍下在Linux系统下的Hadoop2.5.0伪分布式环境搭建步骤.首先要搭建Hadoop伪分布式环境,需要完成一些前置依赖工作,包括创建用户.安装JDK.关闭防火墙等. 一.创建hadoo ...

  9. hive-2.2.0 伪分布式环境搭建

    一,实验环境: 1, ubuntu server 16.04 2, jdk,1.8 3, hadoop 2.7.4 伪分布式环境或者集群模式 4, apache-hive-2.2.0-bin.tar. ...

随机推荐

  1. 三、ZigBee无线网络工具

    CC2530概述 CC2530是德州仪器Ti公司用于2.4-GHz IEEE 802.15.4.ZigBee 和 RF4CE 应用的一个真正的片上系统(SoC)解决方案,是作为ZigBee无线传 感网 ...

  2. 正则表达式过滤url请求

    过滤url中带reset的url请求 atgBusSignFilter.setSignUriRegex("^.*/reset/.*$")等价于 atgBusSignFilter.s ...

  3. JS高级---函数作为参数使用

    函数作为参数使用 var arr = [1, 100, 20, 200, 40, 50, 120, 10]; //排序 arr.sort(); console.log(arr); 排序---函数作为参 ...

  4. AcWing 831. KMP字符串

    #include <iostream> using namespace std; , M = ; int n, m; int ne[N];//ne[i] : 以i为结尾的部分匹配的值 ch ...

  5. 2.8 (显示、隐式、线程休眠) selenium 等待方式 ❀

    http://blog.csdn.net/pf20050904/article/details/20052485 http://www.cnblogs.com/hellokitty1/p/629584 ...

  6. java中一个类中的 this. 是什么作用

    2)this代表的是本类的实例对象,不是什么调用本类的方法的对象.当你用new创建一个对象的时候,对象就已经在内存了.(具体的你的血jvm和反射).构造方法只是为了给对象里的属性赋值.在类里任何地方出 ...

  7. IntelliJ IDEA 2017.3尚硅谷-----显示行号和方法分隔符

  8. 关于Sublime如何配置C++环境的问题

    前言 传说sublime是全球最好的编辑器,可是只是编辑器啊!!!如果要运行,对于我们这些蒟蒻来说,不得不去使用DEV_C++.我们总是幻想能让sublime变成一个轻量级IDE,那该多好啊!!! 那 ...

  9. argument

    js中arguments的用法   了解arguments这个对象之前先来认识一下javascript的一些功能: 其实Javascript并没有重载函数的功能,但是Arguments对象能够模拟重载 ...

  10. 快递查询API

    https://market.aliyun.com/products/56928004/cmapi014394.html#sku=yuncode839400000