在安装JDK之前,请确认系统是32还是64,根据系统版本,选择JDK版本、Hadoop版本

下面是以在CentOS-6.5-x86_64系统上安装为例

  1. 安装前准备
    1. 在"/usr"下创建java目录,并cd到该目录,如下

    1. 确认防火墙关闭

    防火墙关闭后的效果如下

    具体操作,请查看"XX/XX/XX/ notes/防火墙.docx"

    1. 确认安装openssh-server、openssh-clients,具体操作,请参考"XX/XX/XX/notes/安全登录ssh.docx"文件
  2. JDK安装
    1. 上传JDK
      1. 使用rz命令,进行文件上传,效果如下图

        rz安装过程,请参考"XX/XX/XX/上传下载lrzsz"

        rz具体操作,请参考"XX/notes/command/上传下载rz、sz命令.docx"

    2. 解压"jdk-7u79-linux-x64.gz"
      1. 输入"tar -zxvf jdk-7u79-linux-x64.gz"命令进行解压,如下图

    1. 解压后的效果

    tar具体操作,请参考"XX/notes/command/打包tar命令.docx"

    1. 设置JDK环境变量
      1. 在"/etc/profile.d"下创建"java.sh"脚本来配置环境变量

    1. 通过source命令,使"java.sh"生效;使用java –version看看jdk是否安装成功,如下

    具体配置环境变量,请参考"XX\jdk\环境变量.docx"

  3. ip与hostname做关联
    1. 输入"ifconfig",查看系统ip

    建议改成静态ip,具体操作,请参考相应系统下的"通信配置.docx"

    1. 编辑hosts文件,如下

主机名是"ljc",效果如下

保存,退出

  1. 创建hadoop用户
    1. 创建hadoop用户组

    1. 创建hadoop用户

    1. 设置hadoop密码

  2. SSH配置
    1. 切换到hadoop用户

  1. 输入"ssh-keygen -t rsa",生成秘钥

  1. 进入到.ssh目录,使用"cp id_rsa.pub authorized_keys"命令,把公钥复制到认证文件(authorized_keys)中,如下所示

  1. 确保.ssh目录的权限是700(使用chmod 700 .ssh命令修改),确保authorized_key、id_rsa.pub文件的权限是600(使用chmod 600 authorized_keys id_rsa.pub命令修改),如下所示

  1. Hadoop环境配置
    1. 切换到"/usr/java"目录下,将准备好hadoop安装包"hadoop-2.2.0-x64.tar.gz"上传,如下所示

    1. 将"hadoop-2.2.0-x64.tar.gz"文件进行解压

    1. 将"hadoop-2.2.0"改为"hadoop",如下所示

    1. 使用chown命令,修改hadoop的权限,如下

    1. 创建hadoop数据目录并修改/data目录的所有人为hadoop、组为hadoop,如下所示

      /data/dfs/name:namenode的文件目录

      /data/dfs/data:datanode的文件目录

      /data/tmp:存放数据的公共目录

    2. 修改hadoop配置文件

      修改内容如下:

      1. core-site.xml

      1. hdfs-site.xml

      1. mapred-site.xml

    根据mapred-site.xml.template复制一份,并改名为mapred-site.xml

    1. yarn-site.xml

    1. slaves

    1. 设置hadoop环境变量
      1. 以root用户,编辑"/etc/profile",如下所示

    1. 在文件最后添加如下内容

    1. 保存,退出
    2. 使用source命令,使文件生效

    1. 测试运行
      1. 切换到hadoop用户下

      1. 格式化namenode,如下所示

      1. 启动集群,如下所示

      1. 查看集群启动情况,如下,说明集群启动成功

      1. 在window下,配置hostname与ip的对应关系,便于我们的访问

      修改"C:\Windows\System32\drivers\etc\hosts"文件,如下

      1. 输入http://ljc:50070/dfshealth.jsp,查看namenode、文件系统的状态

      2. 使用hadoop自带的WordCount程序来测试运行一下
        1. 创建测试文件ljc.txt,在当前目录下已给出
        2. 在hdfs上创建buaa目录,如下

        3. 将刚刚创建的ljc.txt上传到hdfs中的/buaa目录下,如下

        4. 打开http://ljc:8088/cluster/apps,动态查看作业运行情况

        5. 单击"RUNNING",发现没有正在运行的程序

        6. 输入"bin/hadoop -jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.2.0.jar wordcount /buaa/ljc.txt /buaa/wordcount-out",运行wordcount程序,如下所示

          单击"RUNNING",查看作业运行状态

          运行完成,单击"FINSHED",如下

          输入http://ljc:50070/dfshealth.jsp,查看运行结果

          单击"Browse the filesystem",打开如下界面

          单击"buaa",打开如下界面

          单击"wordcount-out",打开如下界面

          单击"part-r-00000",打开如下界面

          和我们从ljc.txt文件看出来的结果是一致的

如果,您认为阅读这篇博客让您有些收获,不妨点击一下右下角的【推荐】。
如果,您希望更容易地发现我的新博客,不妨点击一下左下角的【关注我】。
如果,您对我的博客所讲述的内容有兴趣,请继续关注我的后续博客,我是【刘超★ljc】。

本文版权归作者和博客园共有,欢迎转载,但未经作者同意必须保留此段声明,且在文章页面明显位置给出原文连接,否则保留追究法律责任的权利。

hadoop2.2 伪分布式环境的更多相关文章

  1. CentOS5.4 搭建Hadoop2.5.2伪分布式环境

    简介: Hadoop是处理大数据的主要工具,其核心部分是HDFS.MapReduce.为了学习的方便,我在虚拟机上搭建了一个伪分布式环境,来进行开发学习. 一.安装前准备: 1)linux服务器:Vm ...

  2. OS X Yosemite下安装Hadoop2.5.1伪分布式环境

    最近开始学习Hadoop,一直使用的是公司配好的环境.用了一段时间后发现对Hadoop还是一知半解,故决定动手在本机上安装一个供学习研究使用.正好自己用的是mac,所以没啥说的,直接安装. 总体流程 ...

  3. Hadoop2.5.0伪分布式环境搭建

    本章主要介绍下在Linux系统下的Hadoop2.5.0伪分布式环境搭建步骤.首先要搭建Hadoop伪分布式环境,需要完成一些前置依赖工作,包括创建用户.安装JDK.关闭防火墙等. 一.创建hadoo ...

  4. Ubuntu15.10下Hadoop2.6.0伪分布式环境安装配置及Hadoop Streaming的体验

    Ubuntu用的是Ubuntu15.10Beta2版本,正式的版本好像要到这个月的22号才发布.参考的资料主要是http://www.powerxing.com/install-hadoop-clus ...

  5. 在Win7虚拟机下搭建Hadoop2.6.0伪分布式环境

    近几年大数据越来越火热.由于工作需要以及个人兴趣,最近开始学习大数据相关技术.学习过程中的一些经验教训希望能通过博文沉淀下来,与网友分享讨论,作为个人备忘. 第一篇,在win7虚拟机下搭建hadoop ...

  6. Ubuntu 14.04 (32位)上搭建Hadoop 2.5.1单机和伪分布式环境

    引言 一直用的Ubuntu 32位系统(准备下次用Fedora,Ubuntu越来越不适合学习了),今天准备学习一下Hadoop,结果下载Apache官网上发布的最新的封装好的2.5.1版,配置完了根本 ...

  7. ubuntu + hadoop2.5.2分布式环境配置

    ubuntu + hadoop2.5.2分布式环境配置 我之前有详细写过hadoop-0.20.203.0rc1版本的环境搭建 hadoop学习笔记——环境搭建 http://www.cnblogs. ...

  8. 《OD大数据实战》Hadoop伪分布式环境搭建

    一.安装并配置Linux 8. 使用当前root用户创建文件夹,并给/opt/下的所有文件夹及文件赋予775权限,修改用户组为当前用户 mkdir -p /opt/modules mkdir -p / ...

  9. Hadoop 2.7 伪分布式环境搭建

    1.安装环境 ①.一台Linux CentOS6.7 系统 hostname                ipaddress              subnet mask             ...

随机推荐

  1. Make body have 100% of the browser height

    Try setting the height of the html element to 100% as well. html, body { height: 100%; } Body looks ...

  2. oracle 自动增长

    在SQLSERVER和MYSQL里面自动增长字段直接设置就可以.在ORACLE里面就复杂多了.特别是我这样的初学者,不过网络是最好的老师,看了很多相关介绍,本人使用的是使用触发器.具体如下: 首先要创 ...

  3. 学习Swift -- 泛型

    泛型 泛型代码可以让你写出根据自我需求定义.适用于任何类型的,灵活且可重用的函数和类型.它的可以让你避免重复的代码,用一种清晰和抽象的方式来表达代码的意图. 泛型所解决的问题 先来看一个交换两个int ...

  4. java子类实例初始化过程

    子类的实例化主要分为两个步骤: <1>.类相关静态内容 初始化: *先父类再子类:  1.父类的static属性:   2.父类的static块:   3.子类的static属性:   4 ...

  5. iOS:不同属性声明方式的解析

    代码: /* 属性声明方式说明: ----------------------- 1 @interface ... { id name } @end 这样声明的属性其实可以认为是private属性,因 ...

  6. 关于Java(常用数据类型)

    工作中,除非特殊需要,一般使用的数据类型较为单一. int int 是最常用的类型之一,一般能满足判断或循环的需求 float 或 double 两个浮点类型,可以在一定程度上确保数据的精度 BigD ...

  7. PhoneGap + Dreamweaver 5.5 无法在模拟器中打开的问题(二)

    转载:http://blog.csdn.net/dupang/article/details/8248335 按照网上的教程搭建Dreamweaver CS5.5+PhoneGap移动开发环境,在进行 ...

  8. this compilation unit is not on the build path of a java project

    在eclipse中新建maven project后,会自动生成main\test目录结构,新建一个测试类,然后编辑类文件时,总是提示错误:this compilation unit is not on ...

  9. FTP配置和用户设置权限

    http://www.cnblogs.com/xcxc/archive/2013/01/25/2876749.html ---------------------------------------- ...

  10. 关于C语言中用Keil软件制作Lib库文件的几点经验

    1.关于制止LIB库文件的几点经验 1. 一个工程如何生成lib文件: 2. 一个生成lib文件的工程可以调用这个工程中不存在的函数,只需要在.h文件中声明这些不存在函数的原型,然后在调用这个lib文 ...