1.给普通用户设置sudo权限

  编辑:[root@life-hadoop /]# nano /etc/sudoers

  在文件头部加入:yanglin ALL=(root)NOPASSWD:ALL 保存退出接口

  

2.配置主机映射

  1.修改主机名称 /etc/sysconfig/network

    

  2.在/etc/hosts下添加映射

    [yanglin@life-hadoop /]$ nano /etc/hosts

    192.168.0.193   life-hadoop.life.com    life-hadoop

    

  3.用管理员身份修改C:\windows\System32\drivers\etc\hosts 添加

    192.168.0.193    life-hadoop.life.com

3.配置jdk

  1.使用[root@life-hadoop modules]# rpm -qa|grep java  查找默认安装的jdk

  2.使用[root@life-hadoop modules]# rpm -e --nodeps java-1.6.0-openjdk-1.6.0.0-1.50.1.11.5.el6_3.x86_64 tzdata-java-2012j-1.el6.noarch java-1.7.0-openjdk-    1.7.0.9-2.3.4.1.el6_3.x86_64  删除默认安装的jdk

  3.使用[yanglin@life-hadoop softwares]$ tar -zxf jdk-7u67-linux-x64.tar.gz -C /opt/modules/ 将jdk解压到/opt/modules目录下

  4.使用[yanglin@life-hadoop softwares]$ sudo nano /etc/profile 尾部添加

    export JAVA_HOME=/opt/modules/jdk1.7.0_67
    export PATH=$PATH:$JAVA_HOME/bin

  5.[yanglin@life-hadoop softwares]$ source /etc/profile
    [yanglin@life-hadoop softwares]$ echo $JAVA_HOME
    /opt/modules/jdk1.7.0_67/bin

4.搭建hadoop伪分布式

  1.使用[yanglin@life-hadoop softwares]$ tar -zxf hadoop-2.5.0.tar.gz -C /opt/modules/ 将hadoop解压到/opt/modules目录下

  2.在hadoop的根目录下创建input目录 ,并将etc/hadoop/目录下所有的xml文件复制到input目录下

    [yanglin@life-hadoop hadoop-2.5.0]$ mkdir input

    [yanglin@life-hadoop hadoop-2.5.0]$ cp etc/hadoop/*.xml input

  3.运行

    [yanglin@life-hadoop hadoop-2.5.0]$ bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.5.0.jar grep input output 'dfs[a-z.]+'

    如果出现一下信息表示配置hadoop成功

      

    1.运行wordcount案例

      创建wcinput目录,并在该目录中创建wc.input文件,在该文件中输入一下内容

        hadoop yarn
        hadoop mapreduce
        hadoop hdfs
        yarn nodemanager
        hadoop resourcemanager

      使用命令

        [yanglin@life-hadoop hadoop-2.5.0]$ bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.5.0.jar wordcount wcinput wcoutput

      可以统计出给目录下各个单词出现个次数

         

        

        

      

    

    

hadoop2.0初识1.0的更多相关文章

  1. hadoop2.2.0 + hbase 0.94 + hive 0.12 配置记录

    一开始用hadoop2.2.0 + hbase 0.96 + hive 0.12 ,基本全部都配好了.只有在hive中查询hbase的表出错.以直报如下错误: java.io.IOException: ...

  2. hadoop-2.0.0-mr1-cdh4.2.0源码编译总结

    准备编译hadoop-2.0.0-mr1-cdh4.2.0的同学们要谨慎了.首先看一下这篇文章: Hadoop作业提交多种方案 http://www.blogjava.net/dragonHadoop ...

  3. Hadoop2.0.0+CDH4.5.0集群配置

    Hadoop 2.0.0-cdh4.5.0安装:http://blog.csdn.net/u010967382/article/details/18402217 CDH版本下载:http://arch ...

  4. 初识http2.0

    初识http2.0 HTTP2.0性能增强的核心:二进制分帧 HTTP 2.0最大的特点: 不会改动HTTP 的语义,HTTP 方法.状态码.URI 及首部字段,等等这些核心概念上一如往常,却能致力于 ...

  5. 搭建Hadoop2.6.0+Spark1.1.0集群环境

    前几篇文章主要介绍了单机模式的hadoop和spark的安装和配置,方便开发和调试.本文主要介绍,真正集群环境下hadoop和spark的安装和使用. 1. 环境准备 集群有三台机器: master: ...

  6. hadoop-2.0.0-cdh4.6.0 安装

    1.创建hadoop用户[所有操作都是root,在所有master和slaver上]1).创建hadoop用户:adduser hadoop2).更换密码:passwd hadoop========= ...

  7. spark编译安装 spark 2.1.0 hadoop2.6.0-cdh5.7.0

    1.准备: centos 6.5 jdk 1.7 Java SE安装包下载地址:http://www.oracle.com/technetwork/java/javase/downloads/java ...

  8. 在Win7虚拟机下搭建Hadoop2.6.0+Spark1.4.0单机环境

    Hadoop的安装和配置可以参考我之前的文章:在Win7虚拟机下搭建Hadoop2.6.0伪分布式环境. 本篇介绍如何在Hadoop2.6.0基础上搭建spark1.4.0单机环境. 1. 软件准备 ...

  9. hadoop-2.3.0-cdh5.1.0完全分布式搭建(基于centos)

    先参考:<hadoop-2.3.0-cdh5.1.0伪分布安装(基于centos)> http://blog.csdn.net/jameshadoop/article/details/39 ...

随机推荐

  1. mysql维护常用命令

    mysql一个字段的值是将其他字段的被容链接一块 UPDATE `tablename` SET 字段1=CONCAT(字段2," ",字段3," ",字段4) ...

  2. # 20145334赵文豪 《Java程序设计》第5周学习总结

    20145334赵文豪 <Java程序设计>第5周学习总结 教材学习内容总结 第八章 1.使用try.catch打包System.in.read(),声明throws java.io.IO ...

  3. CentOS下搭建nginx+php环境

    一.下载安装nginx 参见 http://www.cnblogs.com/kreo/p/4378086.html 不再赘述 二.下载php #下载 wget http://bg2.php.net/d ...

  4. JSON 数组的遍历解析

    刚遇到一个接接口任务,发现其中返回数据中,是个字符串数组,数组中就是单个json形式的内容,其实应该也可以称这种数据叫做json数组吧,只不过是字符串形式.而我需要的是将这种内容解析出来,取到对于ke ...

  5. Python开发【第六章】:Python面向对象

    编程范式 编程是程序员用特定的语法+数据结构+算法组成的代码来告诉计算机如何执行任务的过程,一个程序是程序员为了得到一个任务结果而编写的一组指令的集合,正所谓条条大路通罗马,实现一个任务的方式有很多种 ...

  6. svn的差异查看器和合并工具换成BCompare.exe

    svn的差异查看器和合并工具换成BCompare.exe

  7. chrome浏览器不允许记忆登录账户的方法

    autocomplete方法 https://developer.mozilla.org/en-US/docs/Web/Security/Securing_your_site/Turning_off_ ...

  8. Linux下使用shell实现上传linux下某个目录下所有文件到ftp

    首先我们需要搞清楚单个文件怎么上传,把这个单文件上传到ftp上的实现命名为一个:upload_to_ftp_command.sh 之后,需要弄清楚怎么实现遍历一个目录下的所有文件的,把这个遍历某个目录 ...

  9. C# App.config文件配置数据的读写

    添加程序集引用  System.configuration.dll 和命名空间 using System.Configuration; 读: ConfigurationManager.AppSetti ...

  10. GDB调试多线程

    先介绍一下GDB多线程调试的基本命令. info threads 显示当前可调试的所有线程,每个线程会有一个GDB为其分配的ID,后面操作线程的时候会用到这个ID. 前面有*的是当前调试的线程. th ...