完整安装过程参考:http://www.cnblogs.com/shishanyuan/p/4147580.html

一、环境准备
   
1、安装linux、jdk
     
2、下载hadoop2.6.0,并解压

二、安装

1、安装jdk

下载jdk,最好使用较新版本,最低不能低于jdk1.6

解压 :tar  -zxvf  jdk-7u40-linux-i586.tar.gz

配置环境:

添加JAVA_HOME,CLASSPATH环境变量:

使用vi /etc/profile命令编辑profile文件,在文件末尾加上以下内容:

export JAVA_HOME=/usr/lib/jvm/jdk1.6.0_74    {jdk安装目录}
          export CLASSPATH=.:$JAVA_HOME/lib:$JAVA_HOME/jre/lib:$CLASSPATH
          export PATH=$JAVA_HOME/bin:JAVA_HOME/jre/bin:$PATH
          然后保存退出,运行 source /etc/profile  使配置生效
          最后测试 java -version

出现上图情况,配置成功

三丶hadoop的有关配置

修改hadoop文件权限

chown  -hR  +普通用户名  /usr/hadoop

配置环境:

使用vi /etc/profile命令编辑profile文件,在文件末尾加上以下内容:

export HADOOP_PREFIX=/opt/hadoop-1.2.1
        export PATH=$PATH:$HADOOP_PREFIX/bin
        export HADOOP_HOME_WARN_SUPPRESS=0(如果没有这一行,会出现警告,如下:

Warning: $HADOOP_HOME is deprecated

)
       配置文件

进入hadoop1.2.1/conf文件夹中

hadoop-env.sh文件:

将jdk写入hadoop-env.sh文件中,找到JAVA_HOME将前面的#去掉,并在后面加上jdk安装目录

conf/core-site.xml文件:

<configuration>
         <property>
             <name>fs.default.name</name>
             <value>hdfs://localhost:9000</value>

<description>localhost切换成本地的机器名</description>

<name>hadoop.tmp.dir</name>

<value>/home/node/hadoop</value>

</property>
    </configuration>

conf/hdfs-site.xml:

<configuration>
        <property>
            <name>dfs.replication</name>
            <value>1</value>
        </property>
   </configuration>

<!—用来设置文件系统冗余备份数量,因为只有一个节点,所有设置为1,系统默认数量为3-->

conf/mapred-site.xml:

<configuration>
        <property>
            <name>mapred.job.tracker</name>
            <value>localhost:9001</value>
       </property>
   </configuration>

四配置ssh环境:

查询是否安装已经安装了ssh和sync 会有如下显示:


如果没有请安装

使用以下命令设置ssh无密码连接:

ssh-keygen -t dsa -P "" -f ~/.ssh/id_dsa

(解释一下上面这条命令, ssh-keygen  代表生成密钥; -t  表示指定生成的密钥 类型; dsa  是 dsa 密钥认证的意思; -P  用于提供密语(接着后面是两个单引号, 不要打错); -f  表示指定生成密钥文件)

这条命令完成后,会在当前文件夹下面的 .ssh 文件夹下创建 id_dsa 和 id_dsa.pub 两个文件,这是 SSH 的一对私钥和公钥,把 id_dsa.pub (公钥)追加到授权的 key 中去,输入如下命令:

cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys

出现下面命令

username@localhost ~ $ ssh localhost
The authenticity of host 'localhost (::1)' can't be established.
RSA key fingerprint is 6e:6b:0f:2a:b8:91:3f:c8:f0:39:e4:df:b4:d8:16:6b.
Are you sure you want to continue connecting (yes/no)? yes
Warning: Permanently added 'localhost (::1)' (RSA) to the list of known hosts.
username@localhost's password: 

仍然让我输入密码,这时应该修改一下.ssh的用户和权限

chmod 700 /home/node(以下node为usrname)

chmod 700 /home/node/.ssh

chmod 600 /home/node/.ssh/authorized_keys

测试ssh配置是否成功:

ssh localhost

可以看到配置成功了,连接无需使用密码了;

配置ssh无密码访问有很多种方法,以上只是其中一种,以下是另外一种方法:

cd ~

ssh-keygen -t rsa

cd .ssh

cp id_rsa.pub authorized_keys

ssh hostname  //测试连接hostname是否成功

五丶执行:

格式化一个新的分布式文件系统:
$ bin/hadoop namenode -format

启动hadoop进程:
$ bin/start-all.sh        (hadoop2.x 命令在sbin文件夹下 所以:   sbin/start-all.sh)

hadoop进程的日志输出目录是: ${HADOOP_LOG_DIR} directory (defaults to ${HADOOP_HOME}/logs).

通过网页来浏览Namenode和Jobtracker状态, 默认情况下它们的访问地址是:

NameNode - http://localhost:50070/
JobTracker - http://localhost:50030/
7.4测试hadoop:
把input中的文件拷贝到分布式系统:
$ bin/hadoop fs -put conf input

运行提供一些示例:
$ bin/hadoop jar hadoop-examples-*.jar grep input output 'dfs[a-z.]+'

检查输出:

从分布式系统中拷贝output中的文件到本地目录,并进行检测它们:
$ bin/hadoop fs -get output output
$ cat output/*

or

查看output下的分布式目录:
$ bin/hadoop fs -cat output/*

停止进程:
$ bin/stop-all.sh

至此,伪分布式安装hadoop完成。

redhat 安装hadoop1.2.1伪分布式的更多相关文章

  1. Ubuntu16.04 下 hadoop的安装与配置(伪分布式环境)

    一.准备 1.1创建hadoop用户 $ sudo useradd -m hadoop -s /bin/bash #创建hadoop用户,并使用/bin/bash作为shell $ sudo pass ...

  2. Hadoop安装教程_单机/伪分布式配置_CentOS6.4/Hadoop2.6.0

    Hadoop安装教程_单机/伪分布式配置_CentOS6.4/Hadoop2.6.0 环境 本教程使用 CentOS 6.4 32位 作为系统环境,请自行安装系统.如果用的是 Ubuntu 系统,请查 ...

  3. Hadoop1.1.2伪分布式安装

    一.安装前准备设置Linux的静态IP修改VirtualBox的虚拟网卡地址修改主机名把hostname和ip绑定关闭防火墙:service iptables stop二.SSH免密码登陆生成秘钥文件 ...

  4. Hadoop1.2.1 伪分布式安装

    Hadoop1.2.1 单机模式安装 Hadoop组件依赖图(从下往上看) 安装步骤: 详细步骤: 设置ssh自动登录(如下图): 1.输入命令 [ssh-keygen -t rsa],然后一直按回车 ...

  5. Hadoop1.0.4伪分布式安装

    前言: 目前,学习hadoop的目的是想配合其它两个开源软件Hbase(一种NoSQL数据库)和Nutch(开源版的搜索引擎)来搭建一个知识问答系统,Nutch从指定网站爬取数据存储在Hbase数据库 ...

  6. 转载:Hadoop安装教程_单机/伪分布式配置_Hadoop2.6.0/Ubuntu14.04

    原文 http://www.powerxing.com/install-hadoop/ 当开始着手实践 Hadoop 时,安装 Hadoop 往往会成为新手的一道门槛.尽管安装其实很简单,书上有写到, ...

  7. Hadoop安装教程_单机/伪分布式配置_Hadoop2.6.0/Ubuntu14.04

    摘自: http://www.cnblogs.com/kinglau/p/3796164.html http://www.powerxing.com/install-hadoop/ 当开始着手实践 H ...

  8. 新手推荐:Hadoop安装教程_单机/伪分布式配置_Hadoop-2.7.1/Ubuntu14.04

    下述教程本人在最新版的-jre openjdk-7-jdk OpenJDK 默认的安装位置为: /usr/lib/jvm/java-7-openjdk-amd64 (32位系统则是 /usr/lib/ ...

  9. Hadoop安装教程_单机/伪分布式配置_Hadoop2.6.0/Ubuntu14.04(转)

    http://www.powerxing.com/install-hadoop/ http://blog.csdn.net/beginner_lee/article/details/6429146 h ...

随机推荐

  1. VMware下安装CentOS6.5

    一.工具 1.VMware-workstation-full-12.5.0-4352439.exe 2.CentOS-6.5-x86_64-minimal.iso 二.安装VMware虚拟机 1.选择 ...

  2. 提取出图像中感兴趣的部分,cvSetImageRoi,Rect

    在做人脸检测的时候,需要从摄像头拍摄视频中把检测到的人脸区域提取出来,网上找了很多博客,发现多数都是在用cvSetImageRoi函数,该函数声明如下:void cvSetImageROI(IplIm ...

  3. 【小技巧】C#判断电脑是否联网

    using System; using System.Collections.Generic; using System.ComponentModel; using System.Data; usin ...

  4. 101个Linq的例子

    Where - Simple 1 筛选出数值中大于5的元素 public void Linq1() { int[] numbers = { 5, 4, 1, 3, 9, 8, 6, 7, 2, 0 } ...

  5. wpf 控件截屏

    /// <summary> /// 保存截图 /// </summary> /// <param name="ui">控件名称</para ...

  6. vue router 只需要这么几步

    <!DOCTYPE html><html lang="en"><head> <meta charset="UTF-8" ...

  7. OpenCV FileStorage 使用记录

    FileStorage OpenCV 中的 FileStorage 类能够读写硬盘中的.xml和.yaml文件,这里我们只讨论对 .xml 的以下几种操作: 写入(FileStorage::WRITE ...

  8. swift 图像的压缩上传

    func imagePickerController(picker: UIImagePickerController, didFinishPickingMediaWithInfo info: [Str ...

  9. IIS下访问网络驱动器(网络位置)

    System.Diagnostics.Process p = new System.Diagnostics.Process(); p.StartInfo.FileName = "cmd.ex ...

  10. Spring 创建 IOC 容器 ClassPathXmlApplicationContext 类

    一.ClassPathXmlApplicationContext 类的作用 在 Java 环境中使用 Spring 时,需要用 new ClassPathXmlApplicationContext(c ...