完整安装过程参考:http://www.cnblogs.com/shishanyuan/p/4147580.html

一、环境准备
   
1、安装linux、jdk
     
2、下载hadoop2.6.0,并解压

二、安装

1、安装jdk

下载jdk,最好使用较新版本,最低不能低于jdk1.6

解压 :tar  -zxvf  jdk-7u40-linux-i586.tar.gz

配置环境:

添加JAVA_HOME,CLASSPATH环境变量:

使用vi /etc/profile命令编辑profile文件,在文件末尾加上以下内容:

export JAVA_HOME=/usr/lib/jvm/jdk1.6.0_74    {jdk安装目录}
          export CLASSPATH=.:$JAVA_HOME/lib:$JAVA_HOME/jre/lib:$CLASSPATH
          export PATH=$JAVA_HOME/bin:JAVA_HOME/jre/bin:$PATH
          然后保存退出,运行 source /etc/profile  使配置生效
          最后测试 java -version

出现上图情况,配置成功

三丶hadoop的有关配置

修改hadoop文件权限

chown  -hR  +普通用户名  /usr/hadoop

配置环境:

使用vi /etc/profile命令编辑profile文件,在文件末尾加上以下内容:

export HADOOP_PREFIX=/opt/hadoop-1.2.1
        export PATH=$PATH:$HADOOP_PREFIX/bin
        export HADOOP_HOME_WARN_SUPPRESS=0(如果没有这一行,会出现警告,如下:

Warning: $HADOOP_HOME is deprecated

)
       配置文件

进入hadoop1.2.1/conf文件夹中

hadoop-env.sh文件:

将jdk写入hadoop-env.sh文件中,找到JAVA_HOME将前面的#去掉,并在后面加上jdk安装目录

conf/core-site.xml文件:

<configuration>
         <property>
             <name>fs.default.name</name>
             <value>hdfs://localhost:9000</value>

<description>localhost切换成本地的机器名</description>

<name>hadoop.tmp.dir</name>

<value>/home/node/hadoop</value>

</property>
    </configuration>

conf/hdfs-site.xml:

<configuration>
        <property>
            <name>dfs.replication</name>
            <value>1</value>
        </property>
   </configuration>

<!—用来设置文件系统冗余备份数量,因为只有一个节点,所有设置为1,系统默认数量为3-->

conf/mapred-site.xml:

<configuration>
        <property>
            <name>mapred.job.tracker</name>
            <value>localhost:9001</value>
       </property>
   </configuration>

四配置ssh环境:

查询是否安装已经安装了ssh和sync 会有如下显示:


如果没有请安装

使用以下命令设置ssh无密码连接:

ssh-keygen -t dsa -P "" -f ~/.ssh/id_dsa

(解释一下上面这条命令, ssh-keygen  代表生成密钥; -t  表示指定生成的密钥 类型; dsa  是 dsa 密钥认证的意思; -P  用于提供密语(接着后面是两个单引号, 不要打错); -f  表示指定生成密钥文件)

这条命令完成后,会在当前文件夹下面的 .ssh 文件夹下创建 id_dsa 和 id_dsa.pub 两个文件,这是 SSH 的一对私钥和公钥,把 id_dsa.pub (公钥)追加到授权的 key 中去,输入如下命令:

cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys

出现下面命令

username@localhost ~ $ ssh localhost
The authenticity of host 'localhost (::1)' can't be established.
RSA key fingerprint is 6e:6b:0f:2a:b8:91:3f:c8:f0:39:e4:df:b4:d8:16:6b.
Are you sure you want to continue connecting (yes/no)? yes
Warning: Permanently added 'localhost (::1)' (RSA) to the list of known hosts.
username@localhost's password: 

仍然让我输入密码,这时应该修改一下.ssh的用户和权限

chmod 700 /home/node(以下node为usrname)

chmod 700 /home/node/.ssh

chmod 600 /home/node/.ssh/authorized_keys

测试ssh配置是否成功:

ssh localhost

可以看到配置成功了,连接无需使用密码了;

配置ssh无密码访问有很多种方法,以上只是其中一种,以下是另外一种方法:

cd ~

ssh-keygen -t rsa

cd .ssh

cp id_rsa.pub authorized_keys

ssh hostname  //测试连接hostname是否成功

五丶执行:

格式化一个新的分布式文件系统:
$ bin/hadoop namenode -format

启动hadoop进程:
$ bin/start-all.sh        (hadoop2.x 命令在sbin文件夹下 所以:   sbin/start-all.sh)

hadoop进程的日志输出目录是: ${HADOOP_LOG_DIR} directory (defaults to ${HADOOP_HOME}/logs).

通过网页来浏览Namenode和Jobtracker状态, 默认情况下它们的访问地址是:

NameNode - http://localhost:50070/
JobTracker - http://localhost:50030/
7.4测试hadoop:
把input中的文件拷贝到分布式系统:
$ bin/hadoop fs -put conf input

运行提供一些示例:
$ bin/hadoop jar hadoop-examples-*.jar grep input output 'dfs[a-z.]+'

检查输出:

从分布式系统中拷贝output中的文件到本地目录,并进行检测它们:
$ bin/hadoop fs -get output output
$ cat output/*

or

查看output下的分布式目录:
$ bin/hadoop fs -cat output/*

停止进程:
$ bin/stop-all.sh

至此,伪分布式安装hadoop完成。

redhat 安装hadoop1.2.1伪分布式的更多相关文章

  1. Ubuntu16.04 下 hadoop的安装与配置(伪分布式环境)

    一.准备 1.1创建hadoop用户 $ sudo useradd -m hadoop -s /bin/bash #创建hadoop用户,并使用/bin/bash作为shell $ sudo pass ...

  2. Hadoop安装教程_单机/伪分布式配置_CentOS6.4/Hadoop2.6.0

    Hadoop安装教程_单机/伪分布式配置_CentOS6.4/Hadoop2.6.0 环境 本教程使用 CentOS 6.4 32位 作为系统环境,请自行安装系统.如果用的是 Ubuntu 系统,请查 ...

  3. Hadoop1.1.2伪分布式安装

    一.安装前准备设置Linux的静态IP修改VirtualBox的虚拟网卡地址修改主机名把hostname和ip绑定关闭防火墙:service iptables stop二.SSH免密码登陆生成秘钥文件 ...

  4. Hadoop1.2.1 伪分布式安装

    Hadoop1.2.1 单机模式安装 Hadoop组件依赖图(从下往上看) 安装步骤: 详细步骤: 设置ssh自动登录(如下图): 1.输入命令 [ssh-keygen -t rsa],然后一直按回车 ...

  5. Hadoop1.0.4伪分布式安装

    前言: 目前,学习hadoop的目的是想配合其它两个开源软件Hbase(一种NoSQL数据库)和Nutch(开源版的搜索引擎)来搭建一个知识问答系统,Nutch从指定网站爬取数据存储在Hbase数据库 ...

  6. 转载:Hadoop安装教程_单机/伪分布式配置_Hadoop2.6.0/Ubuntu14.04

    原文 http://www.powerxing.com/install-hadoop/ 当开始着手实践 Hadoop 时,安装 Hadoop 往往会成为新手的一道门槛.尽管安装其实很简单,书上有写到, ...

  7. Hadoop安装教程_单机/伪分布式配置_Hadoop2.6.0/Ubuntu14.04

    摘自: http://www.cnblogs.com/kinglau/p/3796164.html http://www.powerxing.com/install-hadoop/ 当开始着手实践 H ...

  8. 新手推荐:Hadoop安装教程_单机/伪分布式配置_Hadoop-2.7.1/Ubuntu14.04

    下述教程本人在最新版的-jre openjdk-7-jdk OpenJDK 默认的安装位置为: /usr/lib/jvm/java-7-openjdk-amd64 (32位系统则是 /usr/lib/ ...

  9. Hadoop安装教程_单机/伪分布式配置_Hadoop2.6.0/Ubuntu14.04(转)

    http://www.powerxing.com/install-hadoop/ http://blog.csdn.net/beginner_lee/article/details/6429146 h ...

随机推荐

  1. python 如何读取大文件

    一般的读取文件的方法: with open(file_path, "r") as f: print f.read() 或者 with open(file_path,"r& ...

  2. mysql安装和基本配置-redhat

    1.redhat yum替换参考 url:http://blog.csdn.net/zcyhappy1314/article/details/17580943 2.yum卸载mysql rpm -qa ...

  3. 初学laravel框架,解决访问路由404的问题

    运行环境:windows+phpstorm+Nginx 第一步:添加 PHP Built-in Web Server 第二步:配置路径和端口(路径是你的laravel中的pubilc,端口是你没有占用 ...

  4. MFC 控件用法

    1:IP Control 变量CIPAddressCtrl m_iAddr 关联DDX_Control(pDX,IDC_IPADDRESS1,m_iAddr); 设置地址:m_iAddr.SetAdd ...

  5. scala集合和高级函数操作

    scala常用函数操作 reduceLeft   是将集合的元素从左向右进行所需要的相应操作,图以减法为例展示,表达的算法是 : 1-2-3-4-5 例: (1 to 5).reduceLeft(_ ...

  6. ServiceContract,OperationContract

    代码如下 [ServiceContract] //服务协定定义 using System.ServiceModel; public interface IInterface1 { [Operation ...

  7. 第一百零四节,JavaScript时间与日期

    JavaScript时间与日期 学习要点: 1.Date类型 2.通用的方法 3.格式化方法 4.组件方法 ECMAScript提供了Date类型来处理时间和日期.Date类型内置一系列获取和设置日期 ...

  8. [JS思路]运动框架思路

    匀速运动的思路一: 1.先清除动画,再加载动画 2.方向dir有正值和负值,可以通过 目标值 > 当前值  往右移动,即正数 目标值 < 当前值  往右移动,即负数 来进行判断:dir = ...

  9. PAT 团体程序设计天梯赛-练习集L1-011. A-B

    本题要求你计算A-B.不过麻烦的是,A和B都是字符串 —— 即从字符串A中把字符串B所包含的字符全删掉,剩下的字符组成的就是字符串A-B. 输入格式: 输入在2行中先后给出字符串A和B.两字符串的长度 ...

  10. 关于 plsql连接oracle数据库的问题

    因电脑没有 安装oracle服务器端,所以安装plsql后还是不能连接oracle数据库,网上下载一个oracle客户端工具,是绿色免安装的,解压就好.我放我云盘了. instantclient_11 ...