这两天已经安装hadoop 这些道路是曲折的,记录它

在redhat安装后一直无法开始datanode,因为jdk 问题,换了一个jdk后问题依然,自己猜測是redhat版本号太低的原因,于是仅仅好舍弃,换ubuntu

ubantu版本号是13.04.比較稳定。

安装前首先准备好材料。

vmare 虚拟机 ,准备好jdk  和hadoop

由于是虚拟机安装所以放到vmvare 共享目录以下。

=====================================================================================================

在安装这些之前要先安装ssh 我在開始装的时候没有发现ubantu没有装ssh 的server端仅仅有client。

然后直接apt-get 发现又不能直接下,所以每次启动hadoop后仅仅有namenode的进程,datanode进程报错链接被拒绝,后来换了非常多个数据源包含国内国外都有,都是在更新数据源(sudo
apt-get update)。失败。不知什么原因找了好久也没有解决方式(有知道的大牛能够告诉我)。最后没有办法仅仅能自己手动安装ssh了。

安装ssh 准备好材料:

1 安装zlib

解压zlib 进入文件夹

编译安装(1 ./configure 2 make 3 make install)

2 安装openssl

步骤同上(./configure 改为./config)

3 安装openssh

同1

4 getdit /etc/passwd

增加以下一行

sshd:x:74:74:Privilege-separated
SSH:/var/empty/sshd:/sbin/nologin

5  启动ssh。ssh默认安装在/usr/local/sbin/文件夹下。使用
/usr/local/sbin/sshd 启动ssh服务,该服务默认侦听22port。

6 检查ssh服务是否启动监听port是否为22:netstat
-tnlp|grep :22

==============================================================================

以上为安装ssh

以下进入安装HADOOP正题:

1 安装java

jdk 解压到/usr/java/jdk

cd 到指定文件夹

/mnt/hgfs/Ubantu/jdk-6u24-linux-i586.bin

2 解压Hadoop安装包

hadoop 解压到/usr

cd
到指定文件夹

tar -zxvf /mnt/hgfs/Ubantu/hadoop-1.2.1.tar

3 配置环境变量

vi /etc/profile

增加下面

export JAVA_HOME=/usr/java/jdk1.6.0_24

export HADOOP_HOME=/usr/hadoop-1.2.1

export
PATH=$JAVA_HOME/bin:$HADOOP_HOME/bin:$PATH

CLASSPATH=.:$HADOOP_HOME/bin:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

export CLASSPATH

4编辑conf/hadoop-env.sh

增加 export
JAVA_HOME=/usr/java/jdk1.6.0_24

5伪分布式模式下Hadoop的配置例如以下(共同拥有三个文件要配置 位置在/conf下  )

(1)core-site.xml

<configuration>

    <property>

<name>hadoop.tmp.dir</name>

<value>/usr/hadoop-1.2.1/tmp</value>

    </property>

    <property>

<name>fs.default.name</name>

<value>hdfs://localhost:9000</value>

    </property>

</configuration>

(2)hdfs-site.xml

<configuration>

<property>

<name>dfs.replication</name>

<value>1</value>

</property>

</configuration>

(3)mapred-site.xml

<configuration>

<property>

<name>mapred.job.tracker</name>

<value>localhost:9001</value>

</property>

</configuration>

6
免passwordSSH设置

生成密钥对 ssh-keygen
-t rsa

进入.ssh文件夹
运行 sp id_ras.pub authorized_keys

运行ssh
localhost 发现能够实现SSH链接不须要password

7
创建tmp文件每次进行第八步都会生成一个tmp文件(注意每次又一次格式化的时候要删除tmp 由于当中tmp存有上次的namenode的namespaceID,但每次又一次format
会生成新的namenode namespaceID造成版本号不一致,从而下次运行9时。会造成namenode进程起不来)

步骤5中core-site.xml中已经将tmp文件指向配置。

8 格式化分布式文件系统

bin/hadoop namenode -format

watermark/2/text/aHR0cDovL2Jsb2cuY3Nkbi5uZXQvY2FwdGFpbl93bDkwODM=/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70/gravity/SouthEast" alt="">

9 启动Hadoop守护进程

bin/start-all.sh

jps命令能够发现有除了jps以外五个线程

10 停止Hadoop守护进程

bin/stop-all.sh

watermark/2/text/aHR0cDovL2Jsb2cuY3Nkbi5uZXQvY2FwdGFpbl93bDkwODM=/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70/gravity/SouthEast" alt="">

版权声明:本文博客原创文章,博客,未经同意,不得转载。

ubuntu 在下面 hadoop 安装的更多相关文章

  1. Ubuntu上的Hadoop安装教程

    Install Hadoop 2.2.0 on Ubuntu Linux 13.04 (Single-Node Cluster) This tutorial explains how to insta ...

  2. [Hadoop入门] - 2 ubuntu安装与配置 hadoop安装与配置

    ubuntu安装(这里我就不一一捉图了,只引用一个网址, 相信大家能力) ubuntu安装参考教程:  http://jingyan.baidu.com/article/14bd256e0ca52eb ...

  3. Hadoop安装(Ubuntu Kylin 14.04)

    安装环境:ubuntu kylin 14.04   haoop-1.2.1   hadoop下载地址:http://apache.mesi.com.ar/hadoop/common/hadoop-1. ...

  4. Ubuntu 12.04上安装Hadoop并运行

    Ubuntu 12.04上安装Hadoop并运行 作者:凯鲁嘎吉 - 博客园 http://www.cnblogs.com/kailugaji/ 在官网上下载好四个文件 在Ubuntu的/home/w ...

  5. 在Ubuntu 13.10 中安装配置 Hadoop 2.2.0

    预备条件: 1. 已安装JDK Add Hadoop Group and User $ sudo addgroup hadoop$ sudo adduser --ingroup hadoop hdus ...

  6. Hadoop 3.1.0 在 Ubuntu 16.04 上安装时遇到的问题

    1.Hadoop 安装 pdsh localhost: Connection refused Hadoop安装过程中使用 $ sbin/start-dfs.sh 启动节点时,发生错误提示: pdsh@ ...

  7. linux hadoop安装

    linux hadoop安装 本文介绍如何在Linux下安装伪分布式的hadoop开发环境. 在一开始想利用cgywin在 windows下在哪, 但是一直卡在ssh的安装上.所以最后换位虚拟机+ub ...

  8. 转载:Hadoop安装教程_单机/伪分布式配置_Hadoop2.6.0/Ubuntu14.04

    原文 http://www.powerxing.com/install-hadoop/ 当开始着手实践 Hadoop 时,安装 Hadoop 往往会成为新手的一道门槛.尽管安装其实很简单,书上有写到, ...

  9. Hadoop安装指引

    pre.ctl { font-family: "Liberation Mono", monospace } p { margin-bottom: 0.25cm; line-heig ...

随机推荐

  1. sqlit使用要点之引入libsqlite3.dylib

    怎样引入libsqlite3.dylib? 在.h 或 .cpp文件里包括相应的头文件

  2. poj2096(概率dp)

    题目连接:http://poj.org/problem?id=2096 题意:一个程序有m个子系统,要找出n种bug,某人一天找n种bug中的一种,求出他找出n种bug并且每个子系统中都有bug的天数 ...

  3. Spring相框

    1.什么是Spring相框?Spring有哪些主要模块框架? Spring框架是一个为Java应用程序的开发提供了综合.广泛的基础性支持的Java平台. Spring帮助开发人员攻克了开发中基础性的问 ...

  4. Django Form Media 阅读笔记

    ---恢复内容开始--- Form Media Rendering an attractive and easy-to-use Web form requires more than just HTM ...

  5. Android判断应用程序从后台回到前台

    MainActivity如下: package cc.testbackgroundtofront; import java.util.List; import android.app.Activity ...

  6. 查看mysql一些命令的数据库状态

    命令: show processlist;  假设是root帐号,你能看到全部用户的当前连接.假设是其他普通帐号,仅仅能看到自己占用的连接.   show processlist;仅仅列出前100条, ...

  7. C++习题 虚函数-计算图形面积

    C++习题 虚函数-计算图形面积 Time Limit: 1 Sec  Memory Limit: 128 MB Submit: 122  Solved: 86 [cid=1143&pid=6 ...

  8. Android之查看外部依赖jar的源代码_android private libralies does not allow modifications to source

    在Eclipse中开发android的应用程序时,有时想查看函数的内部实现.可是当在函数上点击ctrl和鼠标左键的时候. 往往出现例如以下提示: Class File Editor Source no ...

  9. mysql5.1,5.5,5.6做partition时支持的函数

    mysql5.1支持的partition函数(http://dev.mysql.com/doc/refman/5.1/en/partitioning-limitations-functions.htm ...

  10. Javascript语言精粹之String常用方法分析

    Javascript语言精粹之String常用方法分析 1. String常用方法分析 1.1 String.prototype.slice() slice(start,end)方法复制string的 ...