ubuntu 在下面 hadoop 安装
这两天已经安装hadoop 这些道路是曲折的,记录它
在redhat安装后一直无法开始datanode,因为jdk 问题,换了一个jdk后问题依然,自己猜測是redhat版本号太低的原因,于是仅仅好舍弃,换ubuntu
ubantu版本号是13.04.比較稳定。
安装前首先准备好材料。
vmare 虚拟机 ,准备好jdk 和hadoop
由于是虚拟机安装所以放到vmvare 共享目录以下。
=====================================================================================================
在安装这些之前要先安装ssh 我在開始装的时候没有发现ubantu没有装ssh 的server端仅仅有client。
然后直接apt-get 发现又不能直接下,所以每次启动hadoop后仅仅有namenode的进程,datanode进程报错链接被拒绝,后来换了非常多个数据源包含国内国外都有,都是在更新数据源(sudo
apt-get update)。失败。不知什么原因找了好久也没有解决方式(有知道的大牛能够告诉我)。最后没有办法仅仅能自己手动安装ssh了。
安装ssh 准备好材料:
1 安装zlib
解压zlib 进入文件夹
编译安装(1 ./configure 2 make 3 make install)
2 安装openssl
步骤同上(./configure 改为./config)
3 安装openssh
同1
4 getdit /etc/passwd
增加以下一行
sshd:x:74:74:Privilege-separated
SSH:/var/empty/sshd:/sbin/nologin
5 启动ssh。ssh默认安装在/usr/local/sbin/文件夹下。使用
/usr/local/sbin/sshd 启动ssh服务,该服务默认侦听22port。
6 检查ssh服务是否启动监听port是否为22:netstat
-tnlp|grep :22
==============================================================================
以上为安装ssh
以下进入安装HADOOP正题:
1 安装java
jdk 解压到/usr/java/jdk
cd 到指定文件夹
/mnt/hgfs/Ubantu/jdk-6u24-linux-i586.bin
2 解压Hadoop安装包
hadoop 解压到/usr
cd
到指定文件夹
tar -zxvf /mnt/hgfs/Ubantu/hadoop-1.2.1.tar
3 配置环境变量
vi /etc/profile
增加下面
export JAVA_HOME=/usr/java/jdk1.6.0_24
export HADOOP_HOME=/usr/hadoop-1.2.1
export
PATH=$JAVA_HOME/bin:$HADOOP_HOME/bin:$PATH
CLASSPATH=.:$HADOOP_HOME/bin:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export CLASSPATH
4编辑conf/hadoop-env.sh
增加 export
JAVA_HOME=/usr/java/jdk1.6.0_24
5伪分布式模式下Hadoop的配置例如以下(共同拥有三个文件要配置 位置在/conf下 )
(1)core-site.xml
<configuration>
<property>
<name>hadoop.tmp.dir</name>
<value>/usr/hadoop-1.2.1/tmp</value>
</property>
<property>
<name>fs.default.name</name>
<value>hdfs://localhost:9000</value>
</property>
</configuration>
(2)hdfs-site.xml
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
</configuration>
(3)mapred-site.xml
<configuration>
<property>
<name>mapred.job.tracker</name>
<value>localhost:9001</value>
</property>
</configuration>
6
免passwordSSH设置
生成密钥对 ssh-keygen
-t rsa
进入.ssh文件夹
运行 sp id_ras.pub authorized_keys
运行ssh
localhost 发现能够实现SSH链接不须要password
7
创建tmp文件每次进行第八步都会生成一个tmp文件(注意每次又一次格式化的时候要删除tmp 由于当中tmp存有上次的namenode的namespaceID,但每次又一次format
会生成新的namenode namespaceID造成版本号不一致,从而下次运行9时。会造成namenode进程起不来)
8 格式化分布式文件系统
bin/hadoop namenode -format
watermark/2/text/aHR0cDovL2Jsb2cuY3Nkbi5uZXQvY2FwdGFpbl93bDkwODM=/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70/gravity/SouthEast" alt="">
9 启动Hadoop守护进程
bin/start-all.sh
jps命令能够发现有除了jps以外五个线程
10 停止Hadoop守护进程
bin/stop-all.sh
watermark/2/text/aHR0cDovL2Jsb2cuY3Nkbi5uZXQvY2FwdGFpbl93bDkwODM=/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70/gravity/SouthEast" alt="">
版权声明:本文博客原创文章,博客,未经同意,不得转载。
ubuntu 在下面 hadoop 安装的更多相关文章
- Ubuntu上的Hadoop安装教程
Install Hadoop 2.2.0 on Ubuntu Linux 13.04 (Single-Node Cluster) This tutorial explains how to insta ...
- [Hadoop入门] - 2 ubuntu安装与配置 hadoop安装与配置
ubuntu安装(这里我就不一一捉图了,只引用一个网址, 相信大家能力) ubuntu安装参考教程: http://jingyan.baidu.com/article/14bd256e0ca52eb ...
- Hadoop安装(Ubuntu Kylin 14.04)
安装环境:ubuntu kylin 14.04 haoop-1.2.1 hadoop下载地址:http://apache.mesi.com.ar/hadoop/common/hadoop-1. ...
- Ubuntu 12.04上安装Hadoop并运行
Ubuntu 12.04上安装Hadoop并运行 作者:凯鲁嘎吉 - 博客园 http://www.cnblogs.com/kailugaji/ 在官网上下载好四个文件 在Ubuntu的/home/w ...
- 在Ubuntu 13.10 中安装配置 Hadoop 2.2.0
预备条件: 1. 已安装JDK Add Hadoop Group and User $ sudo addgroup hadoop$ sudo adduser --ingroup hadoop hdus ...
- Hadoop 3.1.0 在 Ubuntu 16.04 上安装时遇到的问题
1.Hadoop 安装 pdsh localhost: Connection refused Hadoop安装过程中使用 $ sbin/start-dfs.sh 启动节点时,发生错误提示: pdsh@ ...
- linux hadoop安装
linux hadoop安装 本文介绍如何在Linux下安装伪分布式的hadoop开发环境. 在一开始想利用cgywin在 windows下在哪, 但是一直卡在ssh的安装上.所以最后换位虚拟机+ub ...
- 转载:Hadoop安装教程_单机/伪分布式配置_Hadoop2.6.0/Ubuntu14.04
原文 http://www.powerxing.com/install-hadoop/ 当开始着手实践 Hadoop 时,安装 Hadoop 往往会成为新手的一道门槛.尽管安装其实很简单,书上有写到, ...
- Hadoop安装指引
pre.ctl { font-family: "Liberation Mono", monospace } p { margin-bottom: 0.25cm; line-heig ...
随机推荐
- sqlit使用要点之引入libsqlite3.dylib
怎样引入libsqlite3.dylib? 在.h 或 .cpp文件里包括相应的头文件
- poj2096(概率dp)
题目连接:http://poj.org/problem?id=2096 题意:一个程序有m个子系统,要找出n种bug,某人一天找n种bug中的一种,求出他找出n种bug并且每个子系统中都有bug的天数 ...
- Spring相框
1.什么是Spring相框?Spring有哪些主要模块框架? Spring框架是一个为Java应用程序的开发提供了综合.广泛的基础性支持的Java平台. Spring帮助开发人员攻克了开发中基础性的问 ...
- Django Form Media 阅读笔记
---恢复内容开始--- Form Media Rendering an attractive and easy-to-use Web form requires more than just HTM ...
- Android判断应用程序从后台回到前台
MainActivity如下: package cc.testbackgroundtofront; import java.util.List; import android.app.Activity ...
- 查看mysql一些命令的数据库状态
命令: show processlist; 假设是root帐号,你能看到全部用户的当前连接.假设是其他普通帐号,仅仅能看到自己占用的连接. show processlist;仅仅列出前100条, ...
- C++习题 虚函数-计算图形面积
C++习题 虚函数-计算图形面积 Time Limit: 1 Sec Memory Limit: 128 MB Submit: 122 Solved: 86 [cid=1143&pid=6 ...
- Android之查看外部依赖jar的源代码_android private libralies does not allow modifications to source
在Eclipse中开发android的应用程序时,有时想查看函数的内部实现.可是当在函数上点击ctrl和鼠标左键的时候. 往往出现例如以下提示: Class File Editor Source no ...
- mysql5.1,5.5,5.6做partition时支持的函数
mysql5.1支持的partition函数(http://dev.mysql.com/doc/refman/5.1/en/partitioning-limitations-functions.htm ...
- Javascript语言精粹之String常用方法分析
Javascript语言精粹之String常用方法分析 1. String常用方法分析 1.1 String.prototype.slice() slice(start,end)方法复制string的 ...