ubuntu 在下面 hadoop 安装
这两天已经安装hadoop 这些道路是曲折的,记录它
在redhat安装后一直无法开始datanode,因为jdk 问题,换了一个jdk后问题依然,自己猜測是redhat版本号太低的原因,于是仅仅好舍弃,换ubuntu
ubantu版本号是13.04.比較稳定。
安装前首先准备好材料。
vmare 虚拟机 ,准备好jdk 和hadoop
由于是虚拟机安装所以放到vmvare 共享目录以下。
=====================================================================================================
在安装这些之前要先安装ssh 我在開始装的时候没有发现ubantu没有装ssh 的server端仅仅有client。
然后直接apt-get 发现又不能直接下,所以每次启动hadoop后仅仅有namenode的进程,datanode进程报错链接被拒绝,后来换了非常多个数据源包含国内国外都有,都是在更新数据源(sudo
apt-get update)。失败。不知什么原因找了好久也没有解决方式(有知道的大牛能够告诉我)。最后没有办法仅仅能自己手动安装ssh了。
安装ssh 准备好材料:
1 安装zlib
解压zlib 进入文件夹
编译安装(1 ./configure 2 make 3 make install)
2 安装openssl
步骤同上(./configure 改为./config)
3 安装openssh
同1
4 getdit /etc/passwd
增加以下一行
sshd:x:74:74:Privilege-separated
SSH:/var/empty/sshd:/sbin/nologin
5 启动ssh。ssh默认安装在/usr/local/sbin/文件夹下。使用
/usr/local/sbin/sshd 启动ssh服务,该服务默认侦听22port。
6 检查ssh服务是否启动监听port是否为22:netstat
-tnlp|grep :22
==============================================================================
以上为安装ssh
以下进入安装HADOOP正题:
1 安装java
jdk 解压到/usr/java/jdk
cd 到指定文件夹
/mnt/hgfs/Ubantu/jdk-6u24-linux-i586.bin
2 解压Hadoop安装包
hadoop 解压到/usr
cd
到指定文件夹
tar -zxvf /mnt/hgfs/Ubantu/hadoop-1.2.1.tar
3 配置环境变量
vi /etc/profile
增加下面
export JAVA_HOME=/usr/java/jdk1.6.0_24
export HADOOP_HOME=/usr/hadoop-1.2.1
export
PATH=$JAVA_HOME/bin:$HADOOP_HOME/bin:$PATH
CLASSPATH=.:$HADOOP_HOME/bin:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export CLASSPATH
4编辑conf/hadoop-env.sh
增加 export
JAVA_HOME=/usr/java/jdk1.6.0_24
5伪分布式模式下Hadoop的配置例如以下(共同拥有三个文件要配置 位置在/conf下 )
(1)core-site.xml
<configuration>
<property>
<name>hadoop.tmp.dir</name>
<value>/usr/hadoop-1.2.1/tmp</value>
</property>
<property>
<name>fs.default.name</name>
<value>hdfs://localhost:9000</value>
</property>
</configuration>
(2)hdfs-site.xml
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
</configuration>
(3)mapred-site.xml
<configuration>
<property>
<name>mapred.job.tracker</name>
<value>localhost:9001</value>
</property>
</configuration>
6
免passwordSSH设置
生成密钥对 ssh-keygen
-t rsa
进入.ssh文件夹
运行 sp id_ras.pub authorized_keys
运行ssh
localhost 发现能够实现SSH链接不须要password
7
创建tmp文件每次进行第八步都会生成一个tmp文件(注意每次又一次格式化的时候要删除tmp 由于当中tmp存有上次的namenode的namespaceID,但每次又一次format
会生成新的namenode namespaceID造成版本号不一致,从而下次运行9时。会造成namenode进程起不来)
8 格式化分布式文件系统
bin/hadoop namenode -format
watermark/2/text/aHR0cDovL2Jsb2cuY3Nkbi5uZXQvY2FwdGFpbl93bDkwODM=/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70/gravity/SouthEast" alt="">
9 启动Hadoop守护进程
bin/start-all.sh
jps命令能够发现有除了jps以外五个线程
10 停止Hadoop守护进程
bin/stop-all.sh
watermark/2/text/aHR0cDovL2Jsb2cuY3Nkbi5uZXQvY2FwdGFpbl93bDkwODM=/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70/gravity/SouthEast" alt="">
版权声明:本文博客原创文章,博客,未经同意,不得转载。
ubuntu 在下面 hadoop 安装的更多相关文章
- Ubuntu上的Hadoop安装教程
Install Hadoop 2.2.0 on Ubuntu Linux 13.04 (Single-Node Cluster) This tutorial explains how to insta ...
- [Hadoop入门] - 2 ubuntu安装与配置 hadoop安装与配置
ubuntu安装(这里我就不一一捉图了,只引用一个网址, 相信大家能力) ubuntu安装参考教程: http://jingyan.baidu.com/article/14bd256e0ca52eb ...
- Hadoop安装(Ubuntu Kylin 14.04)
安装环境:ubuntu kylin 14.04 haoop-1.2.1 hadoop下载地址:http://apache.mesi.com.ar/hadoop/common/hadoop-1. ...
- Ubuntu 12.04上安装Hadoop并运行
Ubuntu 12.04上安装Hadoop并运行 作者:凯鲁嘎吉 - 博客园 http://www.cnblogs.com/kailugaji/ 在官网上下载好四个文件 在Ubuntu的/home/w ...
- 在Ubuntu 13.10 中安装配置 Hadoop 2.2.0
预备条件: 1. 已安装JDK Add Hadoop Group and User $ sudo addgroup hadoop$ sudo adduser --ingroup hadoop hdus ...
- Hadoop 3.1.0 在 Ubuntu 16.04 上安装时遇到的问题
1.Hadoop 安装 pdsh localhost: Connection refused Hadoop安装过程中使用 $ sbin/start-dfs.sh 启动节点时,发生错误提示: pdsh@ ...
- linux hadoop安装
linux hadoop安装 本文介绍如何在Linux下安装伪分布式的hadoop开发环境. 在一开始想利用cgywin在 windows下在哪, 但是一直卡在ssh的安装上.所以最后换位虚拟机+ub ...
- 转载:Hadoop安装教程_单机/伪分布式配置_Hadoop2.6.0/Ubuntu14.04
原文 http://www.powerxing.com/install-hadoop/ 当开始着手实践 Hadoop 时,安装 Hadoop 往往会成为新手的一道门槛.尽管安装其实很简单,书上有写到, ...
- Hadoop安装指引
pre.ctl { font-family: "Liberation Mono", monospace } p { margin-bottom: 0.25cm; line-heig ...
随机推荐
- Linux中下载,压缩,解压等命令
查看是否和还有一台Linux机器相通命令:ssh 主机名@Ip地址 ,提示输入password.就可以查看远程文件的文件夹 下载远程机器上的文件:scp 主机名@Ip地址:/path/s ...
- MSF连环攻击实验
MSF连续攻击实验 一.实验拓扑 二.实验环境 Windows XP BT 5 32位 三.实验原理 通过扫描 XP主机,利用扫描出的漏洞建立 TCP会话,通过进程的提权,进一步获取目标机的控制权限 ...
- UVA 5875 DP
题意:给你一堆二维点,每个点有一些分数. 现在要从点(0 , 0 )出发,只能从标号小的点走到大的点,每个人有一个走的距离的限制,问最后能拿到的最高的分数,当然这个人从(0 , 0)出发还得回到( 0 ...
- 手机游戏产品经理(一)logo的印象非常重要,以促进
从事的工作有一段时间的产品,在产品上共享所以现在的一些经验和知识,并记录.首先,我现在做国外casino手游,如此专注casino展开游戏的主题. 首先说一款游戏的logo非常重要,假设设计的好.它能 ...
- Codeforces 452A Eevee
#include<bits/stdc++.h> using namespace std; string m[]={"vaporeon","jolteon&qu ...
- ZTESoft 持续集成 编年史 之 持续集成建设---自主研发(总括)
最终选择了自主研发,考虑到我们团队对java以及flex知识的储备,展示层使用夸浏览器的flex开发,后端业务层使用java. 一.方案: BEC + ZCIPAgent + ZCIPServer + ...
- Driver 初始化顺序
Linux系统使用两种方式去加载系统中的模块:动态和静态. 静态加载:将所有模块的程序编译到Linux内核中,由do_initcall函数加载 核心进程(/init/main.c)kernel_ini ...
- CheckBoxList的操作查询是否被选中设置或者得到
在项目中我们可能会经常遇到一收集多选信息的情况,比如做注册的时候要收集个人爱好,那时候大家第一个想到的肯定是CheckBoxList.那我们怎么来获取到CheckBoxList的值并且存入数据库呢?? ...
- hdu3452 无向树去掉最小的边集使不论什么叶子与根不连通 / 最小割
思路一下就上来了,叶子向汇点连边,inf保证不会成为割,跑根到汇点最小割就可以.注意无向树双向建边.基础题,分分钟1A: #include<iostream> #include<qu ...
- 项目构建之maven篇:2.HelloWorld项目构建过程
文件结构说明: 项目构建生命周期: 清理 编译 測试 打包 执行 部署 清理与编译 hello\pom.xml POM:Project Object Model,项目对象模型 pom.xml与ant的 ...