Hadoop-1.2.1 安装步骤小结(ubuntu)
1、安装ubuntu系统
如果不使用云服务器,可以使用虚拟机WmWare安装,具体安装步骤这里就不讲了,ubuntu系统下载地址:http://www.ubuntu.com/download/desktop
2、修改源列表(非必要步骤)
ubuntu的源列表默认是欧洲服务器,下载JDK之类的开源工具比较慢,建议大家修改下:
备份源列表,并修改文件:
sudo cp /etc/apt/sources.list /etc/apt/sources.list_backup
gedit /etc/apt/sources.list
在打开的图形界面中,删除原来的所有内容,粘贴以下内容:
deb http://mirrors.aliyun.com/ubuntu/ vivid main restricted universe multiverse
deb http://mirrors.aliyun.com/ubuntu/ vivid-security main restricted universe multiverse
deb http://mirrors.aliyun.com/ubuntu/ vivid-updates main restricted universe multiverse
deb http://mirrors.aliyun.com/ubuntu/ vivid-proposed main restricted universe multiverse
deb http://mirrors.aliyun.com/ubuntu/ vivid-backports main restricted universe multiverse
deb-src http://mirrors.aliyun.com/ubuntu/ vivid main restricted universe multiverse
deb-src http://mirrors.aliyun.com/ubuntu/ vivid-security main restricted universe multiverse
deb-src http://mirrors.aliyun.com/ubuntu/ vivid-updates main restricted universe multiverse
deb-src http://mirrors.aliyun.com/ubuntu/ vivid-proposed main restricted universe multiverse
deb-src http://mirrors.aliyun.com/ubuntu/ vivid-backports main restricted universe multiverse
最后update以下生效:
apt-get update
这里主要使用阿里云的源,其他源可以参考:http://wiki.ubuntu.org.cn/%E6%BA%90%E5%88%97%E8%A1%A8
3、安装JDK
建议在安装前使用root用户权限,切换root权限使用命令:sudo -i
安装JDK通过以下命令:
apt-get install openjdk--jdk
安装完成后还需要修改环境变量,编辑/etc/profile文件,使用gedit /etc/profile,在文件中新增如下环境变量(JAVA_HOME需自己根据实际情况修改):
export JAVA_HOME=/usr/lib/jvm/java--openjdk-i386
export JRE_HOME=$JAVA_HOME/jre
export PATH=$JAVA_HOME/bin:$HADOOP_HOME/bin:$PATH
export CLASSPATH=$JAVA_HOME/lib:$CLASSPATH
改完别忘了使用source命令使修改生效:
source /etc/profile
4、安装Hadoop-1.2.1
进入到opt目录下,下载hadoop使用wget命令:
wget http://mirrors.aliyun.com/apache/hadoop/core/hadoop-1.2.1/hadoop-1.2.1.tar.gz
下载完成以后,解压:
tar zxvf hadoop-1.2..tar.gz
5、修改Hadoop配置
进入到opt/hadoop/conf目录下,修改四个配置文件:
hadoop-env.sh(修改JAVA_HOME为实际安装目录):
export JAVA_HOME=/usr/lib/jvm/java--openjdk-i386
core-site.xml(ubantu为本机主机名,可以使用hostname命令获知):
<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://ubuntu:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/hadoop</value>
</property>
<property>
<name>dfs.name.dir</name>
<value>/hadoop/name</value>
</property>
</configuration>
hdfs-site.xml:
<configuration>
<property>
<name>dfs.data.dir</name>
<value>/hadoop/data</value>
</property>
</configuration>
mapred-site.xml(ubantu为本机主机名,可以使用hostname命令获知):
<configuration>
<property>
<name>mapred.job.tracker</name>
<value>ubuntu:9001</value>
</property>
</configuration>
6、安装SSH服务(非必要步骤)
只针对没有安装ssh服务的情况,可以使用ps -e|grep ssh查看是否已经安装ssh服务:
安装ssh-server使用如下命令:
apt-get install openssh-server
启动SSH服务:
service ssh start
修改ssh为密码登陆:
输入"sudo gedit /etc/ssh/sshd_config"-->回车-->把配置文件中的"PermitRootLogin without-password"加一个"#"号,把它注释掉-->再增加一句"PermitRootLogin yes"-->保存,修改成功。
7、启动并验证
格式化namenode,进入hadoop-1.2.1/bin目录下,键入以下命令:
hadoop namenode -format
启动hadoop:
start-all.sh
可能要求输入root密码,如果提示验证失败,请使用passwd命令重置root密码
最后通过JPS命令查看java进程,出现以下进程则表示成功:
DataNode
TaskTracker
SecondaryNameNode
JobTracker
Jps
NameNode
Hadoop-1.2.1 安装步骤小结(ubuntu)的更多相关文章
- hadoop 1.2.1 安装步骤 伪分布式
最近在系统的学习hadoop 课程第一步是安装hadoop1.x,具体安装步骤如下: 一.系统安装 本文使用centos6.5安装,具体安装步骤省略 二.jdk安装 下载jdk1.7.0_51解压,在 ...
- cloudera manager安装步骤小结
1.准备三台虚拟机,系统是centos 7,IP分别是: 192.168.254.110 master 192.168.254.111 slave1 192.168.254.112 slave2 2. ...
- hadoop 2.8.5安装步骤
1.创建hadoop用户,作为haoop的运行用户 2.配置JAVA_HOME环境变量,修改/etc/profile export JAVA_HOME=/usr/java/jdk1.8.0_51 ex ...
- Win10平台下通过VMware虚拟机安装Win7、Ubuntu、Mac
1.安装VMware14.1.1 下载地址:https://download.csdn.net/download/jasonczy/10611423 产品秘钥: CG54H-D8D0H-H8DHY-C ...
- ubuntu环境下docker安装步骤
本文是根据docker官方文档翻译,原文:https://docs.docker.com/engine/installation/linux/ubuntulinux/ Docker 支持以下 Ubun ...
- ubuntu 安装jdk7小结(转载)
ubuntu 安装jdk7小结 目录(?)[+] ubuntu 安装jdk7,现在来总结一下:第一步:下载jdk-7-linux-i586.tar.gz直接在ORACLE的官网中下载就可以:http: ...
- hadoop入门学习教程--DKHadoop完整安装步骤
使用hadoop版本是DKH标准三节点发行版,DKHadoop版本的易用性比较好,环境部署要简单的多,参考此篇安装前请先下载DKHadoop版本,网盘链接:https://pan.baidu.com/ ...
- 简述hadoop安装步骤
简述hadoop安装步骤 安装步骤: 1.安装虚拟机系统,并进行准备工作(可安装- 一个然后克隆) 2.修改各个虚拟机的hostname和host 3.创建用户组和用户 4.配置虚拟机网络,使虚拟机系 ...
- Ubuntu安装 Alisql编译安装步骤:
github地址: https://github.com/alibaba/AliSQL 一.直接git下载保存到本地: git clone https://github.com/alibaba/Ali ...
随机推荐
- CSS盒子模型学习记录1
http://www.blueidea.com/tech/web/2007/4545.asp 代码试验: html代码: <!DOCTYPE html PUBLIC "-//W3C// ...
- Java web--反射(解刨)
本质:先加载类 再解刨类的方法,字段,构造函数 目的:解刨出构造函数 为了new对象 解刨出字段 为了封装数据进去 解刨方法 ...
- 关于Log和adb知识
1,打印日志:adb logcat -v time >log 2,清除以上日志:adb logcat -c 2,查看设备是否连接电脑:adb devices 3,登陆手机设备:adb shell ...
- DIOCP之获取在线用户列表
通过获取tcpserver.getonlinecontextlist来得到在线列表 procedure TfrmMain.btn_refreshClick(Sender: TObject);var l ...
- Linux 中write()函数的出错情况及处理
write函数首先将进程需要发送的数据先放在进程缓冲区中,然后向socket的发送缓冲区进行拷贝,在此,可能出现这样情况,即当进程缓冲区中的数据量大于此时发送缓冲区中所能接受的数据量时,若此时处于阻塞 ...
- RHEL 7.0 本地配置yum源
RHEL 7.0 本地配置yum源 yum简介 yum = Yellow dog Updater, Modified 主要功能是更方便的添加/删除/更新RPM包. 它能自动解决包的倚赖性问题. 它 ...
- JSP中setattribute与setParameter的区别
HttpServletRequest类既有getAttribute()方法,也由getParameter()方法,这两个方法有以下区别: (1)HttpServletRequest类有setAttri ...
- setAttribute()和getAttibute(),getParameter()
request.setAttribute("key",value)方法给主键设置一个值, request.getAttribute("key")方法从上述设置的 ...
- 剑指offer题目51-60
面试题51:数组中重复的数字 public class Solution { public boolean duplicate(int numbers[],int length,int [] dupl ...
- POJ 2352Stars 树状数组
Stars Time Limit: 1000MS Memory Limit: 65536K Total Submissions: 42898 Accepted: 18664 Descripti ...