fedora20安装hadoop-2.5.1
(博客园-番茄酱原创)
首先感谢作者lxdhdgss,他的博文直接帮助了我如何安装hadoop,下面是他的博文修改版,用于安装在fedora20上面的,jdk1.8版本。
到hadoop官网去copy一下链接地址(hadoop2.5.1的地址http://mirrors.cnnic.cn/apache/hadoop/common/hadoop-2.5.1/hadoop-2.5.1.tar.gz),在终端wget url(下载链接地址),会直接下载到当前目录下。然后解压,tar xvf apache-hadoop-2.5.1.tar.gz,解压下载的tar.gz。会看到一个名为hadoop-2.5.1的文件夹,把它拷贝到自己平时安装软件的地方,比如我是/opt/lib64/下面,命令是mv hadoop-2.5.1 /opt/lib64/。
注意:下面修改的时候,大家不会用vi,就用gedit来代替吧,可视化操作,简洁明了。如vi xxx可以换成gedit xxx
下面就需要对Hadoop进行设置了。
首先vi /etc/profile,增加
bash代码
#设置jdk的安装路径
export JAVA_HOME=/opt/lib64/jdk1..0_20
#指定CLASSPATH和PATH
export CLASSPATH=$CLASSPATH:$JAVA_HOME/lib:$JAVA_HOME/jre/lib
export PATH=$JAVA_HOME/bin:$JAVA_HOME/jre/bin:$PATH:$HOME/bin
#设置的hadoop的环境变量
export HADOOP_HOME=/opt/lib64/hadoop-2.5.
export PATH=$HADOOP_HOME/bin:$PATH
export CLASSPATH=$HADOOP_HOME/lib:$CLASSPATH
保存退出(按下ESC,然后再按下这三个:wq)
哦,别忘了在终端执行命令下source /etc/profile,让修改过的profile马上生效。
然后进入hadoop下面的etc/hadoop/(不是系统的etc,是hadoop下面的etc,这是一个配置文件夹),用ls命令,可以看到有很多配置文件。
先vi hadoop-env.sh
bash代码
export JAVA_HOME=/opt/lib64/jdk1.8.0_20
vi yarn-env.sh
bash代码
export JAVA_HOME=/opt/lib64/jdk1.8.0_20
vi core-site.xml
<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://localhost:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/home/hadoop/xxx/tmp </value>
</property>
</configuration>
vi hdfs-site.xml
Xml代码
<configuration>
<property>
<name>dfs.namenode.name.dir</name>
<value>file:/home/hadoop/dfs/name</value>
</property>
<property>
<name>dfs.namenode.data.dir</name>
<value>file:/home/hadoop/dfs/data</value>
</property>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
</configuration>
保存退出(按下ESC,然后再按下这三个:wq)
----------------------------按照hadoop官网上面的配置-----------------------
vi mapred-site.xml
Xml代码
<configuration>
<property>
<name>mapreduce.jobtracker.address</name>
<value>localhost:9001</value>
</property>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>
保存退出(按下ESC,然后再按下这三个:wq)
vi yarn-site.xml:
Xml代码
<configuration>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
</configuration>
保存退出(按下ESC,然后再按下这三个:wq)
-------------------------------------------------------------------------------
-------------------------补充---------------ssh免登陆设置
还有就是:由于原文没有设置如何面验证登陆ssh,这边给与补充。
由于fedora已经默认安装了openssh,所以不用再此安装ssh了。直接直接配置以下就可以了
配置 SSH 免密码登陆 ,下面是bash命令,直接在终端输入(最好是root身份,如何root?只要终端输入su,然后root的密码就可以登陆root账户了)
- ssh-keygen -t rsa -P ‘’ -f ~/.ssh/id_rsa
- cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
- chmod 600 ~/.ssh/authorized_keys
- sudo service sshd restart
就可以了。到此就大功告成了
-----------------------------------------------------------------------------
好了,现在可以启动看看了
先格式化,这个很重要。
- hadoop namenode -format
这句话基本上就是把目前你的hadoop系统确定一下结构,我们的hadoop系统中,一般是一个namenode+多个datanode。
namenode相当于顾客房间表,datanode相当于具体的房间。
然后启动hadoop吧。
到hadoop的根目录,
- sbin/start-dfs.sh
然后再启动yarn,因为2.5.0的版本,早就已经是以yarn这种更好的架构来运行了。
- sbin/start-yarn.sh
然后查看一下开启的进程
说明hadoop已经启动成功。
打开hdfs管理页面,查看hdfs系统:
在浏览器打开http://localhost:50070,可看到hadoop的管理界面,导航栏的最后一项还可以查看hadoop里面的文件。
我们来试着传个文件,到/home下面,新建一个文件,vim test.txt,随便写些东西。保存。
然后把这个文件上传。
打开job管理页面,查看job的运行情况:
由于这个是hadoop2.5.1版本,貌似以前的http://localhost:50030换成了现在的http://localhost:8088,所以需要查看jod的运行情况,需要在浏览器打开localhost:8088
现在的ResourceManager和NodeManager代替了原来的JobTracker和TaskTracker
- hadoop fs -put test.txt /test.first (表示将本地的text放置在dfs根目录下,并且名为test.first可以随意命名)
在浏览器的后台刷新看看有没有test.first(打开http://localhost:50070,选择utilties在点击browse the file system)。
你也可以先给hadoop建立目录
- hadoop fs -mkdir /xxx
上面的上传文件也可以变成这样:
- hadoop fs -put test.txt /xxx/test.txt
其他的操作,大家自己去试吧。
特别感谢lxdhdgss,他的博文地址是:http://www.iteye.com/topic/1135085
(官网有英文版的配置说明,大家可以参照http://hadoop.apache.org/docs/r2.5.1/hadoop-project-dist/hadoop-common/SingleCluster.html#Configuration)
fedora20安装hadoop-2.5.1的更多相关文章
- CentOS下安装hadoop
CentOS下安装hadoop 用户配置 添加用户 adduser hadoop passwd hadoop 权限配置 chmod u+w /etc/sudoers vi /etc/sudoers 在 ...
- Linux下安装Hadoop完全分布式(Ubuntu12.10)
Hadoop的安装非常简单,可以在官网上下载到最近的几个版本,最好使用稳定版.本例在3台机器集群安装.hadoop版本如下: 工具/原料 hadoop-0.20.2.tar.gz Ubuntu12.1 ...
- Ubuntu安装Hadoop与Spark
更新apt 用 hadoop 用户登录后,我们先更新一下 apt,后续我们使用 apt 安装软件,如果没更新可能有一些软件安装不了.按 ctrl+alt+t 打开终端窗口,执行如下命令: sudo a ...
- 安装hadoop+zookeeper ha
安装hadoop+zookeeper ha 前期工作配置好网络和主机名和关闭防火墙 chkconfig iptables off //关闭防火墙 1.安装好java并配置好相关变量 (/etc/pro ...
- 附录A 编译安装Hadoop
A.1 编译Hadoop A.1.1 搭建环境 第一步安装并设置maven 1. 下载maven安装包 建议安装3.0以上版本(由于Spark2.0编译要求Maven3.3.9及以上版本),本次 ...
- 在Ubuntu上单机安装Hadoop
最近大数据比较火,所以也想学习一下,所以在虚拟机安装Ubuntu Server,然后安装Hadoop. 以下是安装步骤: 1. 安装Java 如果是新机器,默认没有安装java,运行java –ver ...
- 安装hadoop集群服务器(hadoop1.2.1)
摘要:hadoop,一个分布式系统基础架构,可以充分利用集群的威力进行高速运算和存储.本文主要介绍hadoop的安装与集群服务器的配置. 准备文件: ▪ VMware11.0.0 ▪ Cen ...
- 在Ubuntu上安装Hadoop(单机模式)步骤
1. 安装jdk:sudo apt-get install openjdk-6-jdk 2. 配置ssh:安装ssh:apt-get install openssh-server 为运行hadoop的 ...
- Fedora20安装fcitx输入法
Fedora20安装fcitx输入法 Fedora20默认安装的是ibus输入法,总有一些原因让我们选择fcitx输入法: ibus出词顺序有bug 在输入人名的时候,有些名字输入两三次后还是不会出现 ...
随机推荐
- 一个酷炫的,基于HTML5,Jquery和Css的全屏焦点图特效,兼容各种浏览器
基于HTML5和CSS的焦点图特效,梅花图案的背景很有中国特色,而且还会动哦,效果超炫,推荐下载! 演示图 html代码 <!DOCTYPE html PUBLIC "-//W3C// ...
- PHP二位数组/多维数组 根据某个键值排序
$arr[$i]['FirstName'] = $d_first_name;$arr[$i]['MiddleName'] = $d_middle_name;$arr[$i]['LastName'] = ...
- iOS KVO的原理
KVO(Key Value Observing),是观察者模式在Foundation中的实现. KVO的原理 简而言之就是: 1.当一个object有观察者时,动态创建这个object的类 ...
- java使用正则表达式验证IP V4、 IP V6
package cn.outofmemory.snippets.core; import java.util.regex.Pattern; /** * A collection of utilitie ...
- Java ssh 访问windows/Linux
Java ssh 访问windows/Linux 工作中遇到的问题: Java code运行在一台机器上,需要远程到linux的机器同时执行多种命令.原来采用的方法是直接调用ssh命令或者调用pli ...
- Java多线程3:Thread中start()和run()的区别
原文:http://www.cnblogs.com/skywang12345/p/3479083.html start() 和 run()的区别说明start():它的作用是启动一个新线程,新线程会执 ...
- 如何屏蔽LOGD\LOGI等打印输出
今天被打印信息的去除困扰了,想了想,如果靠一个一个的改动未免太繁琐.因此就仔细的看了下这部分的打印原理.当然下面只是简单的进行了知识罗列不过有需要的朋友可以随便看看.说不准会有些收获呢. Includ ...
- [Codeforces673B]Problems for Round(思路,规律)
题目链接:http://codeforces.com/contest/673/problem/B 现在有n个题和m个相似的关系,现在要把他们分到2组去. 要求: 1组的所有题比2组难 每个组都得至少有 ...
- POJ 3687 Labeling Balls【拓扑排序 优先队列】
题意:给出n个人,m个轻重关系,求满足给出的轻重关系的并且满足编号小的尽量在前面的序列 因为输入的是a比b重,但是我们要找的是更轻的,所以需要逆向建图 逆向建图参看的这一篇http://blog.cs ...
- apache开源项目 -- tomee
Apache TomEE,发音是“Tommy”,是一个经Apache.JavaEE6.Web框架认证的适配器,其在Tomcat服务器中是最强大的.Apache TomEE是由香草项目(简化常见编程任务 ...