hadoop-0.20.2安装配置
该环境在Vmware Workstation 12 上安装配置一共三台机器master,slave1,slave2.
操作系统:Cenos 7.0
hadoop 版本:hadoop-0.20.2,版本比较老,资料比较多,便于入门学习。
官网找不到可以在http://pan.baidu.com/s/1eQFFBH4下载。
1.基本环境准备(3台机器)
- VMware上生成三台装有centos 7的机器,主机名分别命名为master,slave1, slave2。(时间可以通过复制的方式)
- 网络配置:每个节点都配置静态IP。修改/etc/hosts文件:
192.168.2.1 master
192.168.2.2 slave1
192.168.2.3 slave2
2.java环境配置(3台机器)(由于不清楚默认的java安装环境,这里重新安装配置了jdk1.6.0_45)
- 查看本机上安装的java java -version rpm -qa | grep java
- 卸载 yum -y remove java
- 下载安装jdk:http://download.csdn.net/download/javahr/7291125
- 降下的修改为可执行文件:chmod +x javaXXX.bin
- 运行 ./jdk-6u45-linux-x64.bin
- 便于管理,将java安装到/usr/java mkdir /usr/java mv jdk1.6.0_45 /usr/java
- 配置环境变量:在~/.bashrc 文件中加入
export JAVA_HOME=/usr/java/jdk1.6.0_45
export CLASSPATH=.:$JAVA_HOME/jre/lib/rt.jar:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export PATH=$PATH:$JAVA_HOME/bin
8.javac 查看安装结果
3.ssh免密码登陆
这是集群配置中很基础的部分,就不多写了,很简单,但是很中要。最后的结果是人任意两个节点之间可以免密码登陆,在master结点上ssh slave1 ssh slave2,ssh master...
3.Hadoop-0.20.2安装配置(在一台机器上安装配置好后复制到其他节点上,少量修改即可)
1.hadoop的安装很简单,只需在上面的链接中下载hadoop源码,选个合适的目录解压缩就可以了。
tar -xzvf hadoop-0.20.2.tar.gz
mv hadoop-0.20.2 /home/hadoop/ (我的安装目录)
2.hadoop的配置内容比较多,这里介绍几个重要的:
(1)vim ~/.bashrc 增加
export HADOOP_HOME=/home/hadoop/hadoop-0.20.2
export JAVA_HOME=/usr/java/jdk1.6.0_45
export JRE_HOME=$JAVA_HOME/jre
export CLASSPATH=.:$JAVA_HOME/lib:$JRE_HOME/lib:$CLASSPATH
export PATH=$JAVA_HOME/bin:$PATH:$JRE_HOME/lib:$HADOOP_HOME/bin
(2)vim $HADOOP_HOME/conf/hadoop-env.sh
# The java implementation to use. Required.
export JAVA_HOME=/usr/java/jdk1.6.0_45
(3)vim $HADOOP_HOME/conf/core-site.xml
<configuration>
<property><name>fs.default.name</name><value>hdfs://master:9000</value></property> #复制
</configuration>
(4)vim $HADOOP_HOME/conf/hdfs-site.xml
<configuration>
<property><name>dfs.replication</name><value>2</value></property> //副本数
<property><name>dfs.data.dir</name><value>/home/hadoop/hadoop-0.20.2/storage/data/</value></property> //本地数据存储目录,自己设置
<property><name>dfs.name.dir</name><value>/home/hadoop/hadoop-0.20.2/storage/name/</value></property>
</configuration>
(5)vim $HADOOP_HOME/conf/mapred-site.xml
<configuration>
<property><name>mapred.job.tracker</name><value>master:9001</value></property> //复制
</configuration>
(6)vim master
master
(7)slaves
slave1
slave2
3.启动。在hadoop安装目录的bin子目录下有些脚本用于hadoop的启动和关闭。
执行hadoop namenode -formate 格式化文件系统
执行start-all.sh 启动后台进程。
4.查看安装结果。在jdk的安装目录的bin子目录下的jps命令。可用于检查后台进程,如果进程都看启动了,表明安装成功了。
5. 通过hadoop安装目录下的bin子目录里的start-all.sh启动后台进程。
运行hadoop dfsadmin -report 查看个节点运行状态
或在浏览器上输入http://192.168.2.1:50070(master节点IP) http://192.168.2.1:5530(查看jobtracker)
hadoop-0.20.2安装配置的更多相关文章
- hadoop 0.20.2伪分布式安装详解
adoop 0.20.2伪分布式安装详解 hadoop有三种运行模式: 伪分布式不需要安装虚拟机,在同一台机器上同时启动5个进程,模拟分布式. 完全分布式至少有3个节点,其中一个做master,运行名 ...
- 【hadoop之翊】——基于CentOS的hadoop2.4.0伪分布安装配置
今天总算是把hadoop2.4的整个开发环境弄好了,包括 windows7上eclipse连接hadoop,eclipse的配置和測试弄得烦躁的一逗比了~ 先上一张成功的图片,hadoop的伪分布式安 ...
- CentOS下Hadoop-2.2.0集群安装配置
对于一个刚开始学习Spark的人来说,当然首先需要把环境搭建好,再跑几个例子,目前比较流行的部署是Spark On Yarn,作为新手,我觉得有必要走一遍Hadoop的集群安装配置,而不仅仅停留在本地 ...
- hadoop历史版本,包括大名鼎鼎的hadoop 0.20.2
http://archive.apache.org/dist/hadoop/core/ 大名鼎鼎的hadoop 0.20.2在此: http://archive.apache.org/dist/had ...
- Hadoop 0.20.2+Ubuntu13.04配置和WordCount測试
事实上这篇博客写的有些晚了.之前做过一些总结后来学校的事给忘了,这几天想又一次拿来玩玩发现有的东西记不住了.翻博客发现居然没有.好吧,所以赶紧写一份留着自己用吧.这东西网上有非常多,只是也不是全然适用 ...
- Hadoop 2.x(YARN)安装配置LZO
今天尝试在Hadoop 2.x(YARN)上安装和配置LZO,遇到了很多坑,网上的资料都是基于Hadoop 1.x的,基本没有对于Hadoop 2.x上应用LZO,我在这边记录整个安装配置过程 1. ...
- Hadoop集群_Hadoop安装配置
1.集群部署介绍 1.1 Hadoop简介 Hadoop是Apache软件基金会旗下的一个开源分布式计算平台.以Hadoop分布式文件系统(HDFS,Hadoop Distributed Filesy ...
- hbase 2.0.2 分布式安装配置/jar包替换
环境 zk: 3.4.10 hadoop 2.7.7 jdk8 hbase 2.0.2 三台已安装配置好的hadoop002,hadoop003,hadoop004 1.上传并解压hbase-2.1. ...
- mysql8.0.20下载安装教程
mysql8.0.20安装教程 1.浏览器搜索mysql下载安装 地址:https://dev.mysql.com/downloads/mysql/ 2.登录或者不登录下载 3.下载的是一个压缩包,直 ...
随机推荐
- Android-自定义开关(升级版)
效果图: 定义一个类,取名为MySwitch.java,此类去继承View,为何是继承View而不是去继承ViewGroup呢,是因为自定义开关没有子控件,之需要操作自身绘制即可 package cu ...
- css 颜色渐变 兼容性
参考文献:http://caibaojian.com/css3-background-gradient.html https://www.cnblogs.com/xzzzys/p/7495725 ...
- Java异常:选择Checked Exception还是Unchecked Exception?
http://blog.csdn.net/kingzone_2008/article/details/8535287 Java包含两种异常:checked异常和unchecked异常.C#只有unch ...
- uwp ,win10 post json
public static async Task<HttpResponseMessage> PostHttpstringrequest(string requesturl,string j ...
- UWP开发砸手机系列(二)—— “讲述人”识别自定义控件Command
上一篇我们提到如何让“讲述人”读出自定义的CanReadGrid,但“讲述人”仍然无法识别CanReadGrid上绑定的Command.XAML代码如下: <StackPanel> < ...
- python--中的文件操作
1.文件操作 把文件打开 open 打开 f = open ('文件路径',mode='模式',encoding='编码格式') #打开一个文件操作的时候取到的是一个句柄 读取的方法 . read() ...
- mysql主从报错截图
1.首先确认报错的binlog和last event. 2.然后去主的机器上查看该报错的内容和报错的的位置,如果是结尾报错的,可以直接从新的binlog进行同步. #/mysql/logs# ../b ...
- Hibernate 框架学习
什么是hibernate框架? 1.它是应用在javaee 三层架构中的dao层 它的底层就是JDBC 它对JDBC进行了封装,好处就是不用写jdbc的代码,和sql语句,它是一个开源的轻量级框架,现 ...
- SpringMvc date数据传递处理
1.form表单提交date数据 form表单提交的date数据要在接收的字段上加入@DateTimeFormat注解 @DateTimeFormat(pattern = "yyyy-MM- ...
- Java 文件本地上传、下载和预览的实现
以下方法为通用版本 实测图片和pdf 都没有问题 上传方法需要前端配合post请求 ,下载前端用a标签就可以,预览 前端使用ifrme标签 ,就可以实现基本功能... 1.文件本地上传 publi ...