hadoop-0.20.2安装配置
该环境在Vmware Workstation 12 上安装配置一共三台机器master,slave1,slave2.
操作系统:Cenos 7.0
hadoop 版本:hadoop-0.20.2,版本比较老,资料比较多,便于入门学习。
官网找不到可以在http://pan.baidu.com/s/1eQFFBH4下载。
1.基本环境准备(3台机器)
- VMware上生成三台装有centos 7的机器,主机名分别命名为master,slave1, slave2。(时间可以通过复制的方式)
- 网络配置:每个节点都配置静态IP。修改/etc/hosts文件:
192.168.2.1 master
192.168.2.2 slave1
192.168.2.3 slave2
2.java环境配置(3台机器)(由于不清楚默认的java安装环境,这里重新安装配置了jdk1.6.0_45)
- 查看本机上安装的java java -version rpm -qa | grep java
- 卸载 yum -y remove java
- 下载安装jdk:http://download.csdn.net/download/javahr/7291125
- 降下的修改为可执行文件:chmod +x javaXXX.bin
- 运行 ./jdk-6u45-linux-x64.bin
- 便于管理,将java安装到/usr/java mkdir /usr/java mv jdk1.6.0_45 /usr/java
- 配置环境变量:在~/.bashrc 文件中加入
export JAVA_HOME=/usr/java/jdk1.6.0_45
export CLASSPATH=.:$JAVA_HOME/jre/lib/rt.jar:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export PATH=$PATH:$JAVA_HOME/bin
8.javac 查看安装结果
3.ssh免密码登陆
这是集群配置中很基础的部分,就不多写了,很简单,但是很中要。最后的结果是人任意两个节点之间可以免密码登陆,在master结点上ssh slave1 ssh slave2,ssh master...
3.Hadoop-0.20.2安装配置(在一台机器上安装配置好后复制到其他节点上,少量修改即可)
1.hadoop的安装很简单,只需在上面的链接中下载hadoop源码,选个合适的目录解压缩就可以了。
tar -xzvf hadoop-0.20.2.tar.gz
mv hadoop-0.20.2 /home/hadoop/ (我的安装目录)
2.hadoop的配置内容比较多,这里介绍几个重要的:
(1)vim ~/.bashrc 增加
export HADOOP_HOME=/home/hadoop/hadoop-0.20.2
export JAVA_HOME=/usr/java/jdk1.6.0_45
export JRE_HOME=$JAVA_HOME/jre
export CLASSPATH=.:$JAVA_HOME/lib:$JRE_HOME/lib:$CLASSPATH
export PATH=$JAVA_HOME/bin:$PATH:$JRE_HOME/lib:$HADOOP_HOME/bin
(2)vim $HADOOP_HOME/conf/hadoop-env.sh
# The java implementation to use. Required.
export JAVA_HOME=/usr/java/jdk1.6.0_45
(3)vim $HADOOP_HOME/conf/core-site.xml
<configuration>
<property><name>fs.default.name</name><value>hdfs://master:9000</value></property> #复制
</configuration>
(4)vim $HADOOP_HOME/conf/hdfs-site.xml
<configuration>
<property><name>dfs.replication</name><value>2</value></property> //副本数
<property><name>dfs.data.dir</name><value>/home/hadoop/hadoop-0.20.2/storage/data/</value></property> //本地数据存储目录,自己设置
<property><name>dfs.name.dir</name><value>/home/hadoop/hadoop-0.20.2/storage/name/</value></property>
</configuration>
(5)vim $HADOOP_HOME/conf/mapred-site.xml
<configuration>
<property><name>mapred.job.tracker</name><value>master:9001</value></property> //复制
</configuration>
(6)vim master
master
(7)slaves
slave1
slave2
3.启动。在hadoop安装目录的bin子目录下有些脚本用于hadoop的启动和关闭。
执行hadoop namenode -formate 格式化文件系统
执行start-all.sh 启动后台进程。
4.查看安装结果。在jdk的安装目录的bin子目录下的jps命令。可用于检查后台进程,如果进程都看启动了,表明安装成功了。
5. 通过hadoop安装目录下的bin子目录里的start-all.sh启动后台进程。
运行hadoop dfsadmin -report 查看个节点运行状态
或在浏览器上输入http://192.168.2.1:50070(master节点IP) http://192.168.2.1:5530(查看jobtracker)
hadoop-0.20.2安装配置的更多相关文章
- hadoop 0.20.2伪分布式安装详解
adoop 0.20.2伪分布式安装详解 hadoop有三种运行模式: 伪分布式不需要安装虚拟机,在同一台机器上同时启动5个进程,模拟分布式. 完全分布式至少有3个节点,其中一个做master,运行名 ...
- 【hadoop之翊】——基于CentOS的hadoop2.4.0伪分布安装配置
今天总算是把hadoop2.4的整个开发环境弄好了,包括 windows7上eclipse连接hadoop,eclipse的配置和測试弄得烦躁的一逗比了~ 先上一张成功的图片,hadoop的伪分布式安 ...
- CentOS下Hadoop-2.2.0集群安装配置
对于一个刚开始学习Spark的人来说,当然首先需要把环境搭建好,再跑几个例子,目前比较流行的部署是Spark On Yarn,作为新手,我觉得有必要走一遍Hadoop的集群安装配置,而不仅仅停留在本地 ...
- hadoop历史版本,包括大名鼎鼎的hadoop 0.20.2
http://archive.apache.org/dist/hadoop/core/ 大名鼎鼎的hadoop 0.20.2在此: http://archive.apache.org/dist/had ...
- Hadoop 0.20.2+Ubuntu13.04配置和WordCount測试
事实上这篇博客写的有些晚了.之前做过一些总结后来学校的事给忘了,这几天想又一次拿来玩玩发现有的东西记不住了.翻博客发现居然没有.好吧,所以赶紧写一份留着自己用吧.这东西网上有非常多,只是也不是全然适用 ...
- Hadoop 2.x(YARN)安装配置LZO
今天尝试在Hadoop 2.x(YARN)上安装和配置LZO,遇到了很多坑,网上的资料都是基于Hadoop 1.x的,基本没有对于Hadoop 2.x上应用LZO,我在这边记录整个安装配置过程 1. ...
- Hadoop集群_Hadoop安装配置
1.集群部署介绍 1.1 Hadoop简介 Hadoop是Apache软件基金会旗下的一个开源分布式计算平台.以Hadoop分布式文件系统(HDFS,Hadoop Distributed Filesy ...
- hbase 2.0.2 分布式安装配置/jar包替换
环境 zk: 3.4.10 hadoop 2.7.7 jdk8 hbase 2.0.2 三台已安装配置好的hadoop002,hadoop003,hadoop004 1.上传并解压hbase-2.1. ...
- mysql8.0.20下载安装教程
mysql8.0.20安装教程 1.浏览器搜索mysql下载安装 地址:https://dev.mysql.com/downloads/mysql/ 2.登录或者不登录下载 3.下载的是一个压缩包,直 ...
随机推荐
- ajax 的前进 后退 问题 jquery.history
本文的前提是基于后台的,所以这里不会考虑seo的问题.同时,基于后台的管理系统,也不需要被收藏,所以也不会考虑刷新的这种类似直接敲网址的情况!!! 这里使用的是html5中的history.state ...
- [毕业设计][期末作业]二手闲置小程序 免费信息发布系统功能源码(小程序+php后台管理)
最近做了一个小程序,主要是二手闲置免费信息发布系统的功能,里面包括了登录,发布商品,商品管理,违规投诉,canva商品海报生成,分享等一些基础的功能,可以说代码都是自己辛辛苦苦写出来的.可作为毕业设计 ...
- [c# 20问] 1. 何时使用class与struct
POINTS struct为可以包含数据和函数的值类型 struct为值类型所以不需要堆(heap)而是在栈(stack)上分配空间 struct将数据直接存在struct中,而class只存引用类型 ...
- Javascript设计模式理论与实战:适配器模式
有的时候在开发过程中,我们会发现,客户端需要的接口和提供的接口发生不兼容的问题.由于特殊的原因我们无法修改客户端接口.在这种情况下,我们需要适配现有接口和不兼容的类,这就要提到适配器模式.通过适配器, ...
- pycharm中安装可以贴图片的Markdown插件
方法一:(测试成功) 先安装官方推荐的Markdown support插件,再安装Paste images into MarkDown 如果Paste images into MarkDown插件在线 ...
- VS中C#连接SQLite数据库处理器架构“x86”不匹配的问题
原文链接 https://www.cnblogs.com/zhaoliankun/p/9088200.html 我的环境配置:windows 64,VS,SQLite(点击下载),System.Dat ...
- 【Dnc.Api.Throttle】适用于.Net Core WebApi接口限流框架
Dnc.Api.Throttle 适用于Dot Net Core的WebApi接口限流框架 使用Dnc.Api.Throttle可以使您轻松实现WebApi接口的限流管理.Dnc.Api.Thr ...
- Javascript 535种方式!!!实现页面重载
原文地址: http://www.phpied.com/files/location-location/location-location.html 完全出于好玩,竟然有人整理了500多种方法来实现刷 ...
- Plasma Cash合约解读
Plasma Cash合约解读 SmartPlasma 合约解读 1. 合约代码 2. 合约文件简单介绍 3. Plasma Cash 的基础数据结构 3.1 Plasma Cash 中的资产 3.2 ...
- 基于JSP的在线考试系统-JavaWeb项目-有源码
开发工具:Myeclipse/Eclipse + MySQL + Tomcat 系统简介: 网络考试系统主要用于实现高校在线考试,基本功能包括:自动组卷.试卷发布.试卷批阅.试卷成绩统计等.本系统结构 ...