该环境在Vmware Workstation 12 上安装配置一共三台机器master,slave1,slave2.

操作系统:Cenos 7.0

hadoop 版本:hadoop-0.20.2,版本比较老,资料比较多,便于入门学习。

官网找不到可以在http://pan.baidu.com/s/1eQFFBH4下载。

1.基本环境准备(3台机器)

  1. VMware上生成三台装有centos 7的机器,主机名分别命名为master,slave1, slave2。(时间可以通过复制的方式)
  2. 网络配置:每个节点都配置静态IP。修改/etc/hosts文件:

    192.168.2.1 master

    192.168.2.2 slave1

    192.168.2.3 slave2 

2.java环境配置(3台机器)(由于不清楚默认的java安装环境,这里重新安装配置了jdk1.6.0_45)

  1. 查看本机上安装的java   java -version  rpm -qa | grep java
  2. 卸载 yum  -y remove java
  3. 下载安装jdk:http://download.csdn.net/download/javahr/7291125
  4. 降下的修改为可执行文件:chmod +x  javaXXX.bin
  5. 运行 ./jdk-6u45-linux-x64.bin
  6. 便于管理,将java安装到/usr/java     mkdir /usr/java         mv  jdk1.6.0_45  /usr/java
  7. 配置环境变量:在~/.bashrc 文件中加入

    export JAVA_HOME=/usr/java/jdk1.6.0_45
    export CLASSPATH=.:$JAVA_HOME/jre/lib/rt.jar:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
    export PATH=$PATH:$JAVA_HOME/bin

8.javac 查看安装结果

3.ssh免密码登陆

这是集群配置中很基础的部分,就不多写了,很简单,但是很中要。最后的结果是人任意两个节点之间可以免密码登陆,在master结点上ssh slave1 ssh slave2,ssh master...

3.Hadoop-0.20.2安装配置(在一台机器上安装配置好后复制到其他节点上,少量修改即可

 1.hadoop的安装很简单,只需在上面的链接中下载hadoop源码,选个合适的目录解压缩就可以了。

  tar -xzvf hadoop-0.20.2.tar.gz

mv hadoop-0.20.2   /home/hadoop/  (我的安装目录)

2.hadoop的配置内容比较多,这里介绍几个重要的:

(1)vim  ~/.bashrc 增加

export HADOOP_HOME=/home/hadoop/hadoop-0.20.2

    export JAVA_HOME=/usr/java/jdk1.6.0_45

    export JRE_HOME=$JAVA_HOME/jre

    export CLASSPATH=.:$JAVA_HOME/lib:$JRE_HOME/lib:$CLASSPATH
    export PATH=$JAVA_HOME/bin:$PATH:$JRE_HOME/lib:$HADOOP_HOME/bin

(2)vim  $HADOOP_HOME/conf/hadoop-env.sh

# The java implementation to use. Required.

    export JAVA_HOME=/usr/java/jdk1.6.0_45

    (3)vim $HADOOP_HOME/conf/core-site.xml

    <configuration>

    <property><name>fs.default.name</name><value>hdfs://master:9000</value></property>         #复制
    </configuration>

(4)vim $HADOOP_HOME/conf/hdfs-site.xml

    <configuration>

    <property><name>dfs.replication</name><value>2</value></property>   //副本数
    <property><name>dfs.data.dir</name><value>/home/hadoop/hadoop-0.20.2/storage/data/</value></property>      //本地数据存储目录,自己设置
    <property><name>dfs.name.dir</name><value>/home/hadoop/hadoop-0.20.2/storage/name/</value></property> 
    </configuration>

(5)vim  $HADOOP_HOME/conf/mapred-site.xml

    <configuration>

    <property><name>mapred.job.tracker</name><value>master:9001</value></property>    //复制
    </configuration>

   (6)vim master

master

(7)slaves

     slave1

    slave2

3.启动。在hadoop安装目录的bin子目录下有些脚本用于hadoop的启动和关闭。

执行hadoop namenode -formate 格式化文件系统

执行start-all.sh 启动后台进程。

4.查看安装结果。在jdk的安装目录的bin子目录下的jps命令。可用于检查后台进程,如果进程都看启动了,表明安装成功了。

5.   通过hadoop安装目录下的bin子目录里的start-all.sh启动后台进程。

运行hadoop dfsadmin -report 查看个节点运行状态

或在浏览器上输入http://192.168.2.1:50070(master节点IP)   http://192.168.2.1:5530(查看jobtracker)

            

hadoop-0.20.2安装配置的更多相关文章

  1. hadoop 0.20.2伪分布式安装详解

    adoop 0.20.2伪分布式安装详解 hadoop有三种运行模式: 伪分布式不需要安装虚拟机,在同一台机器上同时启动5个进程,模拟分布式. 完全分布式至少有3个节点,其中一个做master,运行名 ...

  2. 【hadoop之翊】——基于CentOS的hadoop2.4.0伪分布安装配置

    今天总算是把hadoop2.4的整个开发环境弄好了,包括 windows7上eclipse连接hadoop,eclipse的配置和測试弄得烦躁的一逗比了~ 先上一张成功的图片,hadoop的伪分布式安 ...

  3. CentOS下Hadoop-2.2.0集群安装配置

    对于一个刚开始学习Spark的人来说,当然首先需要把环境搭建好,再跑几个例子,目前比较流行的部署是Spark On Yarn,作为新手,我觉得有必要走一遍Hadoop的集群安装配置,而不仅仅停留在本地 ...

  4. hadoop历史版本,包括大名鼎鼎的hadoop 0.20.2

    http://archive.apache.org/dist/hadoop/core/ 大名鼎鼎的hadoop 0.20.2在此: http://archive.apache.org/dist/had ...

  5. Hadoop 0.20.2+Ubuntu13.04配置和WordCount測试

    事实上这篇博客写的有些晚了.之前做过一些总结后来学校的事给忘了,这几天想又一次拿来玩玩发现有的东西记不住了.翻博客发现居然没有.好吧,所以赶紧写一份留着自己用吧.这东西网上有非常多,只是也不是全然适用 ...

  6. Hadoop 2.x(YARN)安装配置LZO

    今天尝试在Hadoop 2.x(YARN)上安装和配置LZO,遇到了很多坑,网上的资料都是基于Hadoop 1.x的,基本没有对于Hadoop 2.x上应用LZO,我在这边记录整个安装配置过程 1. ...

  7. Hadoop集群_Hadoop安装配置

    1.集群部署介绍 1.1 Hadoop简介 Hadoop是Apache软件基金会旗下的一个开源分布式计算平台.以Hadoop分布式文件系统(HDFS,Hadoop Distributed Filesy ...

  8. hbase 2.0.2 分布式安装配置/jar包替换

    环境 zk: 3.4.10 hadoop 2.7.7 jdk8 hbase 2.0.2 三台已安装配置好的hadoop002,hadoop003,hadoop004 1.上传并解压hbase-2.1. ...

  9. mysql8.0.20下载安装教程

    mysql8.0.20安装教程 1.浏览器搜索mysql下载安装 地址:https://dev.mysql.com/downloads/mysql/ 2.登录或者不登录下载 3.下载的是一个压缩包,直 ...

随机推荐

  1. Android-自定义开关(升级版)

    效果图: 定义一个类,取名为MySwitch.java,此类去继承View,为何是继承View而不是去继承ViewGroup呢,是因为自定义开关没有子控件,之需要操作自身绘制即可 package cu ...

  2. css 颜色渐变 兼容性

    参考文献:http://caibaojian.com/css3-background-gradient.html    https://www.cnblogs.com/xzzzys/p/7495725 ...

  3. Java异常:选择Checked Exception还是Unchecked Exception?

    http://blog.csdn.net/kingzone_2008/article/details/8535287 Java包含两种异常:checked异常和unchecked异常.C#只有unch ...

  4. uwp ,win10 post json

    public static async Task<HttpResponseMessage> PostHttpstringrequest(string requesturl,string j ...

  5. UWP开发砸手机系列(二)—— “讲述人”识别自定义控件Command

    上一篇我们提到如何让“讲述人”读出自定义的CanReadGrid,但“讲述人”仍然无法识别CanReadGrid上绑定的Command.XAML代码如下: <StackPanel> < ...

  6. python--中的文件操作

    1.文件操作 把文件打开 open 打开 f = open ('文件路径',mode='模式',encoding='编码格式') #打开一个文件操作的时候取到的是一个句柄 读取的方法 . read() ...

  7. mysql主从报错截图

    1.首先确认报错的binlog和last event. 2.然后去主的机器上查看该报错的内容和报错的的位置,如果是结尾报错的,可以直接从新的binlog进行同步. #/mysql/logs# ../b ...

  8. Hibernate 框架学习

    什么是hibernate框架? 1.它是应用在javaee 三层架构中的dao层 它的底层就是JDBC 它对JDBC进行了封装,好处就是不用写jdbc的代码,和sql语句,它是一个开源的轻量级框架,现 ...

  9. SpringMvc date数据传递处理

    1.form表单提交date数据 form表单提交的date数据要在接收的字段上加入@DateTimeFormat注解 @DateTimeFormat(pattern = "yyyy-MM- ...

  10. Java 文件本地上传、下载和预览的实现

    以下方法为通用版本 实测图片和pdf 都没有问题 上传方法需要前端配合post请求 ,下载前端用a标签就可以,预览 前端使用ifrme标签   ,就可以实现基本功能... 1.文件本地上传 publi ...