该环境在Vmware Workstation 12 上安装配置一共三台机器master,slave1,slave2.

操作系统:Cenos 7.0

hadoop 版本:hadoop-0.20.2,版本比较老,资料比较多,便于入门学习。

官网找不到可以在http://pan.baidu.com/s/1eQFFBH4下载。

1.基本环境准备(3台机器)

  1. VMware上生成三台装有centos 7的机器,主机名分别命名为master,slave1, slave2。(时间可以通过复制的方式)
  2. 网络配置:每个节点都配置静态IP。修改/etc/hosts文件:

    192.168.2.1 master

    192.168.2.2 slave1

    192.168.2.3 slave2 

2.java环境配置(3台机器)(由于不清楚默认的java安装环境,这里重新安装配置了jdk1.6.0_45)

  1. 查看本机上安装的java   java -version  rpm -qa | grep java
  2. 卸载 yum  -y remove java
  3. 下载安装jdk:http://download.csdn.net/download/javahr/7291125
  4. 降下的修改为可执行文件:chmod +x  javaXXX.bin
  5. 运行 ./jdk-6u45-linux-x64.bin
  6. 便于管理,将java安装到/usr/java     mkdir /usr/java         mv  jdk1.6.0_45  /usr/java
  7. 配置环境变量:在~/.bashrc 文件中加入

    export JAVA_HOME=/usr/java/jdk1.6.0_45
    export CLASSPATH=.:$JAVA_HOME/jre/lib/rt.jar:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
    export PATH=$PATH:$JAVA_HOME/bin

8.javac 查看安装结果

3.ssh免密码登陆

这是集群配置中很基础的部分,就不多写了,很简单,但是很中要。最后的结果是人任意两个节点之间可以免密码登陆,在master结点上ssh slave1 ssh slave2,ssh master...

3.Hadoop-0.20.2安装配置(在一台机器上安装配置好后复制到其他节点上,少量修改即可

 1.hadoop的安装很简单,只需在上面的链接中下载hadoop源码,选个合适的目录解压缩就可以了。

  tar -xzvf hadoop-0.20.2.tar.gz

mv hadoop-0.20.2   /home/hadoop/  (我的安装目录)

2.hadoop的配置内容比较多,这里介绍几个重要的:

(1)vim  ~/.bashrc 增加

export HADOOP_HOME=/home/hadoop/hadoop-0.20.2

    export JAVA_HOME=/usr/java/jdk1.6.0_45

    export JRE_HOME=$JAVA_HOME/jre

    export CLASSPATH=.:$JAVA_HOME/lib:$JRE_HOME/lib:$CLASSPATH
    export PATH=$JAVA_HOME/bin:$PATH:$JRE_HOME/lib:$HADOOP_HOME/bin

(2)vim  $HADOOP_HOME/conf/hadoop-env.sh

# The java implementation to use. Required.

    export JAVA_HOME=/usr/java/jdk1.6.0_45

    (3)vim $HADOOP_HOME/conf/core-site.xml

    <configuration>

    <property><name>fs.default.name</name><value>hdfs://master:9000</value></property>         #复制
    </configuration>

(4)vim $HADOOP_HOME/conf/hdfs-site.xml

    <configuration>

    <property><name>dfs.replication</name><value>2</value></property>   //副本数
    <property><name>dfs.data.dir</name><value>/home/hadoop/hadoop-0.20.2/storage/data/</value></property>      //本地数据存储目录,自己设置
    <property><name>dfs.name.dir</name><value>/home/hadoop/hadoop-0.20.2/storage/name/</value></property> 
    </configuration>

(5)vim  $HADOOP_HOME/conf/mapred-site.xml

    <configuration>

    <property><name>mapred.job.tracker</name><value>master:9001</value></property>    //复制
    </configuration>

   (6)vim master

master

(7)slaves

     slave1

    slave2

3.启动。在hadoop安装目录的bin子目录下有些脚本用于hadoop的启动和关闭。

执行hadoop namenode -formate 格式化文件系统

执行start-all.sh 启动后台进程。

4.查看安装结果。在jdk的安装目录的bin子目录下的jps命令。可用于检查后台进程,如果进程都看启动了,表明安装成功了。

5.   通过hadoop安装目录下的bin子目录里的start-all.sh启动后台进程。

运行hadoop dfsadmin -report 查看个节点运行状态

或在浏览器上输入http://192.168.2.1:50070(master节点IP)   http://192.168.2.1:5530(查看jobtracker)

            

hadoop-0.20.2安装配置的更多相关文章

  1. hadoop 0.20.2伪分布式安装详解

    adoop 0.20.2伪分布式安装详解 hadoop有三种运行模式: 伪分布式不需要安装虚拟机,在同一台机器上同时启动5个进程,模拟分布式. 完全分布式至少有3个节点,其中一个做master,运行名 ...

  2. 【hadoop之翊】——基于CentOS的hadoop2.4.0伪分布安装配置

    今天总算是把hadoop2.4的整个开发环境弄好了,包括 windows7上eclipse连接hadoop,eclipse的配置和測试弄得烦躁的一逗比了~ 先上一张成功的图片,hadoop的伪分布式安 ...

  3. CentOS下Hadoop-2.2.0集群安装配置

    对于一个刚开始学习Spark的人来说,当然首先需要把环境搭建好,再跑几个例子,目前比较流行的部署是Spark On Yarn,作为新手,我觉得有必要走一遍Hadoop的集群安装配置,而不仅仅停留在本地 ...

  4. hadoop历史版本,包括大名鼎鼎的hadoop 0.20.2

    http://archive.apache.org/dist/hadoop/core/ 大名鼎鼎的hadoop 0.20.2在此: http://archive.apache.org/dist/had ...

  5. Hadoop 0.20.2+Ubuntu13.04配置和WordCount測试

    事实上这篇博客写的有些晚了.之前做过一些总结后来学校的事给忘了,这几天想又一次拿来玩玩发现有的东西记不住了.翻博客发现居然没有.好吧,所以赶紧写一份留着自己用吧.这东西网上有非常多,只是也不是全然适用 ...

  6. Hadoop 2.x(YARN)安装配置LZO

    今天尝试在Hadoop 2.x(YARN)上安装和配置LZO,遇到了很多坑,网上的资料都是基于Hadoop 1.x的,基本没有对于Hadoop 2.x上应用LZO,我在这边记录整个安装配置过程 1. ...

  7. Hadoop集群_Hadoop安装配置

    1.集群部署介绍 1.1 Hadoop简介 Hadoop是Apache软件基金会旗下的一个开源分布式计算平台.以Hadoop分布式文件系统(HDFS,Hadoop Distributed Filesy ...

  8. hbase 2.0.2 分布式安装配置/jar包替换

    环境 zk: 3.4.10 hadoop 2.7.7 jdk8 hbase 2.0.2 三台已安装配置好的hadoop002,hadoop003,hadoop004 1.上传并解压hbase-2.1. ...

  9. mysql8.0.20下载安装教程

    mysql8.0.20安装教程 1.浏览器搜索mysql下载安装 地址:https://dev.mysql.com/downloads/mysql/ 2.登录或者不登录下载 3.下载的是一个压缩包,直 ...

随机推荐

  1. ajax 的前进 后退 问题 jquery.history

    本文的前提是基于后台的,所以这里不会考虑seo的问题.同时,基于后台的管理系统,也不需要被收藏,所以也不会考虑刷新的这种类似直接敲网址的情况!!! 这里使用的是html5中的history.state ...

  2. [毕业设计][期末作业]二手闲置小程序 免费信息发布系统功能源码(小程序+php后台管理)

    最近做了一个小程序,主要是二手闲置免费信息发布系统的功能,里面包括了登录,发布商品,商品管理,违规投诉,canva商品海报生成,分享等一些基础的功能,可以说代码都是自己辛辛苦苦写出来的.可作为毕业设计 ...

  3. [c# 20问] 1. 何时使用class与struct

    POINTS struct为可以包含数据和函数的值类型 struct为值类型所以不需要堆(heap)而是在栈(stack)上分配空间 struct将数据直接存在struct中,而class只存引用类型 ...

  4. Javascript设计模式理论与实战:适配器模式

    有的时候在开发过程中,我们会发现,客户端需要的接口和提供的接口发生不兼容的问题.由于特殊的原因我们无法修改客户端接口.在这种情况下,我们需要适配现有接口和不兼容的类,这就要提到适配器模式.通过适配器, ...

  5. pycharm中安装可以贴图片的Markdown插件

    方法一:(测试成功) 先安装官方推荐的Markdown support插件,再安装Paste images into MarkDown 如果Paste images into MarkDown插件在线 ...

  6. VS中C#连接SQLite数据库处理器架构“x86”不匹配的问题

    原文链接 https://www.cnblogs.com/zhaoliankun/p/9088200.html 我的环境配置:windows 64,VS,SQLite(点击下载),System.Dat ...

  7. 【Dnc.Api.Throttle】适用于.Net Core WebApi接口限流框架

    Dnc.Api.Throttle    适用于Dot Net Core的WebApi接口限流框架 使用Dnc.Api.Throttle可以使您轻松实现WebApi接口的限流管理.Dnc.Api.Thr ...

  8. Javascript 535种方式!!!实现页面重载

    原文地址: http://www.phpied.com/files/location-location/location-location.html 完全出于好玩,竟然有人整理了500多种方法来实现刷 ...

  9. Plasma Cash合约解读

    Plasma Cash合约解读 SmartPlasma 合约解读 1. 合约代码 2. 合约文件简单介绍 3. Plasma Cash 的基础数据结构 3.1 Plasma Cash 中的资产 3.2 ...

  10. 基于JSP的在线考试系统-JavaWeb项目-有源码

    开发工具:Myeclipse/Eclipse + MySQL + Tomcat 系统简介: 网络考试系统主要用于实现高校在线考试,基本功能包括:自动组卷.试卷发布.试卷批阅.试卷成绩统计等.本系统结构 ...