一、环境

192.168.1.130     master

192.168.1.131     slave1

192.168.1.132     slave2

所有主机:

1、关闭防火墙、selinux

2、配置hosts文件

3、yum -y install vim wget tree ntpdate lrzsz openssh-clients

4、配置文件描述符等,同步时间;

5、mkdir -p /opt/app             #hadoop安装目录

6、mkdir -p /opt/{datas,modules,softwares,tools}       #存放其他程序或文件的目录

二、节点配置规划

服务:

服务 master slave1 slave2
HDFS namenode   secondarynamenode
HDFS datanode datanode datanode
yarn   resourcemanager  
yarn nodemanager nodemanager nodemanager
mapreduce jobhistoryserver    

配置文件:

HDFS:
hadoop-env.sh -->JDK
core-site.xml -->namenode
hdfs-site.xml -->secondarynamenode
slaves -->datanode YARN:
yarn-env.sh -->JDK
yarn-site.xml -->resourcemanager
slaves -->nodemanager MapReduce:
mapred-env.sh -->JDK
mapred-site.xml -->Jobhistoryserver

三、安装

1、安装JDK(所有节点)

#先卸载系统自带的JDK

[root@master softwares]# pwd    #softwares目录存放安装包
/opt/softwares [root@master softwares]# ls
hadoop-2.5.0.tar.gz jdk-7u80-linux-x64.tar.gz [root@master softwares]# tar zxf jdk-7u80-linux-x64.tar.gz -C /opt/moduls/ #配置环境变量
vim /etc/profile
#JDK
export JAVA_HOME=/opt/modules/jdk1.7.0_80
export PATH=$PATH:$JAVA_HOME/bin #source
source /etc/profile java -version

2、安装hadoop

(1)hdfs

#解压
[root@master softwares]# tar zxf hadoop-2.5.0.tar.gz -C /opt/app/  #现在只解压到master,后面会分发 #hadoop-env.sh
export JAVA_HOME=/opt/modules/jdk1.7.0_80 #core-site.xml
<configuration> <property>
<name>fs.defaultFS</name>
<value>hdfs://master:8020</value>
</property> <property>
<name>hadoop.tmp.dir</name>
<value>/opt/app/hadoop-2.5.0/data/tmp</value>
</property> <property>
<name>fs.trash.interval</name>
<value>10080</value>
</property> </configuration> #创建 /opt/app/hadoop-2.5.0/data/tmp
[root@master ~]# mkdir -p /opt/app/hadoop-2.5.0/data/tmp #hdfs-site.xml
<configuration> <property>
<name>dfs.namenode.secondary.http-address</name>
<value>slave2:50090</value>
</property> </configuration> #slaves (datanode和nodemanager都在是这里面配置的)
master
slave1
slave2

(2)yarn

#yarn-env.sh
export JAVA_HOME=/opt/modules/jdk1.7.0_80 #yarn-site.xml
<configuration> <property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property> <property>
<name>yarn.resourcemanager.hostname</name>
<value>slave1</value>
</property> <property>
<name>yarn.nodemanager.resource.memory-mb</name>
<value>4096</value>
</property> <property>
<name>yarn.nodemanager.resource.cpu-vcores</name>
<value>4</value>
</property> <property>
<name>yarn.log-aggregation-enable</name>
<value>true</value>
</property> <property>
<name>yarn.log-aggregation.retain-seconds</name>
<value>604800</value>
</property> </configuration> #slaves
master
slave1
slave2

(3)mapreduce

#mapred-env.sh
export JAVA_HOME=/opt/modules/jdk1.7.0_80 #mapred-site.xml
<configuration> <property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property> <property>
<name>mapreduce.jobhistory.address</name>
<value>master:10020</value>
</property> <property>
<name>mapreduce.jobhistory.webapp.address</name>
<value>master:19888</value>
</property> </configuration>

四、配置ssh免密登陆

此步骤不难,基本可以略过;

cd /root/.ssh/
ssh-keygen -t rsa
cat id_rsa.pub >>authorized_keys

五、分发

分发HADOOP安装包至各个机器节点;

#master上
[root@master ~]# scp -r /opt/app/hadoop-2.5.0 root@slave1:/opt/app/ [root@master ~]# scp -r /opt/app/hadoop-2.5.0 root@slave2:/opt/app/ #slave1
[root@slave1 ~]# ls /opt/app/
hadoop-2.5.0 #slave2
[root@slave2 ~]# ls /opt/app/
hadoop-2.5.0

3.1-3.5 分布式部署hadoop2.x的准备和配置的更多相关文章

  1. hadoop2.6分布式部署时 livenodes等于1的原因

    1.问题描述 在进行hadoop2.x版本的hdfs分布式部署时,遇到了一个奇怪的问题: 使用start-dfs.sh命令启动dfs之后,所有的datanode节点上均能看到datanode进程,然而 ...

  2. hadoop2.4完全分布式部署

    hadoop2.4完全分布式部署 感谢:http://blog.csdn.net/licongcong_0224/article/details/12972889 集群组成: 两台red hat en ...

  3. Hadoop2 伪分布式部署

    一.简单介绍 二.安装部署 三.执行hadoop样例并測试部署环境 四.注意的地方 一.简单介绍 Hadoop是一个由Apache基金会所开发的分布式系统基础架构,Hadoop的框架最核心的设计就是: ...

  4. Hadoop 2.6.0分布式部署參考手冊

    Hadoop 2.6.0分布式部署參考手冊 关于本參考手冊的word文档.能够到例如以下地址下载:http://download.csdn.net/detail/u012875880/8291493 ...

  5. Apache Hadoop 2.9.2 完全分布式部署

    Apache Hadoop 2.9.2 完全分布式部署(HDFS) 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任. 一.环境准备 1>.操作平台 [root@node101.y ...

  6. Hadoop生态圈-zookeeper完全分布式部署

    Hadoop生态圈-zookeeper完全分布式部署 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任. 本篇博客部署是建立在Hadoop高可用基础之上的,关于Hadoop高可用部署请参 ...

  7. Hadoop 完全分布式部署

    完全分布式部署Hadoop 分析: 1)准备3台客户机(关闭防火墙.静态ip.主机名称) 2)安装jdk 3)配置环境变量 4)安装hadoop 5)配置环境变量 6)安装ssh 7)集群时间同步 7 ...

  8. Hadoop生态圈-flume日志收集工具完全分布式部署

    Hadoop生态圈-flume日志收集工具完全分布式部署 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任.   目前为止,Hadoop的一个主流应用就是对于大规模web日志的分析和处理 ...

  9. Hadoop生态圈-phoenix完全分布式部署以及常用命令介绍

    Hadoop生态圈-phoenix完全分布式部署 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任. phoenix只是一个插件,我们可以用hive给hbase套上一个JDBC壳,但是你 ...

随机推荐

  1. flask如何处理并发

    1.使用自身服务器的多进程或者多线程,参考werkzeug的run_simple函数的入参.注意,进程和线程不能同时开启 2.使用gunicorn使用多进程,-w worker 进程数,类型于运行多个 ...

  2. c++引用和const 用法 数组 指针

    非const引用,只能用object为其赋值: <c++primer>P52 而const引用则可以用临时变量为其赋值: 如: const int &r = 32://可以 int ...

  3. cocos2d-x-3.6 引擎概述

    cocos2d-x是一个游戏开发引擎,从公布到如今也有五六年了,一路看它慢慢壮大.它是如今应用最多的开源2d引擎,没有之中的一个,据说已经占据90%的市场,所以.对于想从事游戏开发的童鞋来说还是有必要 ...

  4. Visual Studio VS如何统计代码行数

    编辑-查找和替换-在文件中查找,然后查找内容填写下面的东西,勾选使用正则表达式,点击查找全部 b*[^:b#/]+.*$   在查找结果的最后一行显示了总的行数和文件数                 ...

  5. OpenCV中使用SVM简介

    下面这是opencv官方文档中的代码,我加了一部分注释: #include "stdafx.h" #include "opencv2/core/core.hpp" ...

  6. iOS提交应用至App Store流程及真机调试 一,证书、配置文件

    前言:你要有苹果开发人员账号,我用的是个人账号.其次xcode为xcode 7,因为xcode 7须要 os x 系统 10.11 或更高的版本号, 所以os x 系统也须要 10.11 或更高的版本 ...

  7. 【第四篇章-android平台MediaCodec】解决Observer died. Quickly, do something, ... anything...

    当出现!!!Observer died. Quickly, do something, ... anything...说明你的程序已经出现严重异常了,那会是什么情况呢?这个问题困扰了我许久,后来原来是 ...

  8. Cocos2d-x学习资源

    1.CSDN博客:http://blog.csdn.net/legendof1991/article/category/2161091.主要讲的Cocos2d-x3.0 2.CSDN博客:http:/ ...

  9. atitit.eclipse有多少api&#160;&#160;扩展点,以及扩展点的设计

    atitit.eclipse有多少api  扩展点,以及扩展点的设计 不赞成使用的.作废的以及内部的扩展点 [扩展]页显示了几个你不应该在你的插件中使用的扩展点.在附表C.1的[描写叙述]栏中.我们使 ...

  10. 三种方法打印 main函数的返回地址的值(old EIP)(用途,你懂得!)

    这里能够简单的改动随意函数的返回地址.能够做到自己定义EIP的指向,就可以运行当前进程空间的随意指令,这里仅仅是让大家更清楚栈帧结构,没有涉及跨进程的inline HOOK 等,后面会陆续讲下读取随意 ...