3.1-3.5 分布式部署hadoop2.x的准备和配置
一、环境
192.168.1.130 master
192.168.1.131 slave1
192.168.1.132 slave2
所有主机:
1、关闭防火墙、selinux
2、配置hosts文件
3、yum -y install vim wget tree ntpdate lrzsz openssh-clients
4、配置文件描述符等,同步时间;
5、mkdir -p /opt/app #hadoop安装目录
6、mkdir -p /opt/{datas,modules,softwares,tools} #存放其他程序或文件的目录
二、节点配置规划
服务:
服务 | master | slave1 | slave2 |
HDFS | namenode | secondarynamenode | |
HDFS | datanode | datanode | datanode |
yarn | resourcemanager | ||
yarn | nodemanager | nodemanager | nodemanager |
mapreduce | jobhistoryserver |
配置文件:
HDFS:
hadoop-env.sh -->JDK
core-site.xml -->namenode
hdfs-site.xml -->secondarynamenode
slaves -->datanode YARN:
yarn-env.sh -->JDK
yarn-site.xml -->resourcemanager
slaves -->nodemanager MapReduce:
mapred-env.sh -->JDK
mapred-site.xml -->Jobhistoryserver
三、安装
1、安装JDK(所有节点)
#先卸载系统自带的JDK [root@master softwares]# pwd #softwares目录存放安装包
/opt/softwares [root@master softwares]# ls
hadoop-2.5.0.tar.gz jdk-7u80-linux-x64.tar.gz [root@master softwares]# tar zxf jdk-7u80-linux-x64.tar.gz -C /opt/moduls/ #配置环境变量
vim /etc/profile
#JDK
export JAVA_HOME=/opt/modules/jdk1.7.0_80
export PATH=$PATH:$JAVA_HOME/bin #source
source /etc/profile java -version
2、安装hadoop
(1)hdfs
#解压
[root@master softwares]# tar zxf hadoop-2.5.0.tar.gz -C /opt/app/ #现在只解压到master,后面会分发 #hadoop-env.sh
export JAVA_HOME=/opt/modules/jdk1.7.0_80 #core-site.xml
<configuration> <property>
<name>fs.defaultFS</name>
<value>hdfs://master:8020</value>
</property> <property>
<name>hadoop.tmp.dir</name>
<value>/opt/app/hadoop-2.5.0/data/tmp</value>
</property> <property>
<name>fs.trash.interval</name>
<value>10080</value>
</property> </configuration> #创建 /opt/app/hadoop-2.5.0/data/tmp
[root@master ~]# mkdir -p /opt/app/hadoop-2.5.0/data/tmp #hdfs-site.xml
<configuration> <property>
<name>dfs.namenode.secondary.http-address</name>
<value>slave2:50090</value>
</property> </configuration> #slaves (datanode和nodemanager都在是这里面配置的)
master
slave1
slave2
(2)yarn
#yarn-env.sh
export JAVA_HOME=/opt/modules/jdk1.7.0_80 #yarn-site.xml
<configuration> <property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property> <property>
<name>yarn.resourcemanager.hostname</name>
<value>slave1</value>
</property> <property>
<name>yarn.nodemanager.resource.memory-mb</name>
<value>4096</value>
</property> <property>
<name>yarn.nodemanager.resource.cpu-vcores</name>
<value>4</value>
</property> <property>
<name>yarn.log-aggregation-enable</name>
<value>true</value>
</property> <property>
<name>yarn.log-aggregation.retain-seconds</name>
<value>604800</value>
</property> </configuration> #slaves
master
slave1
slave2
(3)mapreduce
#mapred-env.sh
export JAVA_HOME=/opt/modules/jdk1.7.0_80 #mapred-site.xml
<configuration> <property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property> <property>
<name>mapreduce.jobhistory.address</name>
<value>master:10020</value>
</property> <property>
<name>mapreduce.jobhistory.webapp.address</name>
<value>master:19888</value>
</property> </configuration>
四、配置ssh免密登陆
此步骤不难,基本可以略过;
cd /root/.ssh/
ssh-keygen -t rsa
cat id_rsa.pub >>authorized_keys
五、分发
分发HADOOP安装包至各个机器节点;
#master上
[root@master ~]# scp -r /opt/app/hadoop-2.5.0 root@slave1:/opt/app/ [root@master ~]# scp -r /opt/app/hadoop-2.5.0 root@slave2:/opt/app/ #slave1
[root@slave1 ~]# ls /opt/app/
hadoop-2.5.0 #slave2
[root@slave2 ~]# ls /opt/app/
hadoop-2.5.0
3.1-3.5 分布式部署hadoop2.x的准备和配置的更多相关文章
- hadoop2.6分布式部署时 livenodes等于1的原因
1.问题描述 在进行hadoop2.x版本的hdfs分布式部署时,遇到了一个奇怪的问题: 使用start-dfs.sh命令启动dfs之后,所有的datanode节点上均能看到datanode进程,然而 ...
- hadoop2.4完全分布式部署
hadoop2.4完全分布式部署 感谢:http://blog.csdn.net/licongcong_0224/article/details/12972889 集群组成: 两台red hat en ...
- Hadoop2 伪分布式部署
一.简单介绍 二.安装部署 三.执行hadoop样例并測试部署环境 四.注意的地方 一.简单介绍 Hadoop是一个由Apache基金会所开发的分布式系统基础架构,Hadoop的框架最核心的设计就是: ...
- Hadoop 2.6.0分布式部署參考手冊
Hadoop 2.6.0分布式部署參考手冊 关于本參考手冊的word文档.能够到例如以下地址下载:http://download.csdn.net/detail/u012875880/8291493 ...
- Apache Hadoop 2.9.2 完全分布式部署
Apache Hadoop 2.9.2 完全分布式部署(HDFS) 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任. 一.环境准备 1>.操作平台 [root@node101.y ...
- Hadoop生态圈-zookeeper完全分布式部署
Hadoop生态圈-zookeeper完全分布式部署 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任. 本篇博客部署是建立在Hadoop高可用基础之上的,关于Hadoop高可用部署请参 ...
- Hadoop 完全分布式部署
完全分布式部署Hadoop 分析: 1)准备3台客户机(关闭防火墙.静态ip.主机名称) 2)安装jdk 3)配置环境变量 4)安装hadoop 5)配置环境变量 6)安装ssh 7)集群时间同步 7 ...
- Hadoop生态圈-flume日志收集工具完全分布式部署
Hadoop生态圈-flume日志收集工具完全分布式部署 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任. 目前为止,Hadoop的一个主流应用就是对于大规模web日志的分析和处理 ...
- Hadoop生态圈-phoenix完全分布式部署以及常用命令介绍
Hadoop生态圈-phoenix完全分布式部署 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任. phoenix只是一个插件,我们可以用hive给hbase套上一个JDBC壳,但是你 ...
随机推荐
- flask如何处理并发
1.使用自身服务器的多进程或者多线程,参考werkzeug的run_simple函数的入参.注意,进程和线程不能同时开启 2.使用gunicorn使用多进程,-w worker 进程数,类型于运行多个 ...
- c++引用和const 用法 数组 指针
非const引用,只能用object为其赋值: <c++primer>P52 而const引用则可以用临时变量为其赋值: 如: const int &r = 32://可以 int ...
- cocos2d-x-3.6 引擎概述
cocos2d-x是一个游戏开发引擎,从公布到如今也有五六年了,一路看它慢慢壮大.它是如今应用最多的开源2d引擎,没有之中的一个,据说已经占据90%的市场,所以.对于想从事游戏开发的童鞋来说还是有必要 ...
- Visual Studio VS如何统计代码行数
编辑-查找和替换-在文件中查找,然后查找内容填写下面的东西,勾选使用正则表达式,点击查找全部 b*[^:b#/]+.*$ 在查找结果的最后一行显示了总的行数和文件数 ...
- OpenCV中使用SVM简介
下面这是opencv官方文档中的代码,我加了一部分注释: #include "stdafx.h" #include "opencv2/core/core.hpp" ...
- iOS提交应用至App Store流程及真机调试 一,证书、配置文件
前言:你要有苹果开发人员账号,我用的是个人账号.其次xcode为xcode 7,因为xcode 7须要 os x 系统 10.11 或更高的版本号, 所以os x 系统也须要 10.11 或更高的版本 ...
- 【第四篇章-android平台MediaCodec】解决Observer died. Quickly, do something, ... anything...
当出现!!!Observer died. Quickly, do something, ... anything...说明你的程序已经出现严重异常了,那会是什么情况呢?这个问题困扰了我许久,后来原来是 ...
- Cocos2d-x学习资源
1.CSDN博客:http://blog.csdn.net/legendof1991/article/category/2161091.主要讲的Cocos2d-x3.0 2.CSDN博客:http:/ ...
- atitit.eclipse有多少api  扩展点,以及扩展点的设计
atitit.eclipse有多少api 扩展点,以及扩展点的设计 不赞成使用的.作废的以及内部的扩展点 [扩展]页显示了几个你不应该在你的插件中使用的扩展点.在附表C.1的[描写叙述]栏中.我们使 ...
- 三种方法打印 main函数的返回地址的值(old EIP)(用途,你懂得!)
这里能够简单的改动随意函数的返回地址.能够做到自己定义EIP的指向,就可以运行当前进程空间的随意指令,这里仅仅是让大家更清楚栈帧结构,没有涉及跨进程的inline HOOK 等,后面会陆续讲下读取随意 ...