批量部署Hadoop集群环境(1)
批量部署Hadoop集群环境(1)
1. 项目简介:
- 前言:云火的一塌糊涂,加上自大二就跟随一位教授做大数据项目,所以很早就产生了兴趣,随着知识的积累,虚拟机已经不能满足了,这次在服务器上以生产环境来部署Hadoop。已经搭建完毕,分享出来供大家参考。
- 问题:看到Hadoop部署在一些资料上很是繁琐,一些简单的部署方法只是玩具,无法满足企业的部署条件,如果一台台服务器去部署,显然是不可行。
- 解决:在学习及其他资料后,准备以《Apache Hadoop Yarn: Moving Beyond Mapreduce and Batch Processing with Apache Hadoop 2》为依据,其他资料辅助。
- 注意:《Apache Hadoop Yarn: Moving Beyond Mapreduce and Batch Processing with Apache Hadoop 2》这本书有一处错误。
- P53 原版“nm_host” 应改正为“nn_host”
- 这么小的错误,影响是巨大的,我也是在实践本书内容时候,发现的错误,它会导致namenode不存在,而影响服务器节点无法启动。
2. 项目环境
- 阿里云服务器ESC (4台)
- Centos 7
- Hadoop-YARN(2.7.1)
- java version “1.8.0_72”
- pdsh version “2.31”(批处理主要工具)
- Xmanager Enterprise 5(使用xshell来连接服务器)
3. 服务器分配情况
集群节点名字 | 对应字段 | 主机编号 | 主机内网IP | hostname |
---|---|---|---|---|
HDFS NameNode | nn_host | 00 | 10.251.20.244 | iZ28z9sbsgjZ |
YARN ResourceManager | rm_host | 00 | 10.251.20.244 | iZ28z9sbsgjZ |
HDFS SecondaryNameNode | snn_host | 01 | 10.45.202.245 | iZ28fm2wvrwZ |
MapReduce | mr_history_host | 02 | 10.144.27.164 | iZ28n1kabs3Z |
YARN网页代理服务器 | yarn_proxy_host | 03 | 10.163.97.250 | iZ28bwz7umxZ |
YARN NodeManager | nm_hosts | 01、02、03 | 10.45.202.245 10.144.27.164 10.163.97.250 | iZ28fm2wvrwZ iZ28n1kabs3Z iZ28bwz7umxZ |
HDFS DataNode | dn_hosts | 01、02、03 | 10.45.202.245 10.144.27.164 10.163.97.250 | iZ28fm2wvrwZ iZ28n1kabs3Z iZ28bwz7umxZ |
4. 项目目标
- 实现批量部署Hadoop集群环境
5. 项目目录
- 批量部署Hadoop集群环境,ESC服务器提前要准备的工作 —— 批量部署Hadoop集群环境(1)
- 批量部署Hadoop集群环境,搭建Hadoop环境 —— 批量部署Hadoop集群环境(2)
- 批量部署Hadoop集群环境,测试用例 —— 批量部署Hadoop集群环境(3)
6. 一键批量部署Hadoop环境,ESC服务器提前要准备的工作
7. 实现多台ESC内网连接
送上官方教程,图文声茂
阿里云机房内网情况简介
通过安全组实现不同账号下相同地域ECS内网互通
8. 实现无密匙登录
有点小繁琐,但是原理很简单:
8.1每台机器需要生成密匙
生成密匙对
ssh-keygen -t rsa
8.2复制密匙到远程机器(固定机器/本机)
ssh-copy-id -i ~/.ssh/id_rsa.pub 10.x.x.x
- 解析:
ssh-keygen -t rsa
中,-t是type,模式是rsa
ssh-copy-id -i ~/.ssh/id_rsa.pub 10.x.x.x
中,将本机id_rsa.pub复制到远程机器(如内网IP为10.x.x.x,替换为自己的一台固定服务器,这样,依次弄完后,这台“固定机器上边就有了所有机器的密匙”)
9. 修改host
目的是为了使用hostname可以ping通。
写入内网IP和hostname
vim /etc/hosts
10.251.20.244 iZ28z9sbsgjZ
10.45.202.245 iZ28fm2wvrwZ
10.144.27.164 iZ28n1kabs3Z
10.163.97.250 iZ28bwz7umxZ
10. 实现pdsh访问
这次是以“固定机器”依次访问其他服务器(包括自己),如
访问自己
ssh iZ28z9sbsgjZ
访问完毕后,此时在~/.ssh生成known_hosts就包含了所有服务器
[root@iZ28z9sbsgjZ ~]# cd ~/.ssh
[root@iZ28z9sbsgjZ .ssh]# ls
authorized_keys id_rsa id_rsa.pub known_hosts
11. 开始批处理作业,以后的所有步骤很依赖pdsh,只要是批处理!
在opt文件下做如下操作(opt文件夹或者别的,建议默认,整篇教程都是这个路径)
11.1 创建all_hosts
cd /opt
vim all_hosts
#写入自己服务器hostname如:
iZ28bwz7umxZ
iZ28fm2wvrwZ
iZ28n1kabs3Z
iZ28z9sbsgjZ
11.2 批量复制固定机器(本机)的authorized_keys 和 known_hosts,到全部集群
pdcp -w ^all_hosts ~/.ssh/authorized_keys ~/.ssh/
pdcp -w ^all_hosts ~/.ssh/known_hosts ~/.ssh/
12. 准备完毕,进入下一步 批量部署Hadoop集群环境(2)
批量部署Hadoop集群环境(1)的更多相关文章
- hadoop集群环境搭建之zookeeper集群的安装部署
关于hadoop集群搭建有一些准备工作要做,具体请参照hadoop集群环境搭建准备工作 (我成功的按照这个步骤部署成功了,经实际验证,该方法可行) 一.安装zookeeper 1 将zookeeper ...
- 阿里云ECS服务器部署HADOOP集群(一):Hadoop完全分布式集群环境搭建
准备: 两台配置CentOS 7.3的阿里云ECS服务器: hadoop-2.7.3.tar.gz安装包: jdk-8u77-linux-x64.tar.gz安装包: hostname及IP的配置: ...
- Docker部署Hadoop集群
Docker部署Hadoop集群 2016-09-27 杜亦舒 前几天写了文章"Hadoop 集群搭建"之后,一个朋友留言说希望介绍下如何使用Docker部署,这个建议很好,Doc ...
- hadoop集群环境搭建之安装配置hadoop集群
在安装hadoop集群之前,需要先进行zookeeper的安装,请参照hadoop集群环境搭建之zookeeper集群的安装部署 1 将hadoop安装包解压到 /itcast/ (如果没有这个目录 ...
- hadoop集群环境搭建准备工作
一定要注意hadoop和linux系统的位数一定要相同,就是说如果hadoop是32位的,linux系统也一定要安装32位的. 准备工作: 1 首先在VMware中建立6台虚拟机(配置默认即可).这是 ...
- hadoop集群环境的搭建
hadoop集群环境的搭建 今天终于把hadoop集群环境给搭建起来了,能够运行单词统计的示例程序了. 集群信息如下: 主机名 Hadoop角色 Hadoop jps命令结果 Hadoop用户 Had ...
- Hadoop集群环境搭建步骤说明
Hadoop集群环境搭建是很多学习hadoop学习者或者是使用者都必然要面对的一个问题,网上关于hadoop集群环境搭建的博文教程也蛮多的.对于玩hadoop的高手来说肯定没有什么问题,甚至可以说事“ ...
- 简单Hadoop集群环境搭建
最近大数据课程需要我们熟悉分布式环境,每组分配了四台服务器,正好熟悉一下hadoop相关的操作. 注:以下带有(master)字样为只需在master机器进行,(ALL)则表示需要在所有master和 ...
- 阿里云ECS服务器部署HADOOP集群(二):HBase完全分布式集群搭建(使用外置ZooKeeper)
本篇将在阿里云ECS服务器部署HADOOP集群(一):Hadoop完全分布式集群环境搭建的基础上搭建,多添加了一个 datanode 节点 . 1 节点环境介绍: 1.1 环境介绍: 服务器:三台阿里 ...
随机推荐
- ⭐驱动之module_init/module_exit与系统启动关系
在前面helloworld的编写里面,我们使用了两个宏分别是module_init和module_exit,这里分析下为什么使用这两个宏. 在写模块的时候有两个特殊的函数,分别是init_module ...
- JS基础篇--JS的event.srcElement与event.target(触发事件对象)
IE下,event对象有srcElement属性,但是没有target属性; Firefox下,event对象有target属性,但是没有srcElement属性.但他们的作用是相当的,即: fire ...
- Elasticsearch分布式安装启动失败
配置config目录下的 elasticsearch.yml http.cors.enabled: true http.cors.allow-origin: "*" #分布安装. ...
- IntelliJ IDEA 注册码 有效期截止于2018/10/14
来源: http://idea.lanyus.com/ IntelliJ IDEA 注册码: EB101IWSWD-eyJsaWNlbnNlSWQiOiJFQjEwMUlXU1dEIiwibGljZW ...
- 禁止屏幕旋转并同时解决以至于导致Activity重启的方法
1.禁止屏幕旋转在AndroidManifest.xml的每一个需要禁止转向的Activity配置中加入android:screenOrientation属性. //landscape(横向)port ...
- 如何在cowboy应用中指定mnesia数据库路径
创建mnesia数据库的步骤简述: 1)定义脚本: -module(mns). -export([setup/0, clean/0]). -record(user, { id, coin, diamo ...
- OpenCV坐标系与操作像素的四种方法
像素是图像的基本组成单位,熟悉了如何操作像素,就能更好的理解对图像的各种处理变换的实现方式了. 1.at方法 第一种操作像素的方法是使用"at",如一幅3通道的彩色图像image的 ...
- vue 使用font-awesome 只需两步
npm 安装font-awesome 以及需要的所有依赖 cnpm install less less-loader css-loader style-loader file-loader font- ...
- from表单POST提交nodejs
var form = new formidable.IncomingForm(); form.parse(req, function(err, fields, files) { console.log ...
- POI2013 Bytecomputer
题目:http://www.lydsy.com/JudgeOnline/problem.php?id=3427 可以证明最终序列为-1...0....1 因为首先如果 a(i-1) 为-1或0,执行操 ...