Hadoop完整搭建过程(三):完全分布模式(虚拟机)
1 完全分布模式
完全分布模式是比本地模式与伪分布模式更加复杂的模式,真正利用多台Linux主机来进行部署Hadoop
,对集群进行规划,使得Hadoop
各个模块分别部署在不同的多台机器上,这篇文章介绍的是通过三台虚拟机进行集群配置的方式,主要步骤为:
- 准备虚拟机:准备虚拟机基本环境
ip
+Host
配置:手动设置虚拟机ip
以及主机名,需要确保三台虚拟机能互相ping
通ssh
配置:生成密钥对后复制公钥到三台虚拟机中,使其能够实现无密码相互连接Hadoop
配置:core-site.xml
+hdfs-site.xml
+workers
YARN
配置:yarn-site.xml
2 虚拟机安装
需要使用到三台虚拟机,其中一台为Master
节点,两台Worker
节点,首先安装虚拟机并配置环境,最后进行测试。
2.1 镜像下载
使用VirtualBox
进行虚拟机的安装,先去CentOS
官网下载最新版本的镜像:
这里有三种不同的镜像:
boot
:网络安装版dvd1
:完整版minimal
:最小化安装版
这里为了方便选择最小化安装版的,也就是不带GUI
的。
2.2 安装
下载后,打开Virtual Box
并点击New
,选择专家模式
:
命名为CentOSMaster
,作为Master
节点,并且分配内存,这里是1G,如果觉得自己内存大的可以2G:
磁盘30G足够,其他可以保持默认:
创建好后从设置中的存储中,选择下载的镜像:
启动后会提示选择启动盘,确定即可:
好了之后会出现如下提示画面,选择第一个安装:
等待一会后进入安装界面:
接下来对安装位置以及时区进行配置,首先选择安装位置:
由于是虚拟的单个空磁盘,选择自动分区即可:
时区这里可以选择中国的上海:
接着选择网络,首先修改主机名为master
:
接着点击Configure
:
添加ip
地址以及DNS
服务器,ip
地址可以参考本机,比如笔者的机器本地ip
为192.168.1.7
,则:
- 虚拟机的
ip
可以填192.168.1.8
- 子网掩码一般为
255.255.255.0
- 默认网关为
192.168.1.1
DNS
服务器为114.114.114.114
(当然也可以换其他的公共DNS
比如阿里的223.5.5.5
、百度的180.76.76.76
等)
点击Save
后应用主机名并开启:
没问题的话就可以安装了:
安装的时候设置root
用户的密码以及创建用户:
用户这里采用一个叫hadoopuser
的用户,后面的操作都直接基于该用户:
等待一段时间后安装完成重启即可。
2.3 启动
在启动之前首先把原来的镜像去掉:
启动后是黑框界面:
登录刚才创建的hadoopuser
用户即可。
3 ssh
连接虚拟机
默认的话是不能连接外网的,需要在菜单栏中的Devices
中选择Network
,设置为Bridged Adapter
(桥接模式):
使用ping
测试:
接着可以测试能否ping
通本地机器:
通了之后可以通过ssh
连接虚拟机,像平时操作服务器一样,在本地终端中连接虚拟机,首先添加指纹:
接着输入密码连接即可:
如果想偷懒可以使用密钥连接的方式,在本地机器中:
ssh-keygen -t ed25519 -a 100
ssh-copy-id -i ~/.ssh/id_ed25519.pub hadoopuser@192.168.1.8
4 基本环境搭建
基本环境搭建就是安装JDK
以及Hadoop
,使用scp
上传OpenJDK
以及Hadoop
。
4.1 JDK
首先去下载OpenJDK
,然后在本地机器上使用scp
上传:
scp openjdk-11+28_linux-x64_bin.tar.gz hadoopuser@192.168.1.8:/home/hadoopuser
接着在本地上切换到连接虚拟机的ssh
中,
cd ~
tar -zxvf openjdk-11+28_linux-x64_bin.tar.gz
sudo mv jdk-11 /usr/local/java
下一步是编辑/etc/profile
,添加bin
到环境变量中,在末尾添加:
sudo vim /etc/profile
# 没有vim请使用vi
# 或安装:sudo yum install vim
# 添加
export PATH=$PATH:/usr/local/java/bin
然后:
. /etc/profile
测试:
4.2 Hadoop
Hadoop
的压缩包scp
上传到虚拟机后,解压并移动到/usr/local
:
scp hadoop-3.3.0.tar.gz hadoopuser@192.168.1.8:/home/hadoopuser
虚拟机ssh
终端:
cd ~
tar -xvf hadoop-3.3.0.tar.gz
sudo mv hadoop-3.3.0 /usr/local/hadoop
同时修改etc/hadoop/hadoop-env.sh
配置文件,填入Java
路径:
sudo vim /usr/local/hadoop/etc/hadoop/hadoop-env.sh
# 填入
export JAVA_HOME=/usr/local/java # 修改为您的Java目录
5 克隆
因为需要一个Master
节点以及两个Worker
节点,将Master
节点关机,并选择配置好的CentOSMaster
,右键进行克隆:
并选择完全克隆:
克隆出CentOSWorker1
以及CentOSWorker2
。
6 主机名+ip
设置
这里的两个Worker
节点以Worker1
以及Worker2
命名,首先操作Worker1
,修改主机名:
sudo vim /etc/hostname
# 输入
# worker1
对于ip
,由于Master
节点的ip
为192.168.1.8
,因此这里修改两个Worker
的节点分别为:
192.168.1.9
192.168.1.10
sudo vim /etc/sysconfig/network-scripts/ifcfg-xxxx # 该文件因人而异
# 修改IPADDR
IPADDR=192.168.1.9
修改完成后重启Worker1
,对Worker2
进行同样的修改主机名以及ip
操作。
7 Host
设置
需要在Master
以及Worker
节点进行Host
设置:
7.1 Master
节点
sudo vim /etc/hosts
# 添加
192.168.1.9 worker1 # 与上面的ip对应一致
192.168.1.10 worker2
7.2 Worker1
节点
sudo vim /etc/hosts
# 添加
192.168.1.8 master
192.168.1.10 worker2
7.3 Worker2
节点
sudo vim /etc/hosts
# 添加
192.168.1.8 master
192.168.1.9 worker1
7.4 互ping
测试
在三台虚拟机中的其中一台ping
另外两台的ip
或者主机名,测试通过后就可以进行下一步了,这里使用Worker1
节点测试:
8 配置ssh
8.1 sshd
服务
需要在三个节点(包括自身)之间配置ssh
无密码(密钥)连接,首先使用
systemctl status sshd
检查sshd
服务是否开启,没开启的使用
systemctl start sshd
开启。
8.2 复制公钥
三个节点都进行如下操作:
ssh-keygen -t ed25519 -a 100
ssh-copy-id master
ssh-copy-id worker1
ssh-copy-id worker2
8.3 测试
在其中一个节点中直接ssh
连接其他节点,无需密码即可登录,比如在Master
节点中:
ssh master # 都是hadoopuser用户,所以省略了用户
ssh worker1
ssh worker2
9 Master
节点Hadoop
配置
在Master
节点中,修改以下三个配置文件:
HADOOP/etc/hadoop/core-site.xml
HADOOP/etc/hadoop/hdfs-site.xml
HADOOP/etc/hadoop/workers
9.1 core-site.xml
<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://master:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/usr/local/hadoop/data/tmp</value>
</property>
</configuration>
fs.defaultFS
:NameNode
地址hadoop.tmp.dir
:Hadoop
临时目录
9.2 hdfs-site.xml
<configuration>
<property>
<name>dfs.namenode.name.dir</name>
<value>/usr/local/hadoop/data/namenode</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>/usr/local/hadoop/data/datanode</value>
</property>
<property>
<name>dfs.replication</name>
<value>2</value>
</property>
</configuration>
dfs.namenode.name.dir
:保存FSImage
的目录,存放NameNode
的metadata
dfs.datanode.data.dir
:保存HDFS
数据的目录,存放DataNode
的多个数据块dfs.replication
:HDFS
存储的临时备份数量,有两个Worker
节点,因此数值为2
9.3 workers
最后修改workers
,输入(与上面设置的主机名一致):
worker1
worker2
9.4 复制配置文件
把Master
节点的配置复制到Worker
节点:
scp /usr/local/hadoop/etc/hadoop/* worker1:/usr/local/hadoop/etc/hadoop/
scp /usr/local/hadoop/etc/hadoop/* worker2:/usr/local/hadoop/etc/hadoop/
10 HDFS
格式化并启动
10.1 启动
在Master
节点中:
cd /usr/local/hadoop
bin/hdfs namenode -format
sbin/start-dfs.sh
运行后可以通过jps
命令查看:
在Worker
节点中:
10.2 测试
浏览器输入:
master:9870
# 如果没有修改本机Host可以输入
# 192.168.1.8:9870
但是。。。
本以为做了这么多能看到成果了。
然后检查过了一遍本机+虚拟机Host
,还有Hadoop
的配置文件,都没有问题。
最后,
才定位到问题是
防火墙。
10.3 防火墙
CentOS8
默认开启了防火墙,可以使用:
systemctl status firewalld
查看防火墙状态。
由于是通过9870
端口访问,首先查询9870
是否开放,Master
节点中输入:
sudo firewall-cmd --query-port=9870/tcp
# 或
sudo firewall-cmd --list-ports
如果输出为no
:
则表示没有开放,手动开放即可:
sudo firewall-cmd --add-port=9870/tcp --permanent
sudo firewall-cmd --reload # 使其生效
再次在浏览器输入:
master:9870
# 如果没有修改本地Host
# 192.168.1.8:9870
可以看到一个友好的页面了:
但是,有一个问题就是这里没有显示Worker
节点,上图中的Live Nodes
数目为0 ,而Datanodes
这里什么也没有显示:
但是在Worker
节点中的确可以看到有Datanode
的进程了:
查看Worker
节点的日志(/usr/local/hadoop/logs/hadoop-hadoopuser-datanode-worker1.log
)可以看到应该是Master
节点9000
端口的没有开启的问题:
回到Master
节点,先执行stop-dfs.sh
关闭,并开放9000
端口后执行start-dfs.sh
开启:
/usr/local/hadoop/sbin/stop-dfs.sh
sudo firewall-cmd --add-port=9000/tcp --permanent
sudo firewall-cmd --reload
/usr/local/hadoop/sbin/start-dfs.sh
再次在浏览器访问:
master:9000
# 或
# 192.168.1.8:9000
这时候就可以看见Worker
节点了:
11 配置YARN
11.1 YARN
配置
在两个Worker
节点中修改/usr/local/hadoop/etc/hadoop/yarn-site.xml
:
<property>
<name>yarn.resourcemanager.hostname</name>
<value>master</value>
</property>
11.2 开启YARN
Master
节点中开启YARN
:
cd /usr/local/hadoop
sbin/start-yarn.sh
同时开放8088
端口为下面的测试做准备:
sudo firewall-cmd --add-port=8088/tcp --permanent
sudo firewall-cmd --reload
11.3 测试
浏览器输入:
master:8088
# 或
# 192.168.1.8:8088
应该就可以访问如下页面了:
同样道理没有看到Worker
节点,查看Worker
节点的日志,发现也是端口的问题:
Master
节点先关闭YARN
,开放8031
端口,并重启YARN
:
/usr/local/hadoop/sbin/stop-yarn.sh
sudo firewall-cmd --add-port=8031/tcp --permanent
sudo firewall-cmd --reload
/usr/local/hadoop/sbin/start-yarn.sh
再次访问:
master:8088
# 或
# 192.168.1.8:8088
就可以看到Worker
节点了:
至此,虚拟机组成Hadoop
集群正式搭建完成。
12 参考
- CSDN-GitChat·大数据 | 史上最详细的Hadoop环境搭建
- How To Set Up a Hadoop 3.2.1 Multi-Node Cluster on Ubuntu 18.04 (2 Nodes)
- How to Install and Set Up a 3-Node Hadoop Cluster
- CSDN-virtualBox实现主机和虚拟机相互ping通,配置静态IP地址
Hadoop完整搭建过程(三):完全分布模式(虚拟机)的更多相关文章
- 本地+分布式Hadoop完整搭建过程
1 概述 Hadoop在大数据技术体系中极为重要,被誉为是改变世界的7个Java项目之一(剩下6个是Junit.Eclipse.Spring.Solr.HudsonAndJenkins.Android ...
- Hadoop完整搭建过程(二):伪分布模式
1 伪分布模式 伪分布模式是运行在单个节点以及多个Java进程上的模式.相比起本地模式,需要进行更多配置文件的设置以及ssh.YARN相关设置. 2 Hadoop配置文件 修改Hadoop安装目录下的 ...
- Hadoop完整搭建过程(四):完全分布模式(服务器)
1 概述 上一篇文章介绍了如何使用虚拟机搭建集群,到了这篇文章就是实战了,使用真实的三台不同服务器进行Hadoop集群的搭建.具体步骤其实与虚拟机的差不多,但是由于安全组以及端口等等一些列的问题,会与 ...
- Hadoop完整搭建过程(一):本地模式
1 本地模式 本地模式是最简单的模式,所有模块都运行在一个JVM进程中,使用本地文件系统而不是HDFS. 本地模式主要是用于本地开发过程中的运行调试用,下载后的Hadoop不需要设置默认就是本地模式. ...
- 转载——Asp.Net MVC+EF+三层架构的完整搭建过程
转载http://www.cnblogs.com/zzqvq/p/5816091.html Asp.Net MVC+EF+三层架构的完整搭建过程 架构图: 使用的数据库: 一张公司的员工信息表,测试数 ...
- Hadoop环境搭建|第三篇:spark环境搭建
一.环境搭建 1.1.上传spark安装包 创建文件夹用于存放spark安装文件命令:mkdir spark 1.2.解压spark安装包 命令:tar -zxvf spark-2.1.0-bin-h ...
- Hadoop环境搭建过程中遇到的问题以及解决方法
1.启动hadoop之前,ssh免密登录slave主机正常,使用命令start-all.sh启动hadoop时,需要输入slave主机的密码,说明ssh文件权限有问题,需要执行以下操作: 1)进入.s ...
- Asp.Net MVC+EF+三层架构的完整搭建过程
架构图: 使用的数据库: 一张公司的员工信息表,测试数据 解决方案项目设计: 1.新建一个空白解决方案名称为Company 2.在该解决方案下,新建解决方案文件夹(UI,BLL,DAL,Model) ...
- Hadoop完全分布式搭建过程中遇到的问题小结
前一段时间,终于抽出了点时间,在自己本地机器上尝试搭建完全分布式Hadoop集群环境,也是借助网络上虾皮的Hadoop开发指南系列书籍一步步搭建起来的,在这里仅代表hadoop初学者向虾皮表示衷心的感 ...
随机推荐
- 一周精彩内容分享(第 3 期):开工大吉的 B 面
这里记录过去一周,我看到的值得分享的东西. 一方面是整理记录一下自己一周的学习,另一方面也是期待自己有更多的输出,有更多的价值. 周刊开源(Github:wmyskxz/weekly),欢迎提交 is ...
- C++入门教程:大白话讲解,新手基础篇⭐⭐⭐(附源码及详解、视频课程资料推荐)
目录 C++教程 前言 视频教程 文字教程 集成开发环境(IDE) 编译器 工作原理 学习指南 入门书籍 进阶书籍 算法.竞赛书籍 教程 标准构建 程序解释 第一个C++程序--"hello ...
- three.js cannon.js物理引擎之ConvexPolyhedron多边形
年后第一天上班,郭先生来说一说cannon.js的ConvexPolyhedron(多边形),cannon.js是一个物理引擎,内部通过连续的计算得到各个时间点的数据的状态,three.js的模型可以 ...
- WPF -- DataTemplate与ControlTemplate结合使用
如深入浅出WPF中的描述,DataTemplate为数据的外衣,ControlTemplate为控件的外衣.ControlTemplate控制控件的样式,DataTemplate控制数据显示的样式,D ...
- 重磅!七国首脑会议决定制裁Go语言!
2021年2月, 编程语言的七国集团峰会在风景优美的Linux庄园如期召开. C, Java, Python, JavaScript , C++ , C#, PHP 相继入座. C语言作为主持人,在 ...
- Java实现贪吃蛇
游戏界面基本布局 贪吃蛇是基于JFrame的一款小游戏.它主要有两部分组成,一个是显示区域,一个是按钮区域.这两个区域都用JPanel来实现. 首先需要创建一个基于JFrame的类,例如创建一个MyF ...
- LeetCode-133克隆图(图的遍历+深拷贝概念)
克隆图 LeetCode-133 使用一个map来存储已经遍历的结点,这个存起来的结点必须是新new的才符合题意 /* // Definition for a Node. class Node { p ...
- PHP题库1
选择题11. php中,不等运算符是( B.C ) A ≠ B != C <> D >< 2. 函数的参数传递包括:( A.B ) A 按值传递 B ...
- 2020年12月-第02阶段-前端基础-CSS Day07
CSS Day07 CSS高级技巧 理解 能说出元素显示隐藏最常见的写法 能说出精灵图产生的目的 能说出去除图片底侧空白缝隙的方法 应用 能写出最常见的鼠标样式 能使用精灵图技术 能用滑动门做导航栏案 ...
- 手把手教你集成华为机器学习服务(ML Kit)人脸检测功能
当给自己拍一张美美的自拍照时,却发现照片中自己的脸不够瘦.眼睛不够大.表情不够丰富可爱-如果此时能够一键美颜瘦脸并且添加可爱的贴纸的话,是不是很棒? 当家里的小孩观看iPad屏幕时间过长或者眼睛离屏幕 ...