Hadoop完全分布式开发配置流程
完全分布式开发
整体流程
1、准备3台纯净虚拟机
2、修改每台ip,主机名,主机映射,关闭防火墙
3、安装jdk和hadoop,配置环境变量
4、集群分发脚本编写
5、集群配置
6、ssh免密登录
7、集群启动(群起)
8、配置历史服务器
9、配置日志的聚集
10、集群时间同步
一、准备3台纯净的客户机,每台客户机执行如下操作
1、修改虚拟机ip
进入虚拟网卡配置文件,最后的文件名可能不太一样,不确定可以cd进去看看
sudo vim /etc/sysconfig/network-scripts/ifcfg-ens33
要修改的地方有:BOOTPROTO=static,ONBOOT=yes
额外再增加IPADDR,PREFIX,GATEWAY,DNS1,DNS2
其中,IPADDR与VMWare的NAT模式的子网ip设置在同一网段即可
PREFIX与下图一致
GATEWAY与VMWare的NAT模式的网关保持一致,DNS1也是。
DNS2=8.8.8.8
2、修改虚拟机主机名
sudo hostnamectl --static set-hostname hadoop101
主机名和ip尽量按照如下设置
192.168.1.100 hadoop100
192.168.1.101 hadoop101
192.168.1.102 hadoop102
192.168.1.103 hadoop103
192.168.1.104 hadoop104
192.168.1.105 hadoop105
192.168.1.106 hadoop106
192.168.1.107 hadoop107
192.168.1.108 hadoop108
3、修改主机映射(Linux和Windows都要改)
在linux下执行如下命令
sudo vim /etc/hosts
将上面的ip和主机名复制进去
打开windows的 C:\Windows\System32\drivers\etc\hosts
将上面的ip和主机名复制到最后
注意:当前虚拟机ip,主机名,一定要和hosts中的相对应
4、关闭防火墙
sudo systemctl stop firewalld
sudo systemctl disable firewalld
二、集群部署
1、在其中一台上安装jdk和hadoop,并配置环境变量,测试安装是否成功
先在/opt/下创建两个目录,module,software
(1)卸载系统自带的JDK
rpm -qa | grep -i java | xargs -n1 sudo rpm -e –nodeps
(2)将jdk包放入software下,解压到module
(3)将hadoop包放入software下,解压到module
(4)配置jdk环境变量:将如下内容添加到/etc/profile.d/my_env.sh
#JAVA_HOME
export JAVA_HOME=/opt/module/jdk1.8.0_212
export PATH=$PATH:$JAVA_HOME/bin
(5)配置hadoop环境变量:将如下内容添加到/etc/profile
#HADOOP_HOME
export HADOOP_HOME=/opt/module/hadoop-3.1.3
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin
修改后使profile文件生效:source /etc/profile
(6)测试是否安装成功
java -version
hadoop version
2、编写集群分发脚本xsync
(1)scp(实现服务器与服务器之间的数据拷贝):
scp -r /opt/module root@hadoop102:/opt/module
(2)rsync(主要用于备份和镜像。具有速度快、避免复制相同内容和支持符号链接的优点)
rsync -av /opt/software/ hadoop102:/opt/software
(3)xsync集群分发脚本(需求:循环复制文件到所有节点的相同目录下)
在用户主目录下创建xsync文件,输入如下内容
#!/bin/bash
#1. 判断参数个数
if [ $# -lt 1 ]
then
echo Not Enough Arguement!
exit;
fi
#2. 遍历集群所有机器
for host in hadoop102 hadoop103 hadoop104
do
echo ==================== $host ====================
#3. 遍历所有目录,挨个发送
for file in $@
do
#4 判断文件是否存在
if [ -e $file ]
then
#5. 获取父目录
pdir=$(cd -P $(dirname $file); pwd)
#6. 获取当前文件的名称
fname=$(basename $file)
ssh $host "mkdir -p $pdir"
rsync -av $pdir/$fname $host:$pdir
else
echo $file does not exists!
fi
done
done
保存退出后,修改xsync文件权限,使其有执行权限。
将脚本移动到/bin下,方便全局调用
3、集群部署规划,hadoop配置文件修改
NameNode和ResourceManager,SecondaryNameNode不要装在一台服务器上
首先在hadoop102这台机器上对配置文件进行修改,改完之后把配置文件分发到其他主机上。
对/opt/module/hadoop-3.1.3/etc/hadoop/下的配置文件进行修改。
(1)对core-site.xml进行修改,在configuration标签中输入如下内容
<property>
<name>fs.defaultFS</name>
<value>hdfs://hadoop102:8020</value>
</property>
<property>
<name>hadoop.data.dir</name>
<value>/opt/module/hadoop-3.1.3/data</value>
</property>
<property>
<name>hadoop.proxyuser.atguigu.hosts</name>
<value>*</value>
</property>
<property>
<name>hadoop.proxyuser.atguigu.groups</name>
<value>*</value>
</property>
(2)对hdfs-site.xml进行修改
<property>
<name>dfs.namenode.name.dir</name>
<value>file://${hadoop.data.dir}/name</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>file://${hadoop.data.dir}/data</value>
</property>
<property>
<name>dfs.namenode.checkpoint.dir</name>
<value>file://${hadoop.data.dir}/namesecondary</value>
</property>
<property>
<name>dfs.client.datanode-restart.timeout</name>
<value>30</value>
</property>
<property>
<name>dfs.namenode.secondary.http-address</name>
<value>hadoop104:9868</value>
</property>
(3)对yarn-site.xml进行修改
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.resourcemanager.hostname</name>
<value>hadoop103</value>
</property>
<property>
<name>yarn.nodemanager.env-whitelist</name>
<value>JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAPRED_HOME</value>
</property>
(4)对mapred-site.xml进行修改
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
分发配置文件:
xsync /opt/module/hadoop-3.1.3/etc/hadoop/
4、ssh免密登录
根据之前集群部署规划,hadoop102放NameNode,103放ResourceNodeManager
所以102和103都需要向其他主机发布指令。
(1)在102和103分别执行如下命令,连续按三次回车键
ssh-keygen -t rsa
(2)将公钥拷贝到包括自己的所有主机上。
ssh-copy-id hadoop102
ssh-copy-id hadoop103
ssh-copy-id hadoop104
5、集群启动(群起)
(1)配置workers
vim /opt/module/hadoop-3.1.3/etc/hadoop/workers
在该文件中添加如下内容
hadoop102
hadoop103
hadoop104
注意:
1、该文件中不能有空行
2、该文件添加的内容结尾不允许有空格
(2)将修改后的配置文件目录同步到各个主机上
xsync /opt/module/hadoop-3.1.3/etc
(3)启动集群
如果是第一次启动集群,或者是修改了配置文件,需要将102的NameNode格式化,格式化之前要先停止上次启动的所有NameNode和DataNode,并且删除data和logs数据。
格式化命令:
hdfs namenode -format
群起/停HDFS命令(102上):
start-dfs.sh/stop-dfs.sh
群起/停YARN命令(103上):
start-yarn.sh/stop-yarn.sh
6、配置历史服务器
(1)配置mapred-site.xml
vi /opt/module/hadoop-3.1.3/etc/hadoop/mapred-site.xml
在该文件中添加如下内容
<!-- 历史服务器端地址 -->
<property>
<name>mapreduce.jobhistory.address</name>
<value>hadoop102:10020</value>
</property>
<!-- 历史服务器web端地址 -->
<property>
<name>mapreduce.jobhistory.webapp.address</name>
<value>hadoop102:19888</value>
</property>
(2)分发配置
xsync $HADOOP_HOME/etc/hadoop/mapred-site.xml
(3)在hadoop2上启动历史服务器
mapred –daemon start historyserver
(4)查看历史服务器是否启动
jps
(5)查看JobHistory
http://hadoop102:19888/jobhistory
7、配置日志的聚集
(1)配置yarn-site.sh
vim /opt/module/hadoop-3.1.3/etc/hadoop/yarn-site.xml
在其中添加如下内容
<property>
<name>yarn.log-aggregation-enable</name>
<value>true</value>
</property>
<property>
<name>yarn.log.server.url</name>
<value>http://hadoop102:19888/jobhistory/logs</value>
</property>
<property>
<name>yarn.log-aggregation.retain-seconds</name>
<value>604800</value>
</property>
(2)分发配置
xsync $HADOOP_HOME/etc/hadoop/yarn-site.xml
8、集群时间同步
待完善---2020/11/11
Hadoop完全分布式开发配置流程的更多相关文章
- Hadoop伪分布式重启正确流程
既然是伪分布式,那就不可避免的设计到重启Hadoop服务或者重启Hadoop服务器的情况,正确的停止和重启是很有必要的. 首先是Hadoop服务的停止,使用 ./sbin/stop-all.sh脚本来 ...
- Hadoop与分布式开发
hadoop上的并行应用程序开发是基于MapReduce编程框架的,MapReduce编程模型的原理是:利用一个输入的key/value对集合来产生一个输出的key/value对集合. Map ...
- Hadoop完全分布式的配置
选取机器sam01作为主节点,并进行分布式文件的配置 1.进入Hadoop配置文件路径/usr/local/hadoop/etc/hadoop(这里我把Hadoop安装在/usr/local目录下) ...
- Hadoop完全分布式安装配置完整过程
一. 硬件.软件准备 1. 硬件设备 为了方便学习Hadoop,我采用了云服务器来配置Hadoop集群.集群使用三个节点,一个阿里云节点.一个腾讯云节点.一个华为云节点,其中阿里云和腾讯云都是通过使用 ...
- NC6开发配置流程
1.功能注册 2.菜单注册 3.单据类型管理 4.单据模板初始化 5.查询模板初始化 6.功能节点默认模板设置 7.编码对象注册.编码规则定义
- Hadoop 伪分布式安装配置
- java大数据最全课程学习笔记(2)--Hadoop完全分布式运行模式
目前CSDN,博客园,简书同步发表中,更多精彩欢迎访问我的gitee pages 目录 Hadoop完全分布式运行模式 步骤分析: 编写集群分发脚本xsync 集群配置 集群部署规划 配置集群 集群单 ...
- Hadoop学习笔记(一):ubuntu虚拟机下的hadoop伪分布式集群搭建
hadoop百度百科:https://baike.baidu.com/item/Hadoop/3526507?fr=aladdin hadoop官网:http://hadoop.apache.org/ ...
- 基于Centos搭建 Hadoop 伪分布式环境
软硬件环境: CentOS 7.2 64 位, OpenJDK- 1.8,Hadoop- 2.7 关于本教程的说明 云实验室云主机自动使用 root 账户登录系统,因此本教程中所有的操作都是以 roo ...
- 面向UI编程:ui.js 1.0 粗糙版本发布,分布式开发+容器化+组件化+配置化框架,从无到有的艰难创造
时隔第一次被UI思路激励,到现在1.0的粗糙版本发布,掐指一算整整半年了.半年之间,有些细节不断推翻重做,再推翻再重做.时隔今日,终于能先出来个东西了,这个版本很粗糙,主体功能大概能实现了,但是还是有 ...
随机推荐
- dev C++ 调试卡住/遇到endl函数卡住
今天调试一个程序,发现编译运行的时候可以正常运行,但是调试的时候总是在endl那里卡住 分享一个链接杀千刀的dev c++的不能单步调试的问题_老宁宁的博客-CSDN博客 #include<io ...
- 懂九转大肠的微软New Bing 内测申请教程
最近微软的New Bing开放内测了,网上已经有拿到内测资格的大佬们对比了ChatGPT和New Bing.对比结果是New Bing比ChatGPT更强大.来看看具体对比例子吧 1.时效性更强 Ch ...
- Serverless Streaming:毫秒级流式大文件处理探秘
摘要:本文将以图片处理的场景作为例子详细描述当前的问题以及华为云FunctionGraph函数工作流在面对该问题时采取的一系列实践. 文章作者|旧浪:华为云Serverless研发专家.平山:华为云中 ...
- 流量加密之:MSF流量加密
流量加密之:MSF流量加密 目录 流量加密之:MSF流量加密 1 背景 2 生成SSL证书 3 使用MSF生成带证书的后门 4 验证流量 1 背景 在MSF中生成shell,并上线运行时.都是通过ht ...
- PostGIS之线性参考
1. 概述 PostGIS 是PostgreSQL数据库一个空间数据库扩展,它添加了对地理对象的支持,允许在 SQL 中运行空间查询 PostGIS官网:About PostGIS | PostGIS ...
- IntelliJ IDEA 程序运行的控制台乱码
参考:https://blog.csdn.net/zp357252539/article/details/124614007 上方导航栏"Run→Edit Configurations-&q ...
- left join(二)
left join 通俗的解释:以左表为主表,返回左表的所有行,如果右表中没有匹配,则依然会有左表的记录,右表字段用null填充.看起来非常好理解,但实际操作的过程中可能会有一些很容易被忽略的点. 一 ...
- Linus对Linux 6.3内核的合并解释不满
Linux 6.3 内核的合并窗口已开启,Linus Torvalds 也收到了大量的 PR,目前总体看来正在有序进行.但 Linus 对部分合并请求的日志信息非常不满:"我之前就已经说过, ...
- C# datatable group by分组
DataTable dt = new DataTable(); dt.Columns.Add("A"); dt.Columns.Add("B"); dt.Col ...
- java学习日记20230227-java代码规范
JAVA代码规范 类,方法的注释要使用javadoc来写 非javadoc的注释往往是给代码维护者看的,着重告诉读者为什么这么写,如何修改,注意什么问题等 使用tab操作,实现缩进,默认整体向右边移动 ...