完全分布式开发

整体流程

1、准备3台纯净虚拟机

2、修改每台ip,主机名,主机映射,关闭防火墙

3、安装jdk和hadoop,配置环境变量

4、集群分发脚本编写

5、集群配置

6、ssh免密登录

7、集群启动(群起)

8、配置历史服务器

9、配置日志的聚集

10、集群时间同步

 

一、准备3台纯净的客户机,每台客户机执行如下操作

1、修改虚拟机ip

进入虚拟网卡配置文件,最后的文件名可能不太一样,不确定可以cd进去看看

sudo vim /etc/sysconfig/network-scripts/ifcfg-ens33

要修改的地方有:BOOTPROTO=static,ONBOOT=yes

额外再增加IPADDR,PREFIX,GATEWAY,DNS1,DNS2

其中,IPADDR与VMWare的NAT模式的子网ip设置在同一网段即可

PREFIX与下图一致

GATEWAY与VMWare的NAT模式的网关保持一致,DNS1也是。

DNS2=8.8.8.8

2、修改虚拟机主机名

sudo hostnamectl --static set-hostname hadoop101

主机名和ip尽量按照如下设置

192.168.1.100 hadoop100

192.168.1.101 hadoop101

192.168.1.102 hadoop102

192.168.1.103 hadoop103

192.168.1.104 hadoop104

192.168.1.105 hadoop105

192.168.1.106 hadoop106

192.168.1.107 hadoop107

192.168.1.108 hadoop108

3、修改主机映射(Linux和Windows都要改)

在linux下执行如下命令

sudo vim /etc/hosts

将上面的ip和主机名复制进去

打开windows的 C:\Windows\System32\drivers\etc\hosts

将上面的ip和主机名复制到最后

注意:当前虚拟机ip,主机名,一定要和hosts中的相对应

4、关闭防火墙

sudo systemctl stop firewalld

sudo systemctl disable firewalld

二、集群部署

1、在其中一台上安装jdk和hadoop,并配置环境变量,测试安装是否成功

先在/opt/下创建两个目录,module,software

(1)卸载系统自带的JDK

rpm -qa | grep -i java | xargs -n1 sudo rpm -e –nodeps

(2)将jdk包放入software下,解压到module

(3)将hadoop包放入software下,解压到module

(4)配置jdk环境变量:将如下内容添加到/etc/profile.d/my_env.sh

#JAVA_HOME

export JAVA_HOME=/opt/module/jdk1.8.0_212

export PATH=$PATH:$JAVA_HOME/bin

(5)配置hadoop环境变量:将如下内容添加到/etc/profile

#HADOOP_HOME

export HADOOP_HOME=/opt/module/hadoop-3.1.3

export PATH=$PATH:$HADOOP_HOME/bin

export PATH=$PATH:$HADOOP_HOME/sbin

修改后使profile文件生效:source /etc/profile

(6)测试是否安装成功

java -version

hadoop version

2、编写集群分发脚本xsync

(1)scp(实现服务器与服务器之间的数据拷贝):

scp -r /opt/module  root@hadoop102:/opt/module

(2)rsync(主要用于备份和镜像。具有速度快、避免复制相同内容和支持符号链接的优点)

rsync -av /opt/software/ hadoop102:/opt/software

(3)xsync集群分发脚本(需求:循环复制文件到所有节点的相同目录下)

在用户主目录下创建xsync文件,输入如下内容

#!/bin/bash

#1. 判断参数个数

if [ $# -lt 1 ]

then

echo Not Enough Arguement!

exit;

fi

#2. 遍历集群所有机器

for host in hadoop102 hadoop103 hadoop104

do

echo ====================  $host  ====================

#3. 遍历所有目录,挨个发送

for file in $@

do

#4 判断文件是否存在

if [ -e $file ]

then

#5. 获取父目录

pdir=$(cd -P $(dirname $file); pwd)

#6. 获取当前文件的名称

fname=$(basename $file)

ssh $host "mkdir -p $pdir"

rsync -av $pdir/$fname $host:$pdir

else

echo $file does not exists!

fi

done

done

保存退出后,修改xsync文件权限,使其有执行权限。

将脚本移动到/bin下,方便全局调用

3、集群部署规划,hadoop配置文件修改

NameNode和ResourceManager,SecondaryNameNode不要装在一台服务器上

首先在hadoop102这台机器上对配置文件进行修改,改完之后把配置文件分发到其他主机上。

对/opt/module/hadoop-3.1.3/etc/hadoop/下的配置文件进行修改。

(1)对core-site.xml进行修改,在configuration标签中输入如下内容

<property>

<name>fs.defaultFS</name>

<value>hdfs://hadoop102:8020</value>

</property>

<property>

<name>hadoop.data.dir</name>

<value>/opt/module/hadoop-3.1.3/data</value>

</property>

<property>

<name>hadoop.proxyuser.atguigu.hosts</name>

<value>*</value>

</property>

<property>

<name>hadoop.proxyuser.atguigu.groups</name>

<value>*</value>

</property>

(2)对hdfs-site.xml进行修改

<property>

<name>dfs.namenode.name.dir</name>

<value>file://${hadoop.data.dir}/name</value>

</property>

<property>

<name>dfs.datanode.data.dir</name>

<value>file://${hadoop.data.dir}/data</value>

</property>

<property>

<name>dfs.namenode.checkpoint.dir</name>

<value>file://${hadoop.data.dir}/namesecondary</value>

</property>

<property>

<name>dfs.client.datanode-restart.timeout</name>

<value>30</value>

</property>

<property>

<name>dfs.namenode.secondary.http-address</name>

<value>hadoop104:9868</value>

</property>

(3)对yarn-site.xml进行修改

<property>

<name>yarn.nodemanager.aux-services</name>

<value>mapreduce_shuffle</value>

</property>

<property>

<name>yarn.resourcemanager.hostname</name>

<value>hadoop103</value>

</property>

<property>

<name>yarn.nodemanager.env-whitelist</name>

<value>JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAPRED_HOME</value>

</property>

(4)对mapred-site.xml进行修改

<property>

<name>mapreduce.framework.name</name>

<value>yarn</value>

</property>

分发配置文件:

xsync /opt/module/hadoop-3.1.3/etc/hadoop/

4、ssh免密登录

根据之前集群部署规划,hadoop102放NameNode,103放ResourceNodeManager

所以102和103都需要向其他主机发布指令。

(1)在102和103分别执行如下命令,连续按三次回车键

ssh-keygen -t rsa

(2)将公钥拷贝到包括自己的所有主机上。

ssh-copy-id hadoop102

ssh-copy-id hadoop103

ssh-copy-id hadoop104

 

5、集群启动(群起)

(1)配置workers

vim /opt/module/hadoop-3.1.3/etc/hadoop/workers

在该文件中添加如下内容

hadoop102

hadoop103

hadoop104

注意:

1、该文件中不能有空行

2、该文件添加的内容结尾不允许有空格

(2)将修改后的配置文件目录同步到各个主机上

xsync /opt/module/hadoop-3.1.3/etc

(3)启动集群

如果是第一次启动集群,或者是修改了配置文件,需要将102的NameNode格式化,格式化之前要先停止上次启动的所有NameNode和DataNode,并且删除data和logs数据。

格式化命令:

hdfs namenode -format

群起/停HDFS命令(102上):

start-dfs.sh/stop-dfs.sh

群起/停YARN命令(103上):

start-yarn.sh/stop-yarn.sh

6、配置历史服务器

(1)配置mapred-site.xml

vi /opt/module/hadoop-3.1.3/etc/hadoop/mapred-site.xml

在该文件中添加如下内容

<!-- 历史服务器端地址 -->

<property>

<name>mapreduce.jobhistory.address</name>

<value>hadoop102:10020</value>

</property>

<!-- 历史服务器web端地址 -->

<property>

<name>mapreduce.jobhistory.webapp.address</name>

<value>hadoop102:19888</value>

</property>

 

(2)分发配置

xsync $HADOOP_HOME/etc/hadoop/mapred-site.xml

(3)在hadoop2上启动历史服务器

mapred –daemon start historyserver

(4)查看历史服务器是否启动

jps

(5)查看JobHistory

http://hadoop102:19888/jobhistory

7、配置日志的聚集
(1)配置yarn-site.sh

vim /opt/module/hadoop-3.1.3/etc/hadoop/yarn-site.xml

在其中添加如下内容

<property>

<name>yarn.log-aggregation-enable</name>

<value>true</value>

</property>

<property>

<name>yarn.log.server.url</name>

<value>http://hadoop102:19888/jobhistory/logs</value>

</property>

<property>

<name>yarn.log-aggregation.retain-seconds</name>

<value>604800</value>

</property>

(2)分发配置

xsync $HADOOP_HOME/etc/hadoop/yarn-site.xml

 

8、集群时间同步

待完善---2020/11/11

Hadoop完全分布式开发配置流程的更多相关文章

  1. Hadoop伪分布式重启正确流程

    既然是伪分布式,那就不可避免的设计到重启Hadoop服务或者重启Hadoop服务器的情况,正确的停止和重启是很有必要的. 首先是Hadoop服务的停止,使用 ./sbin/stop-all.sh脚本来 ...

  2. Hadoop与分布式开发

        hadoop上的并行应用程序开发是基于MapReduce编程框架的,MapReduce编程模型的原理是:利用一个输入的key/value对集合来产生一个输出的key/value对集合. Map ...

  3. Hadoop完全分布式的配置

    选取机器sam01作为主节点,并进行分布式文件的配置 1.进入Hadoop配置文件路径/usr/local/hadoop/etc/hadoop(这里我把Hadoop安装在/usr/local目录下) ...

  4. Hadoop完全分布式安装配置完整过程

    一. 硬件.软件准备 1. 硬件设备 为了方便学习Hadoop,我采用了云服务器来配置Hadoop集群.集群使用三个节点,一个阿里云节点.一个腾讯云节点.一个华为云节点,其中阿里云和腾讯云都是通过使用 ...

  5. NC6开发配置流程

    1.功能注册 2.菜单注册 3.单据类型管理 4.单据模板初始化 5.查询模板初始化 6.功能节点默认模板设置 7.编码对象注册.编码规则定义

  6. Hadoop 伪分布式安装配置

  7. java大数据最全课程学习笔记(2)--Hadoop完全分布式运行模式

    目前CSDN,博客园,简书同步发表中,更多精彩欢迎访问我的gitee pages 目录 Hadoop完全分布式运行模式 步骤分析: 编写集群分发脚本xsync 集群配置 集群部署规划 配置集群 集群单 ...

  8. Hadoop学习笔记(一):ubuntu虚拟机下的hadoop伪分布式集群搭建

    hadoop百度百科:https://baike.baidu.com/item/Hadoop/3526507?fr=aladdin hadoop官网:http://hadoop.apache.org/ ...

  9. 基于Centos搭建 Hadoop 伪分布式环境

    软硬件环境: CentOS 7.2 64 位, OpenJDK- 1.8,Hadoop- 2.7 关于本教程的说明 云实验室云主机自动使用 root 账户登录系统,因此本教程中所有的操作都是以 roo ...

  10. 面向UI编程:ui.js 1.0 粗糙版本发布,分布式开发+容器化+组件化+配置化框架,从无到有的艰难创造

    时隔第一次被UI思路激励,到现在1.0的粗糙版本发布,掐指一算整整半年了.半年之间,有些细节不断推翻重做,再推翻再重做.时隔今日,终于能先出来个东西了,这个版本很粗糙,主体功能大概能实现了,但是还是有 ...

随机推荐

  1. 基于二叉树的高效IP检索格式MMDB

    一.MMDB简介 MMDB(MaxMind Database) 是MaxMind推出的一个数据存储和检索的数据库格式,用于旗下针对IP检索和存储的Geo产品. IP格式由二进制比特数组组成,很容易想到 ...

  2. .Net和.NetCore WebAPI批量上传文件以及文件操作(支持模糊匹配)

    1.Net /// <summary> /// 上传文件 /// </summary> /// <returns></returns> [HttpPos ...

  3. 华为云发布分布式编译构建系统CodeArts Build

    摘要:2月14日,华为云发布分布式编译构建系统CodeArts Build,旨在支撑企业实现高效的软件开发,缩短产品上市周期,帮助企业的软件产品快速形成关键竞争力. 本文分享自华为云社区<唯快不 ...

  4. .net 字符串逗号隔开去重

    1.本文背景 同时输入/选择多条信息或批量输入/选择多条信息形成一个逗号隔开的字符串集,会出现数据重复的错误情况,产生不必要的脏数据,本文依次收集测试几种有效的去重方法. 2.代码实现 1)方法一:L ...

  5. ROS创建一个基本功能包

    1.mkdir catkin_ws/src 2.cd catkin_ws/src 3.catkin_init_workspace 4.cd ~/catkin_ws/ 5.catkin_make 6.在 ...

  6. JZOJ 6799. 【2014广州市选day2】game

    题目 思路 呵呵,正解并不是什么神奇的方法 而是最原始的最粗暴的最有用的最万能的----搜索 依题模拟即可 \(Code\) #include<cstdio> #include<cs ...

  7. JZOJ 4213. 【五校联考1day2】对你的爱深不见底

    题目 思路 结论题,我不会证明: 找到第一个 \(|S_n| \leq m + 1\),那么答案就是 \(m - |S_{n-2}|\) 证明?我说了我不会,就当结论用吧 这已经很恶心了 然而这题还要 ...

  8. PostgreSQL中的row_number() 与distinct用法说明

    一.示例 这两个SQL执行所得到的数据是一样的! select count(s.*) from (  select *, row_number() over (partition by fee_dat ...

  9. Linux安装PHP8 新版笔记

    PHP部分 官网下载地址:https://www.php.net/downloads.php 我下载的是此时的最新稳定版8.2.3 cd /usr/localwget https://www.php. ...

  10. Qt5 CMake项目简单模板

    cmake_minimum_required(VERSION 3.5) project(test VERSION 0.1 LANGUAGES CXX) set(CMAKE_INCLUDE_CURREN ...