hadoop(九)启动|关闭集群(完全分布式六)|11
前置章节:hadoop集群namenode启动ssh免密登录(hadoop完全分布式五)|11
集群启动
配置workers(3.x之前是slaves),
删除localhost,添加102/103/104
[shaozhiqi@hadoop102 hadoop]$ pwd
/opt/module/hadoop-3.1.2/etc/hadoop
[shaozhiqi@hadoop102 hadoop]$ vi workers
[shaozhiqi@hadoop102 hadoop]$ cat workers
hadoop102
hadoop103
hadoop104
[shaozhiqi@hadoop102 hadoop]$
注:workers文件结尾不能有空格,文件中不能有空行
同步workers到其他机器
[shaozhiqi@hadoop102 hadoop]$ testxsync workers
fname=workers
pdir=/opt/module/hadoop-3.1.2/etc/hadoop
-------hadoop103 -----------------------
sending incremental file list
workers
sent 113 bytes received 37 bytes 100.00 bytes/sec
total size is 40 speedup is 0.27
------hadoop104 -----------------------
sending incremental file list
workers
sent 113 bytes received 37 bytes 100.00 bytes/sec
total size is 40 speedup is 0.27
[shaozhiqi@hadoop102 hadoop]$
验证是否同步成功
[shaozhiqi@hadoop103 hadoop]$ cat workers
hadoop102
hadoop103
hadoop104
[shaozhiqi@hadoop103 hadoop]$
[shaozhiqi@hadoop104 hadoop]$ cat workers
hadoop102
hadoop103
hadoop104
[shaozhiqi@hadoop104 hadoop]$
停止上节启动的namenode和datanode
[shaozhiqi@hadoop103 hadoop-3.1.2]$ sbin/hadoop-daemon.sh stop datanode
shaozhiqi@hadoop104 hadoop-3.1.2]$ sbin/hadoop-daemon.sh stop datanode
shaozhiqi@hadoop102 hadoop-3.1.2]$ sbin/hadoop-daemon.sh stop datanode
shaozhiqi@hadoop102 hadoop-3.1.2]$ sbin/hadoop-daemon.sh stop namenode
版本提示用这个命令:hdfs --daemon stop
启动hdfs
sbin/start-dfs.sh
(hdfs包括了namenode和datanode两个节点。具体可查看大数据及hadoop简要概念|6
[shaozhiqi@hadoop102 hadoop-3.1.2]$ sbin/start-dfs.sh
Starting namenodes on [hadoop102]
hadoop102: WARNING: /opt/module/hadoop-3.1.2/logs does not exist. Creating.
Starting datanodes
hadoop103: WARNING: /opt/module/hadoop-3.1.2/logs does not exist. Creating.
hadoop104: WARNING: /opt/module/hadoop-3.1.2/logs does not exist. Creating.
Starting secondary namenodes [hadoop104]
[shaozhiqi@hadoop102 hadoop-3.1.2]$
Jps发现其他都正常,但是namenode就是没有启动。。。
删除data logs,格式化namenode
[shaozhiqi@hadoop102 hadoop-3.1.2]$ bin/hdfs namenode –format
再次启动hdfs
[shaozhiqi@hadoop102 hadoop-3.1.2]$ sbin/start-dfs.sh
Starting namenodes on [hadoop102]
Starting datanodes
hadoop104: WARNING: /opt/module/hadoop-3.1.2/logs does not exist. Creating.
hadoop103: WARNING: /opt/module/hadoop-3.1.2/logs does not exist. Creating.
Starting secondary namenodes [hadoop104]
[shaozhiqi@hadoop102 hadoop-3.1.2]$ jps
7619 DataNode
7877 Jps
7494 NameNode
[shaozhiqi@hadoop102 hadoop-3.1.2]$
验证
102
[shaozhiqi@hadoop102 hadoop-3.1.2]$ jps
7619 DataNode
7877 Jps
7494 NameNode
[shaozhiqi@hadoop102 hadoop-3.1.2]$
103
[shaozhiqi@hadoop103 hadoop-3.1.2]$ jps
2931 Jps
2847 DataNode
[shaozhiqi@hadoop103 hadoop-3.1.2]$
104
[shaozhiqi@hadoop104 hadoop-3.1.2]$ jps
5424 SecondaryNameNode
5467 Jps
5308 DataNode
[shaozhiqi@hadoop104 hadoop-3.1.2]$
参照我们的规划配置,具体查看hadoop集群配置同步(hadoop完全分布式四)|10

验证通过
也可以看先我们的hdfs的namenodeweb,可以看到有三台机器ok

启动yarn
根据我们在[**hadoop****集群配置同步[hadoop集群配置同步(hadoop完全分布式四)|10]
的集群分配原则,我们的yarn的recourceManger在103所以yarn的启动只能在103起,否则会报错
sbin/start-yarn.sh
[shaozhiqi@hadoop103 hadoop-3.1.2]$ sbin/start-yarn.sh
Starting resourcemanager
Starting nodemanagers
[shaozhiqi@hadoop103 hadoop-3.1.2]$ jps
3154 ResourceManager
3271 NodeManager
3611 Jps
2847 DataNode
[shaozhiqi@hadoop103 hadoop-3.1.2]$
103ok
[shaozhiqi@hadoop104 hadoop-3.1.2]$ jps
5424 SecondaryNameNode
5782 Jps
5657 NodeManager
5308 DataNode
[shaozhiqi@hadoop104 hadoop-3.1.2]$
104ok
[shaozhiqi@hadoop102 hadoop-3.1.2]$ jps
7619 DataNode
8052 NodeManager
8164 Jps
7494 NameNode
[shaozhiqi@hadoop102 hadoop-3.1.2]$
102ok
启动成功
下节测试我们的hadoop集群
由于要关闭电脑,所以停止hadoop集群
启动时先起hdfs,然后yarn
先停yarn 再停hdfs
停集群yarn
[shaozhiqi@hadoop103 hadoop-3.1.2]$ sbin/stop-yarn.sh
Stopping nodemanagers
Stopping resourcemanager
[shaozhiqi@hadoop103 hadoop-3.1.2]$ jps
4145 Jps
2847 DataNode
[shaozhiqi@hadoop103 hadoop-3.1.2]$
停集群hdsf
[shaozhiqi@hadoop102 hadoop-3.1.2]$ sbin/stop-dfs.sh
Stopping namenodes on [hadoop102]
Stopping datanodes
Stopping secondary namenodes [hadoop104]
[shaozhiqi@hadoop102 hadoop-3.1.2]$ jps
8941 Jps
[shaozhiqi@hadoop102 hadoop-3.1.2]$
记得下次启动集群前格式namenode
hadoop(九)启动|关闭集群(完全分布式六)|11的更多相关文章
- CentOS系统下Hadoop 2.4.1集群安装配置(简易版)
安装配置 1.软件下载 JDK下载:jdk-7u65-linux-i586.tar.gz http://www.oracle.com/technetwork/java/javase/downloads ...
- Hadoop 2.6.1 集群安装配置教程
集群环境: 192.168.56.10 master 192.168.56.11 slave1 192.168.56.12 slave2 下载安装包/拷贝安装包 # 存放路径: cd /usr/loc ...
- Hadoop HA高可用集群搭建(Hadoop+Zookeeper+HBase)
声明:作者原创,转载注明出处. 作者:帅气陈吃苹果 一.服务器环境 主机名 IP 用户名 密码 安装目录 master188 192.168.29.188 hadoop hadoop /home/ha ...
- 完全关闭及再次启动cdh集群
关闭集群 - 关闭集群所有组件 关闭Cloudera Management Service 关闭cdh所有客户端节点 sudo /opt/cloudera-manager/cm-5.11.1/etc/ ...
- 【Redis学习之九】Redis集群:Twemproxy和HA
环境 虚拟机:VMware 10 Linux版本:CentOS-6.5-x86_64 客户端:Xshell4 FTP:Xftp4 jdk8 redis-3.0.4 主从模式对写压力没有分担,解决思路就 ...
- shell脚本启动所有集群节点
#profile变量追加到.bashrc中 cat /etc/profile >> ~/.bashrc #start-all-cluster.sh 启动脚本 #!/bin/bash ec ...
- 使用Docker搭建Hadoop集群(伪分布式与完全分布式)
之前用虚拟机搭建Hadoop集群(包括伪分布式和完全分布式:Hadoop之伪分布式安装),但是这样太消耗资源了,自学了Docker也来操练一把,用Docker来构建Hadoop集群,这里搭建的Hado ...
- 大数据系列(3)——Hadoop集群完全分布式坏境搭建
前言 上一篇我们讲解了Hadoop单节点的安装,并且已经通过VMware安装了一台CentOS 6.8的Linux系统,咱们本篇的目标就是要配置一个真正的完全分布式的Hadoop集群,闲言少叙,进入本 ...
- 3-3 Hadoop集群完全分布式配置部署
Hadoop集群完全分布式配置部署 下面的部署步骤,除非说明是在哪个服务器上操作,否则默认为在所有服务器上都要操作.为了方便,使用root用户. 1.准备工作 1.1 centOS6服务器3台 手动指 ...
随机推荐
- 再刷JVM-JVM运行时数据区域
前言 Java虚拟机在执行Java程序的过程中会把它所管理的内存划分为若干个不同的数据区域.这些区域有各自的用途,以及创建和销毁的时机,有的区域随着虚拟机进程的启动而一直存在,有些区域则是依赖用户线程 ...
- VUE axios请求 封装 get post Http
创建httpService.js 文件 import axios from 'axios'; import { Loading , Message } from 'element-ui'; impor ...
- java基础-Map
简介 Map是一种接口,实现类有 hashMap SortedMap是继承自Map的接口,实现类为TreeMap,在内部会对Key进行排序 遍历Map 使用for each循环遍历Map实例的keyS ...
- 企业级自动化部署方案——ansible实现tomcat自动安装和配置
共耗时10多个小时 思路一 总体设计 ansible-playbook目录结构 [root@ansible ~]# tree /etc/ansible/roles/tomcat /etc/ansibl ...
- UNIX环境高级编程——TCP/IP网络编程 常用网络信息检索函数
UNIX环境高级编程——TCP/IP网络编程 常用网络信息检索函数 gethostname() getppername() getsockname() gethostbyname() ...
- Apple的Core ML3简介——为iPhone构建深度学习模型(附代码)
概述 Apple的Core ML 3是一个为开发人员和程序员设计的工具,帮助程序员进入人工智能生态 你可以使用Core ML 3为iPhone构建机器学习和深度学习模型 在本文中,我们将为iPhone ...
- 对于一个由0..n的所有数按升序组成的序列,我们要进行一些筛选,每次我们取当前所有数字中从小到大的第奇数位个的数,并将其丢弃。重复这一过程直到最后剩下一个数。请求出最后剩下的数字。
输入描述: 每组数据一行一个数字,为题目中的n(n小于等于1000). 输出描述: 一行输出最后剩下的数字.我的思路是用两个链表,一个用于存储原数据,一个用于存储要丢掉的数据,再循环从元数据中剔除掉即 ...
- 用FME处理物探点表和线表,生成管线和设施
在项目的数据处理中,客户会提供物探点表和线表. 点表主要包括该点的物探编号.该点的X坐标.Y坐标.点的其他属性 线表主要包括该线的起始点物探编号.终止物探编号.线的其他属性 点表
- 2.1.JVM的垃圾回收机制,判断对象是否死亡
因为热爱,所以坚持. 文章下方有本文参考电子书和视频的下载地址哦~ 这节我们主要讲垃圾收集的一些基本概念,先了解垃圾收集是什么.然后触发条件是什么.最后虚拟机如何判断对象是否死亡. 一.前言 我们 ...
- Math常用方法
<!DOCTYPE html><html> <head> <meta charset="UTF-8"> <title>& ...