hive的hiveserver2模式启动不起来，发现Hadoop一直处于安全模式

命令介绍

命令hadoop fs –safemode get 查看安全模式状态

命令hadoop fs –safemode enter 进入安全模式状态

命令hadoop fs –safemode leave 离开安全模式状态

用Hadoop fsck查看破坏丢失的文件位置

hadoop  fsck

Usage: DFSck <path> [-move | -delete | -openforwrite] [-files [-blocks [-locations | -racks]]]

        <path>             检查这个目录中的文件是否完整

        -move               破损的文件移至/lost+found目录

        -delete             删除破损的文件

        -openforwrite   打印正在打开写操作的文件

        -files                 打印正在check的文件名

        -blocks             打印block报告 （需要和-files参数一起使用）

        -locations         打印每个block的位置信息（需要和-files参数一起使用）

        -racks               打印位置信息的网络拓扑图 （需要和-files参数一起使用）

第一步：检查hadoop文件系统hadoop fsck /

[root@node03 export]# hadoop fsck /

....................................................................................................

.............Status: CORRUPT					#Hadoop状态：不正常

 Total size:	273821489 B

 Total dirs:	403

 Total files:	213

 Total symlinks:		0

 Total blocks (validated):	201 (avg. block size 1362295 B)

  ********************************

  UNDER MIN REPL'D BLOCKS:	2 (0.99502486 %)

  dfs.namenode.replication.min:	1

  CORRUPT FILES:	2							#损坏了两个文件

  MISSING BLOCKS:	2							#丢失了两个块

  MISSING SIZE:		6174 B

  CORRUPT BLOCKS: 	2

  ********************************

 Minimally replicated blocks:	199 (99.004974 %)

 Over-replicated blocks:	0 (0.0 %)

 Under-replicated blocks:	0 (0.0 %)

 Mis-replicated blocks:		0 (0.0 %)

 Default replication factor:	3

 Average block replication:	2.8208954

 Corrupt blocks:		2

 Missing replicas:		0 (0.0 %)

 Number of data-nodes:		3

 Number of racks:		1

FSCK ended at Fri Aug 23 10:43:11 CST 2019 in 12 milliseconds

看到这些代表hadoop集群不正常，有文件丢失：

​ .............Status: CORRUPT #Hadoop状态：不正常

CORRUPT FILES: 2 #损坏了两个文件

MISSING BLOCKS: 2 #丢失了两个块

第二步：将hadoop文件状态信息打印到文件中

内容太多，截取了一部分信息

hadoop fsck / -files -blocks -locations -racks >/export/missingFile.txt 将检查到的内容打印到/export/missingFile.txt文件中

[root@node03 export]# hadoop fsck /  -files -blocks -locations  -racks >/export/missingFile.txt

/flink-checkpoint/11748bc079799f330078967fbf018a48/chk-74/_metadata 452 bytes, 1 block(s):  OK

0. BP-2135962035-192.168.52.100-1562110398602:blk_1073742825_2005 len=452 Live_repl=1 [/default-rack/192.168.52.110:50010]

/flink-checkpoint/11748bc079799f330078967fbf018a48/shared <dir>

/flink-checkpoint/11748bc079799f330078967fbf018a48/taskowned <dir>

/flink-checkpoint/42d81db182771fe71932120fa8933612 <dir>

/flink-checkpoint/42d81db182771fe71932120fa8933612/chk-950 <dir>

/flink-checkpoint/42d81db182771fe71932120fa8933612/chk-950/_metadata 337 bytes, 1 block(s):  OK

0. BP-2135962035-192.168.52.100-1562110398602:blk_1073745657_4837 len=337 Live_repl=1 [/default-rack/192.168.52.120:50010]

/flink-checkpoint/42d81db182771fe71932120fa8933612/chk-950/f59c63a0-a35d-4d4b-8e73-72c2aa1dd383 5657 bytes, 1 block(s):  OK

0. BP-2135962035-192.168.52.100-1562110398602:blk_1073745656_4836 len=5657 Live_repl=1 [/default-rack/192.168.52.100:50010]

/flink-checkpoint/42d81db182771fe71932120fa8933612/shared <dir>

/flink-checkpoint/42d81db182771fe71932120fa8933612/taskowned <dir>

/flink-checkpoint/50aebc9e7aac85fd33bff905972a6e01 <dir>

/flink-checkpoint/50aebc9e7aac85fd33bff905972a6e01/chk-9 <dir>

/flink-checkpoint/50aebc9e7aac85fd33bff905972a6e01/chk-9/_metadata 451 bytes, 1 block(s):  OK

0. BP-2135962035-192.168.52.100-1562110398602:blk_1073742843_2023 len=451 Live_repl=1 [/default-rack/192.168.52.100:50010]

/flink-checkpoint/50aebc9e7aac85fd33bff905972a6e01/chk-9/c58c8c49-8782-41b4-a3df-2fa7ff1d1eba 5663 bytes, 1 block(s):  OK

0. BP-2135962035-192.168.52.100-1562110398602:blk_1073742842_2022 len=5663 Live_repl=1 [/default-rack/192.168.52.120:50010]

/flink-checkpoint/50aebc9e7aac85fd33bff905972a6e01/shared <dir>

/flink-checkpoint/50aebc9e7aac85fd33bff905972a6e01/taskowned <dir>

/flink-checkpoint/626ea65de810a2ec3b1799b605a6a995 <dir>

/flink-checkpoint/626ea65de810a2ec3b1799b605a6a995/chk-175 <dir>

/flink-checkpoint/626ea65de810a2ec3b1799b605a6a995/chk-175/19195239-a205-4462-921d-09e0483a4080 5663 bytes, 1 block(s):

/flink-checkpoint/626ea65de810a2ec3b1799b605a6a995/chk-175/19195239-a205-4462-921d-09e0483a4080: CORRUPT blockpool BP-2135962035-192.168.52.100-1562110398602 block blk_1073743749

 MISSING 1 blocks of total size 5663 B

0. BP-2135962035-192.168.52.100-1562110398602:blk_1073743749_2929 len=5663 MISSING!

/flink-checkpoint/626ea65de810a2ec3b1799b605a6a995/chk-175/_metadata 511 bytes, 1 block(s):

/flink-checkpoint/626ea65de810a2ec3b1799b605a6a995/chk-175/_metadata: CORRUPT blockpool BP-2135962035-192.168.52.100-1562110398602 block blk_1073743750

 MISSING 1 blocks of total size 511 B

0. BP-2135962035-192.168.52.100-1562110398602:blk_1073743750_2930 len=511 MISSING!

可以看到正常文件后面都有ok字样，有MISSING!字样的就是丢失的文件。

/flink-checkpoint/626ea65de810a2ec3b1799b605a6a995/chk-175/19195239-a205-4462-921d-09e0483a4080: CORRUPT blockpool BP-2135962035-192.168.52.100-1562110398602 block blk_1073743749

MISSING 1 blocks of total size 5663 B

/flink-checkpoint/626ea65de810a2ec3b1799b605a6a995/chk-175/_metadata: CORRUPT blockpool BP-2135962035-192.168.52.100-1562110398602 block blk_1073743750

MISSING 1 blocks of total size 511 B

根据这个的路劲可以在hadoop浏览器界面中找到对应的文件路径，如下图：

第三步：修复两个丢失、损坏的文件

[root@node03 conf]# hdfs debug recoverLease -path /flink-checkpoint/626ea65de810a2ec3b1799b605a6a995/chk-175/19195239-a205-4462-921d-09e0483a4080 -retries 10

[root@node03 conf]# hdfs debug recoverLease -path /flink-checkpoint/626ea65de810a2ec3b1799b605a6a995/chk-175/_metadata -retries 10

[root@node03 conf]# hdfs debug recoverLease -path /flink-checkpoint/626ea65de810a2ec3b1799b605a6a995/chk-175/19195239-a205-4462-921d-09e0483a4080 -retries 10

recoverLease SUCCEEDED on /flink-checkpoint/626ea65de810a2ec3b1799b605a6a995/chk-175/19195239-a205-4462-921d-09e0483a4080

[root@node03 conf]# hdfs debug recoverLease -path /flink-checkpoint/626ea65de810a2ec3b1799b605a6a995/chk-175/_metadata -retries 10

recoverLease SUCCEEDED on /flink-checkpoint/626ea65de810a2ec3b1799b605a6a995/chk-175/_metadata

[root@node03 conf]#

可以看到：

...........Status: HEALTHY

 Total size:	273815315 B

 Total dirs:	403

 Total files:	211

 Total symlinks:		0

 Total blocks (validated):	199 (avg. block size 1375956 B)

 Minimally replicated blocks:	199 (100.0 %)

 Over-replicated blocks:	0 (0.0 %)

 Under-replicated blocks:	0 (0.0 %)

 Mis-replicated blocks:		0 (0.0 %)

 Default replication factor:	3

 Average block replication:	2.8492463

 Corrupt blocks:		0

 Missing replicas:		0 (0.0 %)

 Number of data-nodes:		3

 Number of racks:		1

FSCK ended at Fri Aug 23 11:15:01 CST 2019 in 11 milliseconds

...........Status: HEALTHY 集群状态：健康

现在重新启动hadoop就不会一直处于安全模式了，hiveserver2也能正常启动了。。

第四：意外状况

如果修复不了，或者提示修复成功但是集群状态还是下面这样：

.............Status: CORRUPT					#Hadoop状态：不正常

 Total size:	273821489 B

 Total dirs:	403

 Total files:	213

 Total symlinks:		0

 Total blocks (validated):	201 (avg. block size 1362295 B)

  ********************************

  UNDER MIN REPL'D BLOCKS:	2 (0.99502486 %)

  dfs.namenode.replication.min:	1

  CORRUPT FILES:	2							#损坏了两个文件

  MISSING BLOCKS:	2							#丢失了两个块

  MISSING SIZE:		6174 B

  CORRUPT BLOCKS: 	2

  ********************************

 Minimally replicated blocks:	199 (99.004974 %)

 Over-replicated blocks:	0 (0.0 %)

 Under-replicated blocks:	0 (0.0 %)

 Mis-replicated blocks:		0 (0.0 %)

 Default replication factor:	3

 Average block replication:	2.8208954

 Corrupt blocks:		2

 Missing replicas:		0 (0.0 %)

 Number of data-nodes:		3

 Number of racks:		1

FSCK ended at Fri Aug 23 10:43:11 CST 2019 in 12 milliseconds

1、如果损坏的文件不重要

首先：将找到的损坏文件备份好

然后：执行[root@node03 export]# hadoop fsck / -delete将损坏文件删除

[root@node03 export]# hadoop fsck / -delete

此命令一次不成功可以多试几次，前提是丢失、损坏的文件不重要！！！！！！！！！！

2、如果损坏的文件很重要不能丢失

可以先执行此命令：hadoop fs –safemode leave 强制离开安全模式状态

[root@node03 export]# hadoop fs –safemode leave

此操作不能完全解决问题，只能暂时让集群能够工作！！！！

而且，以后每次启动hadoop集群都要执行此命令，直到问题彻底解决。

如果并非以上问题请转这篇：

https://www.cnblogs.com/-xiaoyu-/p/12158984.html

hive的hiveserver2模式启动不起来，发现Hadoop一直处于安全模式的更多相关文章

  1. Hive 学习笔记（启动方式，内置服务）

    一.Hive介绍 Hive是基于Hadoop的一个数据仓库,Hive能够将SQL语句转化为MapReduce任务进行运行. Hive架构图分为以下四部分. 1.用户接口 Hive有三个用户接口: 命令 ...

  2. Hive（一）—— 启动与基本使用

    一.基本概念 Hive用于解决海量结构化日志的数据统计问题. Hive是基于Hadoop的一个数据仓库工具.本质是将HQL(Hive的查询语言)转化成MapReduce程序. HIve处理的数据存储在 ...

  3. 深入理解 JBoss 7/WildFly Standalone 模式启动过程

    概述 JBoss 7/WildFly Standalone 模式启动过程大致例如以下: 启动脚本 standalone.sh 启动 JBoss Modules,JBoss Modules 启动 JBo ...

  4. myeclipse的debug模式启动不了，但run模式可以启动

    一.问题 在用myeclipse的开发web项目时,经常会打断点,然后利用debug模式启动.但是,今天debug模式启动不了,run模式又可以.这给调试带来了很大的麻烦. 二.解决办法 1.点击de ...

  5. idea的debug模式启动运行慢

    今天发现idea的debug模式启动运行特别慢,查找原因是因为在多个方法上打了断点导致,关闭断点问题解决. 关闭断点方法为: 

  6. [k8s]debug模式启动集群&k8s常见报错集合(on the fly)

    debug模式启动-支持sa 集群内(pod访问api)使用443加密 no1 no2 安装flanneld kubelet/kube-proxy m1 安装etcd/ api/contruller/ ...

  7. selenium+python自动化87-Chrome浏览器静默模式启动（headless）

    前言 selenium+phantomjs可以打开无界面的浏览器,实现静默模式启动浏览器完成自动化测试,这个模式是极好的,不需要占用电脑的屏幕. 但是呢,phantomjs这个坑还是比较多的,并且遇到 ...

  8. tomcat在debug模式启动直接提示：弹框无法启动，无报错信息；但直接启动的话，就会有报错信息

    今天运行项目,Debug模式启动Tomcat,直接弹框:无法启动(翻译,因为后来整理,所以都忘记当时的截图) 后来尝试直接start,发现不弹框了,但是console有报出错信息. 类似以下错误 20 ...

  9. linux系统中 redis 保存数据的5种形式 linux后端模式启动 jedis无法通过IP地址和端口号访问如何修改linux防火墙

    vim修改redis.conf配置文件(我的已经复制到虚拟机的/usr/local/redis/bin目录下)为daemonize yes, 以后端模式启动 ./redis-server redis. ...

随机推荐

  1. HDU 5734 Acperience ( 数学公式推导、一元二次方程 )

    题目链接 题意 : 给出 n 维向量 W.要你构造一个 n 维向量 B = ( b1.b2.b3 ..... ) ( bi ∈ { +1, -1 } ) .然后求出对于一个常数 α > 0 使得 ...

  2. 【luoguP2483】k短路（[SDOI2010]魔法猪学院）

    题目描述 iPig在假期来到了传说中的魔法猪学院,开始为期两个月的魔法猪训练.经过了一周理论知识和一周基本魔法的学习之后,iPig对猪世界的世界本原有了很多的了解:众所周知,世界是由元素构成的:元素与 ...

  3. Python地理信息数据可视化

    地图 基础铺垫 定义 地图(map):是指按一定的比例运用符号.颜色.文字标记等描绘显示地球表面的自然地理.行政区域.社会经济状况的图形. 地图绘制步骤 绘制需要展示的地图,获取地图对象,获取每个区域 ...

  4. godaddy SSL证书不信任

    在使用网上教程的部署godaddy证书,会出现证书不受信任的情况. 各别审核比较严格的浏览器会阻止或者要求添加例外.情况如下: 利用在线证书测试工具会提示根证书的内容为空.从而导致证书不受信任. 解决 ...

  5. 定义了char**p,为什么能用p[i][j]的形式？p又不是二维数组?

    char **p;p[i][j]相当于*(*(p+i)+j) https://www.zhihu.com/question/63717863

  6. python并发——从线程池获取返回值

    并发是快速处理大量相似任务的绝佳办法,但对于有返回值的方法,需要一个容器专门来存储每个进程处理完的结果 from multiprocessing import Pool import time #返回 ...

  7. Leetcode题目215.数组中的第K个最大元素（中等）

    题目描述: 在未排序的数组中找到第 k 个最大的元素.请注意,你需要找的是数组排序后的第 k 个最大的元素,而不是第 k 个不同的元素. 示例 1: 输入: [3,2,1,5,6,4] 和 k = 2 ...

  8. caps lock 映射成 esc，右Ctrl映射右移

    xmodmap -e 'clear Lock' -e 'keycode 0x42 = Escape' xmodmap -e 'clear Lock' -e 'keycode 105= Right'

  9. 移动端——meta标签

    meta标签主要辅助HTML结构层的.meta标签不管在互联网前端还是在移动端都起了很重要的作用. <meta http-equiv="Content-type" conte ...

  10. 使用 docker 快速安装 oracle 11g

    前言 我们在手动安装oracle数据库时,安装步骤纷繁复杂,耗时较长 在此介绍如何使用docker快速安装oracle 11g 一.docker 及其安装环境 操作系统: [root@centos7 ...