Hadoop 故障整理

1、关于DataNode 错误信息解析

　　错误内容

java.io.IOException: Incompatible clusterIDs in /opt/hadoop/dfs/data: namenode clusterID = CID-40d92cfa-751c--b89c-43f90751214b; datanode clusterID = CID-fe4d7495--4bc2-9f03-5bdade0be587

　　原因及处理方法

原因：   由于多次 format 导致， NameNode 节点 clusterID值与DataNode 节点clusterID 值不相等。

处理方法：

    、 修改 DataNode  节点的 clusterID 与 NameNode  clusterID  值相等。

    、修改文件位置：例：/opt/hadoop/dfs/data/current/VERSION

    、VERSION  文件内容如下:

   　　　　　　storageID=DS-3fab65fb-ec2b-495c-831d-bb59151f7788

　　　　　　　　clusterID=CID-40d92cfa-751c--b89c-43f90751214b

　　　　　　　　cTime=

　　　　　　　　datanodeUuid=211d8c5d-edd9-4bc7-90e6-5ac17c129deb

　　　　　　　　storageType=DATA_NODE

　　　　　　　　layoutVersion=-

Hadoop 故障整理的更多相关文章

转：hadoop知识整理
文章来自于:http://tianhailong.com/hadoop%E7%9F%A5%E8%AF%86%E6%95%B4%E7%90%86.html 按照what.how.why整理了下文章,帮助 ...
hadoop故障及其应对
为更好了解各种故障,可以修改数据块的大小和提升NameNode的日志级别 <property> <name>dfs.block.size</name> <va ...
hadoop知识整理（2）之MapReduce
之前写的关于MR的文章的前半部分已丢. 所以下面重点从3个部分来谈MR: 1)Job任务执行过程,以及主要进程-ResourceManager和NodeManager作用: 2)shuffle过程: ...
Hadoop配置项整理(mapred-site.xml)【转】
本文转自:http://slaytanic.blog.51cto.com/2057708/1101360 name value Description hadoop.job.history.locat ...
Hadoop 博文整理
参考文章##搭建使用yum安装CDH Hadoop集群 http://blog.javachen.com/2013/04/06/install-cloudera-cdh-by-yum/ Ha ...
mysql-mmm故障整理
Auth: JinDate: 20140414 1.master-slave同步问题1)故障描述和错误代码:监控报警slave故障登录slave服务器查看mysql> show slave st ...
mysql 故障整理
mysql> system mysqldump -uroot -p -B mingongge >/root/mingongge_bak.sql Enter password: mysqld ...
hadoop知识整理（4）之zookeeper
一.介绍一个分布式协调服务框架: 一个精简的文件系统,每个节点大小最好不大于1MB: 众多hadoop组件依赖于此,比如hdfs,kafka,hbase,storm等: 旨在,分布式应用中,提供一个 ...
hadoop知识整理（3）之MapReduce之代码编写
前面2篇文章知道了HDFS的存储原理,知道了上传和下载文件的过程,同样也知晓了MR任务的执行过程,以及部分代码也已经看到,那么下一步就是程序员最关注的关于MR的业务代码(这里不说太简单的): 一.关于 ...

随机推荐

2017-11-8—自动控制原理在软硬件方面上的应用和体现
这个话题讲起来是非常大的,先贴一下百度百科的定义: 自动控制(automatic control)是指在没有人直接参与的情况下,利用外加的设备或装置,使机器.设备或生产过程的某个工作状态或参数自动地按 ...
UWB DWM1000 智能跟踪小车 --[蓝点无限]
蓝点DWM1000 模块已经打样测试完毕,有兴趣的可以申请购买了,更多信息参见蓝点论坛 UWB 智能跟踪小车:一共三个UWB模块,手持一个,小车上两个. 通过测量小车上两个模块与手持模块之间的距离, ...
MongDB增删改查
增加增加一条:db.th.insertOne({}) // 返回 _id 增加多条:db.th.insertMany([{},{},{}]) // 返回 _ids 针对Array增加操作: db.s ...
转 mysql Next-Key Locking
原文:http://dev.mysql.com/doc/refman/5.5/en/innodb-next-key-locking.html 14.5.2.5 Avoiding the Phantom ...
idea创建第一个普通java web项目
1.新建项目(工作空间) 选择空项目输入项目名称,点击完成系统会默认选中Modules,点击上面的小+号创建模块->New Module 新建一个Java EE Web Applicatio ...
接线端子VH,CH,XH
Ehcache 3.7文档—基础篇—Tiering Options
Ehcache支持分层缓存的概念,这节主要介绍不同的配置选项,同时也解释了规则和最佳实践. 一. 数据缓存到堆外当在cache中除了有heap层之外,有一些需要注意的: 添加一个key-value到 ...
lamdba表达式
lambda表达式是一个可传递的代码块,可以在以后执行一次或多次. lambda表达式的语法: 1. 参数 -> 表达式(无需指定返回类型) (String first, String seco ...
js 第三期小肩膀第一段
var 时间戳 = new.Date().getTime();//系统引擎 var 时间戳 = Date.now(); //V8引擎数据类型 false = underfuned =null = ...
深度好文 | 在阿里做了5年技术Leader，我总结出了这些套路！
导读:阿里巴巴高级技术专家云狄将为大家从管理的角度分享技术TL的核心职责,这其中包括团队建设.团队管理.团队文化.沟通与辅导.招聘与解雇等,希望与大家共同探讨.交流. 背景互联网公司的技术团队管理通 ...

Hadoop 故障整理

Hadoop 故障整理的更多相关文章

随机推荐

热门专题