HDFS源码分析数据块汇报之损坏数据块检测checkReplicaCorrupt()
无论是第一次,还是之后的每次数据块汇报,名字名字节点都会对汇报上来的数据块进行检测,看看其是否为损坏的数据块。那么,损坏数据块是如何被检测的呢?本文,我们将研究下损坏数据块检测的checkReplicaCorrupt()方法。
关于数据块及其副本的状态,请阅读《HDFS源码分析之数据块及副本状态BlockUCState、ReplicaState》一文。
checkReplicaCorrupt()方法专门用于损坏数据块检测,代码如下:
- /**
- * The next two methods test the various cases under which we must conclude
- * the replica is corrupt, or under construction. These are laid out
- * as switch statements, on the theory that it is easier to understand
- * the combinatorics of reportedState and ucState that way. It should be
- * at least as efficient as boolean expressions.
- *
- * @return a BlockToMarkCorrupt object, or null if the replica is not corrupt
- */
- private BlockToMarkCorrupt checkReplicaCorrupt(
- Block reported, ReplicaState reportedState,
- BlockInfo storedBlock, BlockUCState ucState,
- DatanodeDescriptor dn) {
- // 检测数据节点DataNode上的数据块副本状态ReplicaState实例reportedState
- switch(reportedState) {
- case FINALIZED:// 数据块副本如果为FINALIZED状态,即没有被修改的状态
- // 需要再看名字节点数据块状态BlockUCState,即ucState
- switch(ucState) {
- case COMPLETE:// 如果是COMPLETE状态,不应被汇报为坏块:这种情况下,数据节点副本已经处于不会被修改的FINALIZED状态,
- // 而名字节点中的数据块状态为COMPLETE,也是不会被修改的状态,
- // 并且其他数据节点已经汇报过该数据块对应的一个副本,所以不会是损坏的数据块
- case COMMITTED:// 如果是COMMITTED状态,虽然数据块不会被修改,但是还没有任何数据节点汇报过副本,还需要做以下时间戳和大小的判断:
- if (storedBlock.getGenerationStamp() != reported.getGenerationStamp()) {
- // 如果存储的数据块时间戳不等于汇报的数据块时间戳,需要汇报为坏块,
- // 且损坏原因为Reason.GENSTAMP_MISMATCH,即时间戳不匹配
- final long reportedGS = reported.getGenerationStamp();
- return new BlockToMarkCorrupt(storedBlock, reportedGS,
- "block is " + ucState + " and reported genstamp " + reportedGS
- + " does not match genstamp in block map "
- + storedBlock.getGenerationStamp(), Reason.GENSTAMP_MISMATCH);
- } else if (storedBlock.getNumBytes() != reported.getNumBytes()) {
- // 如果存储的数据块大小不等于汇报的数据块大小,需要汇报为坏块
- // 且损坏原因为Reason.SIZE_MISMATCH,即大小不匹配
- return new BlockToMarkCorrupt(storedBlock,
- "block is " + ucState + " and reported length " +
- reported.getNumBytes() + " does not match " +
- "length in block map " + storedBlock.getNumBytes(),
- Reason.SIZE_MISMATCH);
- } else {
- // 其它情况下不是一个坏块
- return null; // not corrupt
- }
- case UNDER_CONSTRUCTION:// 如果是UNDER_CONSTRUCTION状态,数据还在被写入,所以需要做以下时间戳的判断:
- if (storedBlock.getGenerationStamp() > reported.getGenerationStamp()) {
- // 如果存储的数据块时间戳不等于汇报的数据块时间戳,需要汇报为坏块,
- // 且损坏原因为Reason.GENSTAMP_MISMATCH,即时间戳不匹配
- final long reportedGS = reported.getGenerationStamp();
- return new BlockToMarkCorrupt(storedBlock, reportedGS, "block is "
- + ucState + " and reported state " + reportedState
- + ", But reported genstamp " + reportedGS
- + " does not match genstamp in block map "
- + storedBlock.getGenerationStamp(), Reason.GENSTAMP_MISMATCH);
- }
- return null;
- default:
- // 其他情况下均不是损坏的数据块
- return null;
- }
- case RBW:// 数据块副本为正在被写入状态,不应被汇报为坏块
- case RWR:// 数据块副本为正等待被恢复状态
- if (!storedBlock.isComplete()) {
- // 如果存储的数据块不是Complete状态,则不是一个坏块
- return null; // not corrupt
- } else if (storedBlock.getGenerationStamp() != reported.getGenerationStamp()) {
- // 否则需要判断时间戳是否一致
- final long reportedGS = reported.getGenerationStamp();
- return new BlockToMarkCorrupt(storedBlock, reportedGS,
- "reported " + reportedState + " replica with genstamp " + reportedGS
- + " does not match COMPLETE block's genstamp in block map "
- + storedBlock.getGenerationStamp(), Reason.GENSTAMP_MISMATCH);
- } else { // COMPLETE block, same genstamp
- if (reportedState == ReplicaState.RBW) {
- // 如果数据块副本为正在写入状态RBW,不会是一个损坏的数据块
- // If it's a RBW report for a COMPLETE block, it may just be that
- // the block report got a little bit delayed after the pipeline
- // closed. So, ignore this report, assuming we will get a
- // FINALIZED replica later. See HDFS-2791
- LOG.info("Received an RBW replica for " + storedBlock +
- " on " + dn + ": ignoring it, since it is " +
- "complete with the same genstamp");
- return null;
- } else {
- // 否则为一个损坏的数据块,且损坏原因为Reason.INVALID_STATE
- return new BlockToMarkCorrupt(storedBlock,
- "reported replica has invalid state " + reportedState,
- Reason.INVALID_STATE);
- }
- }
- case RUR: // should not be reported 副本处于恢复状态下,不应被汇报为坏块
- case TEMPORARY: // should not be reported 副本为仅为复制而创建的临时副本,不应被汇报为坏块
- default:
- String msg = "Unexpected replica state " + reportedState
- + " for block: " + storedBlock +
- " on " + dn + " size " + storedBlock.getNumBytes();
- // log here at WARN level since this is really a broken HDFS invariant
- LOG.warn(msg);
- return new BlockToMarkCorrupt(storedBlock, msg, Reason.INVALID_STATE);
- }
- }
checkReplicaCorrupt()方法处理逻辑略显复杂,但是还算清晰,它需要被汇报的数据块Block实例reported、副本状态实例ReplicaState、数据块状态BlockUCState等参数,主要处理逻辑如下:
基于数据节点DataNode上的数据块副本状态ReplicaState实例reportedState进行检测,如果:
1、数据块副本状态ReplicaState为正在写入RBW、正在恢复RUR、为复制而创建的临时副本TEMPORARY三种状态,则肯定不是损坏的数据块,因为这些数据块副本还处于不确定的状态,还需要被写入或者被舍弃等;
2、数据块副本状态ReplicaState为FINALIZED的话,说明数据已被完全写入,数据块副本大小及时间戳均不会再发生变化,此时,就等着其所在数据节点DataNode进行数据块汇报,将该数据块副本汇报给名字节点NameNode,那么我们需要看数据块Block在名字节点内的状态:
2.1、如果是COMPLETE状态,不应被汇报为坏块:这种情况下,数据节点副本已经处于不会被修改的FINALIZED状态,而名字节点中的数据块状态为COMPLETE,也是不会被修改的状态,并且其他数据节点已经汇报过该数据块对应的一个副本,所以不会是损坏的数据块;
2.2、如果是COMMITTED状态,虽然数据块不会被修改,但是还没有任何数据节点汇报过副本,还需要做以下时间戳和大小的判断:
2.2.1、如果名字节点存储的数据块时间戳不等于汇报的数据块时间戳,需要汇报为坏块,且损坏原因为Reason.GENSTAMP_MISMATCH,即时间戳不匹配;
2.2.2、如果名字节点存储的数据块大小不等于汇报的数据块大小,需要汇报为坏块,且损坏原因为Reason.SIZE_MISMATCH,即大小不匹配;
2.2.3、其它情况下不是一个坏块;
2.3、如果是UNDER_CONSTRUCTION状态,数据还在被写入,所以可以忽略大小,只做以下时间戳的判断:
2.3.1、如果名字节点存储的数据块时间戳不等于汇报的数据块时间戳,需要汇报为坏块,且损坏原因为Reason.GENSTAMP_MISMATCH,即时间戳不匹配;
2.3.2、其它情况下不是一个坏块;
2.4、其他情况下均不是损坏的数据块;
3、数据块副本为正等待被恢复状态RWR的话,需要看数据块在名字节点NameNode的状态:
3.1、如果名字节点存储的数据块Block不是COMPLETE状态,则不是一个坏块,此时数据块尚未上报过名字节点NameNode;
3.2、如果名字节点存储的数据块是COMPLETE状态,说明之前已经上报过,需要判断时间戳是否一致,如果时间戳不一致的话,则说明其是一个坏块;
3.3、如果名字节点存储的数据块是COMPLETE状态,说明之前已经上报过,且时间戳一致的话,如果数据块副本为正在写入状态RBW,不会是一个损坏的数据块,否则为一个损坏的数据块,且损坏原因为Reason.INVALID_STATE;
4、其他情况下均为一个坏块,且损坏原因为Reason.INVALID_STATE。
BlockToMarkCorrupt是一个数据块标记为坏块的抽象数据结构,它包含四个成员变量,如下:
- /** The corrupted block in a datanode. */
- 数据节点上的坏块数据块信息
- final BlockInfo corrupted;
- /** The corresponding block stored in the BlockManager. */
- // 名字节点BlockManager中存储的相应的数据块信息
- final BlockInfo stored;
- // 损坏原因:字符串类型
- /** The reason to mark corrupt. */
- final String reason;
- // 损坏原因code:枚举类型
- /** The reason code to be stored */
- final Reason reasonCode;
其他的均是构造方法,及覆写的toString()方法,不再赘述!
HDFS源码分析数据块汇报之损坏数据块检测checkReplicaCorrupt()的更多相关文章
- HDFS源码分析心跳汇报之数据块汇报
在<HDFS源码分析心跳汇报之数据块增量汇报>一文中,我们详细介绍了数据块增量汇报的内容,了解到它是时间间隔更长的正常数据块汇报周期内一个smaller的数据块汇报,它负责将DataNod ...
- HDFS源码分析心跳汇报之数据块增量汇报
在<HDFS源码分析心跳汇报之BPServiceActor工作线程运行流程>一文中,我们详细了解了数据节点DataNode周期性发送心跳给名字节点NameNode的BPServiceAct ...
- HDFS源码分析数据块校验之DataBlockScanner
DataBlockScanner是运行在数据节点DataNode上的一个后台线程.它为所有的块池管理块扫描.针对每个块池,一个BlockPoolSliceScanner对象将会被创建,其运行在一个单独 ...
- HDFS源码分析之数据块及副本状态BlockUCState、ReplicaState
关于数据块.副本的介绍,请参考文章<HDFS源码分析之数据块Block.副本Replica>. 一.数据块状态BlockUCState 数据块状态用枚举类BlockUCState来表示,代 ...
- HDFS源码分析数据块复制监控线程ReplicationMonitor(二)
HDFS源码分析数据块复制监控线程ReplicationMonitor(二)
- HDFS源码分析数据块复制监控线程ReplicationMonitor(一)
ReplicationMonitor是HDFS中关于数据块复制的监控线程,它的主要作用就是计算DataNode工作,并将复制请求超时的块重新加入到待调度队列.其定义及作为线程核心的run()方法如下: ...
- HDFS源码分析心跳汇报之数据结构初始化
在<HDFS源码分析心跳汇报之整体结构>一文中,我们详细了解了HDFS中关于心跳的整体结构,知道了BlockPoolManager.BPOfferService和BPServiceActo ...
- HDFS源码分析心跳汇报之周期性心跳
HDFS源码分析心跳汇报之周期性心跳,近期推出!
- HDFS源码分析心跳汇报之DataNode注册
HDFS源码分析心跳汇报之DataNode注册,近期推出!
随机推荐
- android 微信开发交流群
有效期很短,可加个人微信 如果已过有效期,加我个人微信,我拉你进群
- CF 148D Bag of mice【概率DP】
D. Bag of mice time limit per test 2 seconds memory limit per test 256 megabytes Promblem descriptio ...
- win8.1 uefi引导
装上win8后,感觉似乎开机比win7要慢一些,但实际掐表又发现几乎无差别,但是看网上别人都说 win8可以10秒以内开机,然后又说他们是采用uefi引导,而不是bios引导,那我也试试吧,如下: 1 ...
- linux下的用户组管理
用户组管理分两类 如果赋给组什么权限,那么组员就会有什么权限 1.私有组 在创建新用户的时候,就要为用户指定组.如果没有指定,就会默认创建一个与用户名相同的用户组,这个用户组只有该用户一个用户,就被称 ...
- SQL Server 2005 无法连接到 127.0.0.1
[问题描述]如果连接本机的数据库服务器,服务器名称可填: 127.0.0.1或localhost或本机机器全名(比如HOME),有时候用本机机器名可以登录SQL Server 2005,但用127.0 ...
- android中与Adapter相关的控件----ViewFlipper
ViewFlipper(翻转视图) 一.ViewFlipper是一个多页面管理的控件,与ViewPager不同,ViewPager的是一页一页的的,而ViewFlipper则是一层一层的.图片轮播或者 ...
- 《Linux命令行与shell脚本编程大全 第3版》Linux命令行---43
以下为阅读<Linux命令行与shell脚本编程大全 第3版>的读书笔记,为了方便记录,特地与书的内容保持同步,特意做成一节一次随笔,特记录如下:
- springboot 2.0.8 跳转jsp页面
springboot项目创建教程 https://blog.csdn.net/q18771811872/article/details/88126835 springboot 2.0跳转 html教程 ...
- Ruby on rails初体验(三)
继体验一和体验二中的内容,此节将体验二中最开始的目标来实现,体验二中已经将部门添加的部分添加到了公司的show页面,剩下的部分是将部门列表也添加到公司的显示页面,整体思路和体验二中相同,但是还是会有点 ...
- LAN、WAN、WLAN的区别
听语音 浏览:22034 | 更新:2015-06-22 20:10 | 标签:网线 1 2 3 4 5 6 7 分步阅读 好多朋友在群内问我路由器如何配置,本来还耐心解答,但是他竟然连LAN.WAN ...