hbase中相关命令行操作在服务端都是由相应的Procedure来执行完成的,并不是一个单独的操作,而是由其状态机中的一系列状态按照流程来完成的。特别的,我这次本着有图有真相的原则来为大家分析这一流程。
这次,我们主要分析hbase在HMaster的初始化方法finishActiveMasterInitialization中,初始化Meta信息的InitMetaProcedure流程。以最新github分支上的hbase代码而言,对应下图中的:
如图所示,在构造了InitMetaProcedure对象之后,ProcedureExecutor将其提交,而后,在ProcedureExecutor.pushProcedure方法中调用scheduler.addBack方法(此时的scheduler为MasterProcedureScheduler)。由于InitMetaProcedure间接实现了TableProcedureInterface接口,如下图所示:

因此,会将该procedure加入任务队列tableRunQueue中。

像其他许多框架(例如netty)的原理一样,这里必然是有一些线程在不断地轮询,直接或间接的从任务队列中获取任务。在我们当前分析的流程中,ProcedureExecutor.WorkerThread充当了这个角色。
从后续源码中,我们很容易知道,接着依次调用ProcedureExecutor.executeProcedure,procedure.doExecute。特别的,在procedure.doExecute方法中,首先通过其抽象父类Procedure.doExecute,然后调用其抽象父类StateMachineProcedure.execute,最后调用InitMetaProcedure.executeFromState。由于InitMetaProcedure.getInitialState中获得的InitMetaProcedure的初始状态为InitMetaState.INIT_META_ASSIGN_META,因此会调用下面的addChildProcedure方法。
特别的,方法内首先调用AssignmentManager.createAssignProcedures,AssignmentManager.createAssignProcedure,TransitRegionStateProcedure.assign等方法,构建了一个TRSP Procedure。并且初始化TRSP为初始状态为RegionStateTransitionState.REGION_STATE_TRANSITION_GET_ASSIGN_CANDIDATE,
最终状态为RegionStateTransitionState.REGION_STATE_TRANSITION_CONFIRM_OPENED的 Procedure。

然后通过调用addChildProcedure方法将刚刚构建的TRSP添加到其subProcList中。接着,回到了StateMachineProcedure.execute方法中,将刚刚构建好的subProcList以数组形式返回,一直到ProcedureExecutor.execProcedure。接着调用ProcedureExecutor.initializeChildren设置subprocs的ParentProcId、RootProcId与ProcId实现对subprocs与父procedure的关联。然后,由于subprocs不为空,调用submitChildrenProcedures,将刚刚创建的TRSP继续加入到scheduler的任务队列中。
而后,在WorkerThread.run方法中继续轮询调用。接下来的流程与上面所述的大致相同,只是这次在执行Procedure.doExecute中调用到了TransitRegionStateProcedure.execute。而后才继续调用StateMachineProcedure.execute。接着就调用到了TransitRegionStateProcedure.executeFromState。根据下图所示,结合刚刚TRSP初始化时的状态,我们很容易便知道,TRSP将依次经过REGION_STATE_TRANSITION_GET_ASSIGN_CANDIDATE-->REGION_STATE_TRANSITION_OPEN-->REGION_STATE_TRANSITION_CONFIRM_OPENED,从而完成调用。

首先是调用queueAssign,然后调用AssignmentManager.queueAssign,将TRSP加入到MasterProcedureScheduler的tableRunQueue之中,并将TRSP当前状态置为REGION_STATE_TRANSITION_OPEN。而后,在ProcedureExecutor.WorkerThread的轮询中继续调用scheduler.poll,这里获得状态为REGION_STATE_TRANSITION_OPEN的TRSP,也就是刚刚转换过来的TRSP(至于具体的流程,我们在下一节中具体分析)。接下来,我们继续经过相同的流程,来到TransitRegionStateProcedure.executeFromState,由于当前状态为REGION_STATE_TRANSITION_OPEN,故而调用openRegion方法。
在openRegion方法内调用了AssignmentManager.regionOpening,更新了regionNode为OPENING,而后调用了addChildProcedure(new OpenRegionProcedure(getRegion(), loc)),并且将当前状态设置为REGION_STATE_TRANSITION_CONFIRM_OPENED。
由于上面addChildProcedure方法的调用,因此在该TRSP的subProcList中多了一个OpenRegionProcedure类型的Procedure。紧接着返回到Procedure.execProcedure。

由于其subprocs不为空,因此调用submitChildrenProcedures将OpenRegionProcedure加入到scheduler的调用队列中。OpenRegionProcedure的父类为RegionRemoteProcedureBase,因此,在接下来在Procedure.doExecute的调用中,会转到RegionRemoteProcedureBase.execute。
特别的,在execute的执行流程中,涉及到客户端与服务端的调用,我们将详细讲述。
如图所示,通过env.getRemoteDispatcher获取到RSProcedureDispatcher,调用其addOperationToNode方法。在addOperationToNode方法内调用node.add方法。
特别注意上图的node类型为RemoteProcedureDispatcher.BufferNode,其add方法如下图所示:
这里调用了timeoutExecutor.add方法,其中timeoutExecutor类型为TimeoutExecutorThread。这里我们只附一张图,详细流程将在下节叙述。
略过这里,回到RegionRemoteProcedureBase.execute,该方法最后调用了event.suspendIfNotReady,将该procedure加入了ProcedureEvent.suspendedProcedures,最后间接的加入到轮询队列中。至此,CreateTableProcedure与TRSP依次调用下图中标亮的方法,从而完成InitMetaProcedure流程的完整调用。
如果大家感觉不错,希望点一下下面的推荐。你的肯定是小编最大的动力。如果有疑问,也可以发送邮件至15935152719@163.com,期待你的来信。
- HBase 数据读写流程
HBase 数据读写流程 2016-10-18 杜亦舒 读数据 HBase的表是按行拆分为一个个 region 块儿,这些块儿被放置在各个 regionserver 中 假设现在想在用户表中获取 ro ...
- HBase数据存取流程
一.HBase的特点是什么 1.HBase一个分布式的基于列式存储或者行式存储的数据库,基于hadoop的hdfs存储,zookeeper进行管理. 2.HBase适合存储半结构化或非结构化数据,对于 ...
- HBase - 数据写入流程解析
本文由 网易云发布. 作者:范欣欣 本篇文章仅限内部分享,如需转载,请联系网易获取授权. 众所周知,HBase默认适用于写多读少的应用,正是依赖于它相当出色的写入性能:一个100台RS的集群可以轻松 ...
- Hbase的读写流程
HBase读写流程 1.HBase读数据流程 HRegionServer保存着meta表以及表数据,要访问表数据,首先Client先去访问zookeeper,从zookeeper里面获取meta表所在 ...
- Hbase负载均衡流程以及源码
hmater负责把region均匀到各个region server .hmaster中有一个线程任务是专门处理负责均衡的,默认每隔5分钟执行一次. 每次负载均衡操作可以分为两步: 生成负载均衡计划表 ...
- HBase数据读写流程(1.3.1)
===数据写入流程=== 源码:https://github.com/apache/hbase/blob/master/hbase-server/src/main/java/org/apache/ha ...
- HBase Region Assign流程详解
Hbase是kv存储,但是逻辑上我们可以把存储在hbase上的kv数据当成表,rowkey可以认为是表的主键.为了便于分布式操作,hbase会把表横向切分成一块一块的数据,而每块就是一个Region. ...
- HBase RegionServer Splitting 流程
RegionServer Splitting 实现 HBase 中的写请求由 Region Server 处理,这些数据首先存储在 memstore (RegionServer 里的一个存储系统)里. ...
- Hbase数据读写流程
From: https://blog.csdn.net/wuxintdrh/article/details/69056188 写操作: Client写入,存入Memstore,Memstore满则Fl ...
随机推荐
- linux学习第十九天 (Linux就该这么学) 结课了
今天最后一天课程了,结课了,还有点舍不得那,在些也祝 李老师 事业蒸蒸日上,超来超好, 今天内容是部署了 LNMP 部署动态网站环境(linux +nginx+mysql+php) 安装文件挺别多, ...
- linux学习第十五天 (Linux就该这么学) 找到一本不错的Linux电子书,附《Linux就该这么学》章节目录
今天收尾DNS内容复习了,还有分享解析配置,都没有记,主要访问同一个域名,就近访问,
- 图数据库-Neo4j使用
Cypher 查询语言简单使用 3.1.基本语法 Node语法: Cypher使用一对圆括号来表示一个节点:提供了多种格式如下: () 匿名节点 (matrix) 为节点添加一个ID (:Movie ...
- 获取window.location.href中传的值,并且转换成json数据使用
做个记录保存一下,以免以后再次用到忘记了. function locVal(){ var url=window.location.href; if (url.indexOf('?')==-1)retu ...
- spring bean 注入
概念 http://developer.51cto.com/art/200610/33311.htm http://kb.cnblogs.com/page/45266/ ==https://www.c ...
- 关于Apahce服务器安装中遇到的问题
在这篇中,将记录一下安装Apache服务器所遇到的一些问题,并简单讲一些Apache和Tomcat的区别: 1>apache安装中遇到的问题: 1.1 Apache目前不再提供编译好的exe安装 ...
- Exp3 免杀原理与实践 20154320 李超
基础知识 如何检测出恶意代码 基于特征码的检测:分析指令的统计特性.代码的结构特性等.如果一个可执行文件(或其他运行的库.脚本等)拥有一般恶意代码所通有的特征(开启后门等)则被认为是恶意代码 启发式恶 ...
- Beta冲刺 (2/7)
Part.1 开篇 队名:彳艮彳亍团队 组长博客:戳我进入 作业博客:班级博客本次作业的链接 Part.2 成员汇报 组员1(组长)柯奇豪 过去两天完成了哪些任务 熟悉并编写小程序的自定义控件 展示G ...
- 28.TreeSet
与HashSet是基于HashMap实现一样,TreeSet同样是基于TreeMap实现的.在前一篇中详细讲解了TreeMap实现机制,如果客官详细看了这篇博文或者对TreeMap有比较详细的了解,那 ...
- JS中获取CSS样式的方法
1.对于内联样式,可以直接使用ele.style.属性名(当然也可以用键值对的方式)获得.注意在CSS中单词之间用-连接,在JS中要用驼峰命名法 如 <div id="dv" ...