相信大家在看了该系列的前两篇文章就已经对其中的持久化有比较深入的了解.相对而言,本节内容只是对前两节的一个巩固.与持久化相对应的是打开文件并将其内容读入到内存变量中.而在本节,我就来介绍这一点. 本节我从方法HStore.validateStoreFile开始分析.在本节的末尾,我将会为大家带来CF目录下某个文件的文件结构.也算是本系列的一个完整结尾. 在该方法内部调用了方法createStoreFileAndReader.如下图所示.这里首先构造了StoreFileInfo.在构造StoreF…

正如上篇博文所说,在本节我将为大家带来StoreFlusher.finalizeWriter..如果大家没有看过我的上篇博文<HBase之CF持久化系列(续1)>,那我希望大家还是回去看一下,要不然本节的很多内容大家可能看不懂.闲话不说,让我们来到正文. 首先来到方法StoreFlusher.finalizeWriter,如下图所示. 1.这里的入参writer不知道大家是否还记得,他就是在上一节中构建的StoreFileWriter.这里调用了writer.appendMetadata,将一…

这一节本来打算讲解HRegion的初始化过程中一些比较复杂的流程.不过,考虑前面的博文做的铺垫并不够,因此,在这一节,我还是特意来介绍HBase的CF持久化.关于这个话题的整体流程性分析在博文<HBase数据持久化之HRegion.flushcache即CF持久化>中已经介绍过,大家最好先看一下我的上篇博文,然后再看这个系列(这个系列我预计会通过三篇博文来详细讲解).可以说,<HBase数据持久化之HRegion.flushcache即CF持久化>是CF持久化的概述,而本节是CF持…

大家,若是看过我前期的这篇博客的话,则 HBase编程 API入门系列之put(客户端而言)(1) 就知道,在这篇博文里,我是在HBase Shell里创建HBase表的. 这里,我带领大家,学习更高级的,因为,在开发中,尽量不能去服务器上创建表. 所以,在管理端来创建HBase表.采用线程池的方式(也是生产开发里首推的). package zhouls.bigdata.HbaseProject.Pool; import java.io.IOException; import java.util…

心得,写在前面的话,也许,中间会要多次执行,连接超时,多试试就好了. 前面的基础,如下 HBase编程 API入门系列之put(客户端而言)(1) HBase编程 API入门系列之get(客户端而言)(2) hbase(main):001:0> scan 'test_table2'ROW COLUMN+CELL row_04 column=f1:name, timestamp=1478117286377, value=Andy3 row_04 column=f2:name, timestamp=…

心得,写在前面的话,也许,中间会要多次执行,连接超时,多试试就好了. 前面是基础,如下 HBase编程 API入门系列之put(客户端而言)(1) package zhouls.bigdata.HbaseProject.Test1; import javax.xml.transform.Result; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.hbase.HBaseConfiguration; im…

HTable是一个比较重的对此,比如加载配置文件,连接ZK,查询meta表等等,高并发的时候影响系统的性能,因此引入了“池”的概念. 引入“HBase里的连接池”的目的是: 为了更高的,提高程序的并发和访问速度. 从“池”里去拿,拿完之后,放“池”即可. package zhouls.bigdata.HbaseProject.Pool; import java.io.IOException; import java.util.concurrent.ExecutorService; import…

在上一篇文章<Java 数据持久化系列之JDBC>中,我们了解到使用 JDBC 创建 Connection 可以执行对应的SQL,但是创建 Connection 会消耗很多资源,所以 Java 持久化框架中往往不直接使用 JDBC,而是在其上建立数据库连接池层. 今天我们就先来了解一下池化技术的必要性.原理:然后使用 Apache-common-Pool2实现一个简单的数据库连接池:接着通过实验,对比简单连接池.HikariCP.Druid 等数据库连接池的性能数据,分析实现高性能数据库连接池…

在上一篇<Java 数据持久化系列之池化技术>中,我们了解了池化技术,并使用 Apache-common-Pool2 实现了一个简单连接池,实验对比了它和 HikariCP.Druid 等数据库连接池的性能数据.在性能方面,HikariCP遥遥领先,而且它还是 Spring Boot 2.0 默认的数据库连接池.下面我们就来了解一下这款明星级开源数据库连接池的实现. 本文的主要内容包括: HikariCP 简介,介绍它的特性和现况. HikariCP 的配置项详解,分析部分配置的影响. Hik…

我们从HRegion.flushcache开始分析.由于这个过程还是比较复杂的,因此,在这一节,我们不会分析的太过详细,只是单单的介绍一下其大体流程,待大家有了整体的把握之后,我们将在下一节详细介绍其持久化的具体流程. 为了尽可能严谨的描述整个流程,小编在讲解过程中会贴比较多的图来描述. 好了,闲话不说,下面我们进入正题: 首先,让我们来到今天的入口方法HRegion.flushcache:下图的代码不少,但是,并没有我们今天要介绍的重点.此图只是用来表示我们今天要讲的方法. 其实,重点的入口方…