memstoreFlushSize是什么呢? memstoreFlushSize为HRegion上设定的一个阈值,当MemStore的大小超过这个阈值时,将会发起flush请求. 它的计算首先是由Table决定的,即每个表可以设定自己的memstoreFlushSize,通过关键字MEMSTORE_FLUSHSIZE来设定, 如果表中未设定,则取参数hbase.hregion.memstore.flush.size, 如果参数再无配置的话,则默认为1024*1024*128L,即128M. ★H…

Hbase Flush机制最小Flush单元为HRegion,尽量减少CF数量以减少HStrore数量从而减少MemStore的数量,最终减少每次Flush的开销.1.Region级别触发条件:    a)    hbase.hregion.memstore.flush.size        Region中任意MemStore大小达到上限(默认128MB),触发Memstore,flush该region.    b)    hbase.hstore.blockingStoreFiles 默认值…

版本:0.94-cdh4.2.1 hbase-site.xml配置 hbase.tmp.dir 本地文件系统tmp目录,一般配置成local模式的设置一下,但是最好还是需要设置一下,因为很多文件都会默认设置成它下面的 线上配置 <property>      <name>hbase.tmp.dir</name>      <value>/mnt/dfs/11/hbase/hbase-tmp</value> </property> 默认…

版本:0.94-cdh4.2.1 hbase-site.xml配置 hbase.tmp.dir 本地文件系统tmp目录,一般配置成local模式的设置一下,但是最好还是需要设置一下,因为很多文件都会默认设置成它下面的 线上配置 <property>      <name>hbase.tmp.dir</name>      <value>/mnt/dfs/11/hbase/hbase-tmp</value> </property> 默认…

HBase MemStore Flush由类org.apache.hadoop.hbase.regionserver.MemStoreFlusher实现,具体表现为HRegionServer中的一个实例变量cacheFlusher,类结构如下: class MemStoreFlusher extends HasThread implements FlushRequester { ...... } MemStoreFlusher实质是一个线程类. HasThread可以理解为Thread的一个代码…

Region Compact请求是在Region MemStore Flush之后被触发的: boolean shouldCompact = region.flushcache(); // We just want to check the size boolean shouldSplit = region.checkSplit() != null; if (shouldSplit) { this.server.compactSplitThread.requestSplit(region); }…

版本:0.94-cdh4.2.1 hbase-site.xml配置 hbase.tmp.dir 本地文件系统tmp目录,一般配置成local模式的设置一下,但是最好还是需要设置一下,因为很多文件都会默认设置成它下面的 线上配置 <property>      <name>hbase.tmp.dir</name>      <value>/mnt/dfs/11/hbase/hbase-tmp</value> </property> 默认…

HBase是基于LSM树存储模型的分布式NoSQL数据库.LSM树对比普遍的B+树来说,能够获得较高随机写性能的同时,也能保持可靠的随机读性能(可参考这里).在进行读请求的时候,LSM树要把多个子树(类似B+树结构)进行归并查询,对于HBase来说,这些子树就是HFile(还包括内存上的树结构MemStore).因此归并查询的子树数越少,查询的性能就越高. Compact的作用 在写请求的这篇文章里,已经介绍过对于每个写请求,都必须写入MemStore以及HLog才算完成事务提交.当MemSto…

前面的几篇文章.我们具体介绍了HBase中HRegion上MemStore的flsuh流程,以及HRegionServer上MemStore的flush处理流程.那么,flush究竟是在什么情况下触发的呢?本文我们将具体探究下HBase中MemStore的flush流程的发起时机.看看究竟都有哪些操作.或者哪些后台服务进程会触发MemStore的flush. 首先.在<HBase源代码分析之HRegionServer上MemStore的flush处理流程(一)>和<HBase源代码分析之…

一直有一个问题,今天调查了一下源码算是明白了. ===问题=== 通过java api(如下代码所示)在创建表的时候,可以通过setMemStoreFlushSize函数来指定memstore的大小, 在集群配置文件中,也可以通过配置hbase.hregion.memstore.flush.size来指定memstore大小. 这两个地方指定的memestore的有什么区别和关联? ★参考代码 package api; import org.apache.hadoop.conf.Configur…