HBase的BlockCache

BlockCache

首先要明白Block，在HBase里面存储的最小单元；在memstore向硬盘刷的时候，如果目标block的大小+size之后大于MAX_SIZE，将会新创建一个block来存储数据。

Block有四种类型：data，meta，index以及bloom；data就是存储数据的block；index和bloom目的都是了高效获取数据的block以及运用bloom算法获得；meta则是存储HFile的基本信息以及表信息（元数据）

为了高效获取数据，HBase设置了BlockCache机制，内存中缓存block，Block大体来分为两类，一类是JVM的heap内存，一类是heap off内存；第一类的cache策略叫做LRUCache，第二类Cache策略有SlabCache以及BucketCache两类；

LRUCache（LC）就是最近未用策略，这个很好理解；里面被划分为上区域，分别是单次请求（ single-access），多次请求（multi-access）以及内存数据（in-memory）；占比为25%，50%，25%；一个数据缓存首先是放置到sa域，第二被请求放到ma域；memory域则是存放column family设置为IN-MEMORY的数据；

SlabCache（SC）内部结构是划分为两块，80%和20%；缓存的数据如小于等于blocksize，则放在在前面的区域（80%区域）；如果block大于1x但是小于2x将会放置到后面区域（20%区域）；如果大于2x则不进行缓存；

BucketCache（BC）和上面主要区别在于提供了三种存储模式，分别是heap（JVM堆内存），offheap（DirectByteBuffer，堆外内存)以及file（存储在SSD或者内存性文件系统），BucketCache和LUR相似的地方在于它也是在整体上把内存三部分（25%，50%，25%）；但是BucketCache做的更进一步，将整体的cache区域划分为了14个bucket（每个bucket大小不同）；

SC和BC被设计成多级缓存策略；LC为一级缓存，BC/SC为二级缓存；但是LC-BC和LC-SC是不一样的；LC-BC为L1（LC）级缓存负责Index和bloom块，L2（BC）负责data块；LC-SC的策略则是L1和L2彼此独立；

什么时候考虑SL和BL呢？当JVM的Heap内存告急以及JVM因为回收导致响应慢的时候，考虑他们。

那么测试的结论是什么呢？

下面的评测是只有一级缓存的情况下的测试；

LC在hold30G一下JVM没有问题；但是到达50之后延迟就比较严重了；

SC和BC相比较，BC有比较明显的性能优势；而且BC里面的tmpfs模式性能最佳，offheap的方式位于第二；但是offheap的配置非常简单，tmpfs的配置则要复杂得多；权衡一下其实offheap就可以，但是如果内存如果吃紧，那么就采用tmpfs模式；

下面是二级缓存的评测结果：

L1（LC）+L2（BC）的效率是最高的，而且由于LC和BC一级Cache的效果。

 

作者最后总结道：如果数据量能够全部装入到JVM内存中（fit into memory）则OK，采用LRU是最高效；但是如果数据量是大于JVM内存2x，则考虑二级缓存，L1采用LC，L2采用BC。

 

参考：

http://www.n10k.com/blog/blockcache-showdown/

http://www.n10k.com/blog/blockcache-101/