hbase memstorelab
关于MemStore的补充
在通过HStore.add向store中加入�一个kv时,首先把数据写入到memstore中。这一点没有什么说明;
publiclongadd(finalKeyValue
kv) {
lock.readLock().lock();
try{
returnthis.memstore.add(kv);
}finally{
lock.readLock().unlock();
}
}
以上代码中调用memstore.add方法,
longadd(finalKeyValue
kv) {
KeyValue toAdd =maybeCloneWithAllocator(kv);
returninternalAdd(toAdd);
}
在上面的调用中,首先是通过maybeCloneWithAllocator去申请kv的内存。
privateKeyValue maybeCloneWithAllocator(KeyValue
kv) {
检查MemStoreLAB是否存在,假设不存在,表示没有配置MemStoreLAB
此配置通过hbase.hregion.memstore.mslab.enabled完毕,默认值为true.
通过hbase.hregion.memstore.mslab.chunksize配置chunksize大小,默认值为2048*1024(2m),
个人觉得,这块须要依据业务上的KV大小,去配置此大小,不然会导致空间的浪费
通过hbase.hregion.memstore.mslab.max.allocation配置单个KV的最大分配大小,默觉得256*1024(256k),
假设单个KV的大小超过了指定的大小,直接在堆内存上生成。
MemStoreLAB(mslab)主要是为了解决memstoreflush的内存碎片问题,而导致的javagc。
hbase通过mslab每次向内存分配一个chunksize大小的块,全部的kv过来时,向此chunk中加入�,
chunk不够时再又一次申请一个新的chunk块。每次flush时,直接把占用的chunk块进行flush,
从而降低minorgc的发生频率。
if(allocator==
null){
returnkv;
}
intlen = kv.getLength();
检查kv是否超过了配置的单个大小,假设超过,不做处理,否则从一个chunk中得到一个allocation或者新生成一个chunk
Allocation alloc =allocator.allocateBytes(len);
if(alloc ==
null){
//The allocation was too large, allocator decided
//not to do anything with it.
returnkv;
}
assertalloc.getData() !=
null;
System.arraycopy(kv.getBuffer(),kv.getOffset(), alloc.getData(), alloc.getOffset(), len);
KeyValue newKv =
newKeyValue(alloc.getData(), alloc.getOffset(), len);
newKv.setMvccVersion(kv.getMvccVersion());
returnnewKv;
}
在memstore中通过internalAdd-->addToKVSet把一个kv加入�到memstore听kvset容器中,
此容器每一次的add操作都会进行排序操作,排序的比較器通过KeyValue.KVComparator来实现。
kvset是一个KeyValueSkipListSet的实例,此实例里面有一个ConcurrentSkipListMap的map容器。
每一次的add操作,都会把kv当成map的key与value一起插入。
hbase memstorelab的更多相关文章
- HBase笔记4(调优)
Master/Region Server调优 JVM调优 默认的RegionServer内存是1G,而Memstore默认占40%,即400M,实在是太小了,可以通过HBASE_HEAPSIZE参数修 ...
- hbase源码系列(十三)缓存机制MemStore与Block Cache
这一章讲hbase的缓存机制,这里面涉及的内容也是比较多,呵呵,我理解中的缓存是保存在内存中的特定的便于检索的数据结构就是缓存. 之前在讲put的时候,put是被添加到Store里面,这个Store是 ...
- Hbase 学习(五) 调优
1.垃圾回收器调优 当我们往hbase写入数据,它首先写入memstore当中,当menstore的值大于hbase.hregion.memstore.flush.size参数中设置的值后,就会写入硬 ...
- Hbase Region Server整体架构
Region Server的整体架构 本文主要介绍Region的整体架构,后续再慢慢介绍region的各部分具体实现和源码 RegionServer逻辑架构图 RegionServer职责 1. ...
- 13 hbase源码系列(十三)缓存机制MemStore与Block Cache
这一章讲hbase的缓存机制,这里面涉及的内容也是比较多,呵呵,我理解中的缓存是保存在内存中的特定的便于检索的数据结构就是缓存. 之前在讲put的时候,put是被添加到Store里面,这个Store是 ...
- Mapreduce的文件和hbase共同输入
Mapreduce的文件和hbase共同输入 package duogemap; import java.io.IOException; import org.apache.hadoop.co ...
- Redis/HBase/Tair比较
KV系统对比表 对比维度 Redis Redis Cluster Medis Hbase Tair 访问模式 支持Value大小 理论上不超过1GB(建议不超过1MB) 理论上可配置(默认配置1 ...
- Hbase的伪分布式安装
Hbase安装模式介绍 单机模式 1> Hbase不使用HDFS,仅使用本地文件系统 2> ZooKeeper与Hbase运行在同一个JVM中 分布式模式– 伪分布式模式1> 所有进 ...
- Spark踩坑记——数据库(Hbase+Mysql)
[TOC] 前言 在使用Spark Streaming的过程中对于计算产生结果的进行持久化时,我们往往需要操作数据库,去统计或者改变一些值.最近一个实时消费者处理任务,在使用spark streami ...
随机推荐
- c++ 虚析构函数[避免内存泄漏]
c++ 虚析构函数: 虚析构函数(1)虚析构函数即:定义声明析构函数前加virtual 修饰, 如果将基类的析构函数声明为虚析构函数时,由该基类所派生的所有派生类的析构函数也都自动成为虚析构函数. ...
- Week3(9月26日):做完后,总结下
Part I:提问 =========================== 1.linq小回顾 (1)Movies控制器中Index动作,显示全部电影信息. public ActionResult ...
- springmvc-3.2-jsr303解决服务端验证问题
从以前的验证:Stringutils.isEmpty....到struts的验证:xxxvalidate 现在使用jsr303使之更加简单 依赖hibernate-validator-4.xx.ja ...
- 利用SolrJ操作solr API完成index操作
使用SolrJ操作Solr会比利用httpClient来操作Solr要简单.SolrJ是封装了httpClient方法,来操作solr的API的.SolrJ底层还是通过使用httpClient中的方法 ...
- Event | Beijing Makerspace
Event | Beijing Makerspace CONTACT INFORMATION 4th Floor, Zhongguancun Dream Lab, Beijing, China Pho ...
- Cannot drop the database ‘XXX’ because it is being used for replication.
删除订阅数据库的时候出现下面的错误: Cannot drop the database ‘XXX’ because it is being used for replication. 数据库的状态为 ...
- 获取java byte的无符号数值
byte a = (byte)234; System.out.println(a); 上面的代码,结果是-22,因为java中byte是有符号的,byte范围是-128~127. 如果想输出234,该 ...
- App状态管理-AppDelegate
前面提到AppDelegate的实例在UIApplicationMain函数中被创建并调用. AppDelegate的主要作用,可以从其继承类可以看出 class AppDelegate:UIResp ...
- Java进阶03 IO基础
链接地址:http://www.cnblogs.com/vamei/archive/2013/04/11/3000905.html 作者:Vamei 出处:http://www.cnblogs.com ...
- 一个开发原则:永远不要返回NULL
看一篇文章:10个经典的java开发原则,里面一个原则:永远不要返回NULL. 说实在的,我对这个原则体会不是很深,平时在使用对象前,检查是否为null已经成了习惯,也是我要求开发人员的一个标准动作. ...