HBase 不睡觉书  https://pan.baidu.com/s/1d4u7pPAu_B3sW5w9x1ARdA HBase2018年年度总结 https://pan.baidu.com/s/15nmLsKVkgsV5Z4unvVTnSw…

[it-ebooks]电子书列表   [2014]: Learning Objective-C by Developing iPhone Games || Leverage Xcode and Objective-C to develop iPhone games http://it-ebooks.info/book/3544/Learning Web App Development || Build Quickly with Proven JavaScript Techniques http:…

在网上看过很多HBaes架构相关的文章,内容深浅不一,直到发现了一篇MapR官网的文章https://mapr.com/blog/in-depth-look-hbase-architecture/#.VdMxvWSqqko,写得实在太sheng dong了. 因此,以这篇文章作为骨架,翻译了许多原文的内容,同时对一些细节进行自己的扩展,形成本文. 1.HBase架构组成 从物理结构上,HBase包含了三种类型的server,zookeeper.HMaster.region server,采用一种…

最近公司正好准备投入HBase,因此做了一些基础学习准备,所以先暂时停止MySQL的更新,把HBase的学习心得跟大家分享一下,接下来一段时间都会发布HBase相关内容. 在学的过程中,发现跟MySQL相互对比,能更深入地了解存储组件的设计.有任何问题或者想看的知识点,欢迎留言跟我沟通. 1.前言 随着公司业务不断发展,开始遇见越来越多的复杂存储场景.我们在关系型数据库上已经有了比较好的技术积累,但是并不能解决所有问题. 因此,需要对更多存储类型做技术储备. HBase作为nosql的典型代表,…

先给结论吧:HBase利用compaction机制,通过大量的读延迟毛刺和一定的写阻塞,来换取整体上的读取延迟的平稳. 1.为什么要compaction 在上一篇 HBase读写 中我们提到了,HBase在读取过程中,会创建多个scanner去抓去数据. 其中,会创建多个storefilescanner去load HFile中的指定data block.所以,我们很容易就想到,如果说HFile太多的话,那么就会涉及到很多磁盘IO,这个就是常说的“读放大”现象. 因此,就有了今天的主题,HBase…

HBase拥有出色的扩展性,其中最依赖的就是region的自动split机制. 1.split触发时机与策略 前面我们已经知道了,数据写入过程中,需要先写memstore,然后memstore满了以后,flush写入磁盘,形成新的HFile文件. 当HFile文件数量不断累积,Region server就会触发compaction机制,把小文件合并为大的HFIle. 当每次flush完成 或者 compaction完成后,regionSplitPolicy就会判断是否需要进行split. spl…

前面,我们已经打下了很多关于HBase的理论基础,今天,我们主要聊聊在实际开发使用HBase中,需要关注的一些最佳实践经验. 1.Schema设计七大原则 1)每个region的大小应该控制在10G到50G之间: 2)一个表最好保持在 50到100个 region的规模: 3)每个cell最大不应该超过10MB,如果超过,应该有些考虑业务拆分,如果实在无法拆分,那就只能使用mob: 4)跟传统的关系型数据库不同,一个HBase的表中列族最多不超过3个,列族中的列可以动态添加的,不要设计过多列族:…

本文将介绍HBase的客户端连接实现,并说明如何正确管理HBase的连接. 最近在搭建一个HBase的可视化管理平台,搭建完成后发现不管什么查询都很慢,甚至于使用api去listTable都要好几秒. 经过一番排查发现,是每次请求的时候,都去临时创建了一个connection,而创建connection非常耗时导致整体的rt上升. 因此,就深入了解了下如何正确管理HBase的connection,同时,也在优化过程中有些小细节的总结. 本文基于hbase 2.0.0版本的源码,github上3.…

在了解HBase架构的基础上,我们需要进一步学习HBase的读写过程,一方面是了解各个组件在整个读写过程中充当的角色,另一方面只有了解HBase的真实请求过程,才能为后续的正确使用打下初步基础,毕竟,除了会使用api,你还得知道怎么能写得更快,怎么查得更快. 1.首次读写的基本过程 在上一篇 深入HBase架构(建议收藏)中已经做了介绍.这里再重申一下. 这里要解决的主要问题是, client如何知道去那个region server执行自己的读写请求. 有一个特殊的HBase表,叫做META t…

  Hadoop权威指南(中文版-带目录索引)pdf电子书下载地址:百度网盘点击下载:链接:https://pan.baidu.com/s/1E-8eLaaqTCkKESNPDqq0jw 提取码:g65g Hadoop权威指南第四版介绍 <Hadoop权威指南>是2010年清华大学出版社出版的图书,作者是怀特.本书从Hadoop的缘起开始,由浅入深,结合理论和实践,全方位地介绍Hadoop这一高性能处理海量数据集的理想工具.…