HBase框架学习之路
1 背景知识
1.1 解决问题
解决HDFS不支持单条记录的快速查找和更新的问题。
1.2 适用情况
- 存在亿万条记录的数据库,只有千万或者百万条记录使用RDBMS更加合适
- 确保你的应用不需要使用RDBMS的高级特性(第二索引,事务机制,高级查询语言等)
- 足够的硬件配置,即节点数,HDFS在少于5个节点时并不会表现得很好,HBase也存在相同情况。
2 设计理念
2.1 概述
2.1.1 简介
- 使用Java语言开发的NoSQL类型的分布式数据库
- 不支持RDBMS的一些高级特性,如事务机制,第二索引,高级查询语言等
- 支持线性和模块化扩展,可以通过在商用机器上增加RegionServer来线性提高性能
2.1.2 HBase特性:
- 强读写一致性:适合高速计数聚合操作
- 自动切分数据:分布式存储数据,随着数据增长进行自动切片
- RegionServer自动失效备援
- 与HDFS集成
- 支持MapReduce执行大规模并行操作
- 提供Java Client API
- 提供Thrift/REST API
- 针对大容量查询优化的块缓存和Bloom Fliter
- 可视化管理界面
2.1.3 劣势
- WAL的重新执行速度缓慢
- 故障恢复缓慢且复杂
- 主压缩会引起 I/O风暴(大量的I/O操作)
2.2 设计架构
2.2.1 基础概念
概念 | 中文 | 解释 | 备注 | 举例 |
---|---|---|---|---|
Table | 表 | 由多行组成 | ... | |
Row | 行 | 由一个Key和一个或者多列组成 | ||
Column | 列 | 由列族和列限定符组成 | 列族:列限定符 ;行与行之间的列可以相差很多 | |
Column Family | 列族 | 物理上存储多个列;为提高性能设计的; | 表格创建时需要置顶 | content |
Column Qualifier | 列限定符 | 列族中数据的索引 | 表格创建时不需要指定,可以在任何时候添加 | content:html |
Cell | 单元 | 由行、列族、列限定符、值和代表版本的时间戳组成 | ||
TimeStamp | 时间戳 | 用来表示数据的版本 | 可以使用系统时间也可以自己指定 |
2.2.1.2 例子本例子取自官方文档
Row Key | Time Stamp | ColumnFamily contents | ColumnFamily anchor | ColumnFamily people |
---|---|---|---|---|
"com.cnn.www" | t9 | anchor:cnnsi.com = "CNN" | ||
"com.cnn.www" | t8 | anchor:my.look.ca = "CNN.com" | ||
"com.cnn.www" | t6 | contents:html = "… | ||
"com.cnn.www" | t5 | contents:html = "…" | ||
"com.cnn.www" | t3 | contents:html = "… | ||
com.example.www | t5 | contents:html: "..." | people:author: "John Doe" |
说明:
- 表格格式不是唯一和最精确的表达方式,还可以用Json格式来表达
- 表格中的空白单元不会占用物理存储空间,只是概念上存在
2.2.1.3 操作
操作 | API | 注意点 | 与版本的关系 |
---|---|---|---|
Get | Table.get | 返回指定行的属性;Scan的第一行 | 若没有指定版本,则返回版本值最大(但可能不是最新的)的数据;可以通过设置MaxVersion的值修改返回的数据条数 |
Scan | Table.scan | 返回满足条件的多行 | 同上 |
Put | Table.put | Key存在则更新Key不在则插入;通过 Table.put (写缓存) 或者Table.batch (没有写缓存) | 默认使用系统时间;只要key、column和version相同就可以实现覆盖;插入时可以指定版本 |
Delete | Table.delete | 1.删除指定列;2.删除列的所有版本;3.删除特定列族的所有列 | 1. 删除操作不会立刻执行,而是给该数据设置墓碑标签,在空间清理的时候再执行死亡数据和墓碑的清除工作;2.通过在 hbase-site.xml.中hbase.hstore.time.to.purge.deletes属性来设置TTL(生存时间) |
说明:
- 版本数的最大值和最小值是可以指定的,并且会影响操作
- 版本(时间戳)是用来管控数据的存活时间的,最好不要手动设置
2.2.1.4 局限
1)Delete操作会影响Put操作:原因在于Delete操作并不是立刻执行,而是给死亡数据设置墓碑标签,那么如果当你执行了一个Delete版本低于等于T的操作,而后有插入Put了一个版本为T的数据,此时新Put的数据也会被打上标签,那么会在系统的下一次清理工作中将打上标签的数据全部清理掉,执行查询时则会获取不到新Put的数据,如果你不手动设置版本的话,版本采用系统默认时间,则不会出现这种情况。
2)清理工作会影响查询:创建三个版本为t1,t2,t3的单元,并且设置最大版本数为2.所以当我们查询所有版本时,只会返回t2和t3。但是当你删除版本t2和t3的时候,版本t1会重新出现。显然,一旦重要精简工作运行之后,这样的行为就不会再出现。
2.2.2 架构
2.2.2.1 架构特点
1)主从架构
2)有三个组件:
组件名称 | 组件主要功能 |
---|---|
HMaster | 负责Region的分配和DDL操作(创建,删除表) |
HRegionServer | RegionServer负责数据的读写;和客户端通讯 |
ZooKeeper | 维持集群的活动状态 |
3)底层储存是HDFS
2.2.2.2 组件
hbase:meta:所有region的信息
1)结构:
Key
- 格式:([table],[region start key],[region id])
Values
- info:regioninfo (序列化HRegionInfo实例)
- info:server (包含此Region的RegionServer的server:端口)
- info:serverstartcode (包含此Region的RegionServer的启动时间)
2)存储位置:ZooKeeper中
HMaster:控制者
- 分配Region:启动时分配,失效RegionServer上Region的再分配,Region切分时分配
- 监控集群中的所有RegionServer,实现其负载均衡
- DDL:Data Definition Language(表格的创建、删除和更新-列族的更新)
- 管理namespace和table的元数据
- 权限管理(ACL)
- HDFS上的垃圾文件回收
HRegionServer:HBase实际读写者
- 响应client的读写请求,进行I/O操作(直接绕过HMaster)
- 与HDFS交互,管理table数据
- 当Region的大小到达阀值时切分Region
本小节可参考Region Server详解
ZooKeeper:协调者
- 保证集群中有且只有一个HMaster为Active
- 存储hbase:meta,即所有Region的位置信息
- 存储HBase中表格的元数据信息
- 监控RegionServer状态,将RS的上下线情况汇报给HMaster
- ZooKeeper集群本身使用一致性协议(PAXOS协议)保证每个节点状态的一致性
Region:Region是HBase数据存储和管理的基本单位
本小节可参考Region详解
2.3 相关流程
2.3.1 首次读写流程
本小节可参考Region Server详解中的首次读写流程
2.3.2 写流程
本小节可参考Region Server详解中的写流程
2.3.2 读流程
本小节可参考Region Server详解中的读流程
2.4 相关机制
2.4.1 Compaction机制(压缩合并)
2.4.1.1 次压缩
本小节可参考Region Server详解中的次压缩部分
2.4.1.2 主压缩
本小节可参考Region Server详解中的主压缩部分
2.4.2 WAL Replay机制
本小节可参考Region Server详解中的WAL Replay
2.5 版本更新内容
2.5.1 .META表 =>hbase:meta
2.5.1.1 -ROOT-和.META
在0.96.x之前是存在-ROOT-和.META两个表格来维持region的元数据
1)结构:
Key
• .META. region key (.META.,,1)
Values
• info:regioninfo (hbase:meta的序列化实例)
• info:server (存储 hbase:meta的RegionServer的server:port)
• info:serverstartcode (存储 hbase:meta的RegionServer的启动时间)
2)读取region位置信息的流程
- 从ZooKeeper中读取-ROOT- Table所在HRegionServer
- 从该HRegionServer中根据请求的TableName,RowKey读取.META. Table所在HRegionServer
- 从该HRegionServer中读取.META. Table的内容而获取此次请求需要访问的HRegion所在的位置
- 访问该HRegionSever获取请求的数据
2.5.1.2 hbase:meta
本小节可参考2.2.2.2 组件中的hbase:meta和2.3 相关流程中的首次读写流程进行比较
2.5.1.3 升级的目的
1)0.96.x版本之前是参考Goole的BigTable设计的,从读取数据请求发起到真正读取到数据要经过4个步骤,Google设计BigTable的目的在于它的数据量巨大,多层的schema结构能够存储更多的Region,但是随着而来的就是访问性能的下降。
2)一般公司的数据量没有Google那么大,所以去掉-ROOT-表,留下.META(hbase:meta)表,提高Region的大小,不仅可以满足存储需求,而且访问性能得到提高。
2.5.2 HLog =>WAL
- 0.94.x 之前HBase中的WAL实现称为HLog,存储在/hbase/.logs/目录下
- 0.94.x之后更名为WAL,存储在/hbase/WALs/目录下
2.6 跟其他框架的联系
待续...
2.7 性能调优
待续...
2.8 高级特性
待续...
3 项目实战
3.1 入门指南
3.1.1 环境搭建
本小节可参考HBase部署入门指南
3.1.2 入门程序
本小节可参考HBase Shell 练习、HBase Java API 练习、使用MapReduce操作HBase
3.2 技术难点
待续...
3.3 开发中遇到的问题
待续...
3.4 应用
3.4.1 OpenTSDB开发
待续...
4 声明
待续部分将会后期不定期更新,敬请期待。
参考文章:
Apache HBase ™ Reference Guide
An In-Depth Look at the HBase Architecture
若有侵权,请联系我。
HBase框架学习之路的更多相关文章
- 【SpringCloud之pigx框架学习之路 】2.部署环境
[SpringCloud之pigx框架学习之路 ]1.基础环境安装 [SpringCloud之pigx框架学习之路 ]2.部署环境 1.下载代码 git clone https://git.pig4c ...
- 【SpringCloud之pigx框架学习之路 】1.基础环境安装
[SpringCloud之pigx框架学习之路 ]1.基础环境安装 [SpringCloud之pigx框架学习之路 ]2.部署环境 1.Cmder.exe安装 (1) windows常用命令行工具 下 ...
- go server框架学习之路 - 写一个自己的go框架
go server框架学习之路 - 写一个自己的go框架 用简单的代码实现一个go框架 代码地址: https://github.com/cw731/gcw 1 创建一个简单的框架 代码 packag ...
- 自己的Scrapy框架学习之路
开始自己的Scrapy 框架学习之路. 一.Scrapy安装介绍 参考网上资料,先进行安装 使用pip来安装Scrapy 在开始菜单打开cmd命令行窗口执行如下命令即可 pip install Scr ...
- Hadoop学习笔记—15.HBase框架学习(基础知识篇)
HBase是Apache Hadoop的数据库,能够对大型数据提供随机.实时的读写访问.HBase的目标是存储并处理大型的数据.HBase是一个开源的,分布式的,多版本的,面向列的存储模型,它存储的是 ...
- scrapy框架学习之路
一.基础学习 - scrapy框架 介绍:大而全的爬虫组件. 安装: - Win: 下载:http://www.lfd.uci.edu/~gohlke/pythonlibs/#twisted pip3 ...
- Hadoop学习笔记—15.HBase框架学习(基础实践篇)
一.HBase的安装配置 1.1 伪分布模式安装 伪分布模式安装即在一台计算机上部署HBase的各个角色,HMaster.HRegionServer以及ZooKeeper都在一台计算机上来模拟. 首先 ...
- python_flask框架学习之路(1)
1.初识web,了解utl . 术语: scheme://host:port/path?query-string=xxx#yyyy 例子:https://i.cnblogs.com/EditArtic ...
- 【框架学习与探究之定时器--Hangfire】
声明 本文欢迎转载,请注明文章原始出处:http://www.cnblogs.com/DjlNet/p/7603632.html 前言 在上篇文章当中我们知道关于Quartz.NET的一些情况,其实博 ...
随机推荐
- .NET Core系列 :3 、使用多个项目
通过前面的两篇文章,我们已经知道如何创建新的项目,如何生成并运行我们的应用程序,也知道(大致) project.json 文件中的内容是什么意思.但大多数项目往往也需要多个项目或引用的类库.我们要创建 ...
- MSDN文档篇
很多人网上下载3~10G不等的MSDN文档,发现,下载完成了不会用 很多人每次都得在线下载文档,手上万千PC,都重新下载不是得疯了? so==> 先看几张图 推荐一个工具:https://vsh ...
- 0.Win8.1,Win10,Windows Server 2012 安装 Net Framework 3.5
后期会在博客首发更新:http://dnt.dkill.net 网站部署之~Windows Server | 本地部署:http://www.cnblogs.com/dunitian/p/482280 ...
- PHP-自定义模板-学习笔记
1. 开始 这几天,看了李炎恢老师的<PHP第二季度视频>中的“章节7:创建TPL自定义模板”,做一个学习笔记,通过绘制架构图.UML类图和思维导图,来对加深理解. 2. 整体架构图 ...
- js获取给定月份的N个月后的日期
1.在讲js获取给定月份的N个月后的日期之前,小颖先给大家讲下getFullYear().getYear()的区别. ①getYear() var d = new Date() console.log ...
- SQL Server-表表达式基础回顾(二十四)
前言 从这一节开始我们开始进入表表达式章节的学习,Microsoft SQL Server支持4种类型的表表达式:派生表.公用表表达式(CTE).视图.内嵌表值函数(TVF).简短的内容,深入的理解, ...
- iOS审核这些坑,腾讯游戏也踩过
作者:Jamie,专项技术测试工程师,在iOS预审和ASO优化领域从事专项测试相关工作,为腾讯游戏近100个产品提供专项服务. WeTest 导读 在App上架苹果应用商店的过程中,相信大多数iOS开 ...
- 创建几个常用table展示方式插件
这次和大家分享的是自己写的一个table常用几种展示格式的js插件取名为(table-shenniu),样式使用的是bootstrap.min.css,还需要引用jquery.min.js包,这个插件 ...
- 【NLP】揭秘马尔可夫模型神秘面纱系列文章(一)
初识马尔可夫和马尔可夫链 作者:白宁超 2016年7月10日20:34:20 摘要:最早接触马尔可夫模型的定义源于吴军先生<数学之美>一书,起初觉得深奥难懂且无什么用场.直到学习自然语言处 ...
- Discuz论坛黑链清理教程
本人亲测有效,原创文章哦~~~ 论坛黑链非常的麻烦,如果你的论坛有黑链,那么对不起,百度收录了你的黑链,不会自动删除,需要你手动去清理. 什么是黑链 黑链,顾名思义,就是一些赌博网站的外链,这些黑链相 ...