第1章 HBase 简介1.1 什么是 HBase1.2 HBase 特点1.3 HBase 架构1.3 HBase 中的角色1.3.1 HMaster1.3.2 RegionServer1.3.3 其他组件第2章 HBase 安装2.1 Zookeeper 正常部署2.2 Hadoop 正常部署2.3 HBase 的解压2.4 HBase 的配置文件2.5 HBase 远程发送到其他集群2.6 HBase 服务的启动2.7 查看 HBase 页面第3章 HBase Shell 操作3.1 基本…

Hbase的数据结构 基本要素:命名空间.表.行.列.单元格,region,时间戳. 1.命名空间:NameSpaces的作用 Table:表,所有的表都是命名空间的成员,即表必属于某个命名空间,如果没有指定,则在default默认的命名空间中. RegionServer group:一个命名空间包含了默认的RegionServer Group. Permission:权限,命名空间能够定义访问控制列表ACL(Access Control List).例如,创建表,读取表,删除,更新等等操作.…

背景: 最近在做一些跟大数据相关的东西,涉及到数据的存储和分析,考虑各个方面,选择使用HBase进行存储,使用原生Java API进行数据分析,之后会陆续写一系列来说明最近做的东西,给像我这样未曾涉及过这个领域的人一点儿idea. 引言: HBase以表的方式组织数据源,这一点跟关系型数据库时一样的,在我们的application里面,通过API/Thrift.或者各种SQL引擎,将数据存入库里面或者进行查询:Hbase的表由行(Row)和列(Column)共同构成,与关系型数据库不同的是,HB…

1 RowKey 与nosql数据库们一样,RowKey是用来检索记录的主键.访问HBASE table中的行,只有三种方式: 1.通过单个RowKey访问 2.通过RowKey的range(正则) 3.全表扫描 RowKey行键 (RowKey)可以是任意字符串(最大长度是64KB,实际应用中长度一般为 10-100bytes),在HBASE内部,RowKey保存为字节数组.存储时,数据按照RowKey的字典序(byte order)排序存储.设计RowKey时,要充分排序存储这个特性,将经常…

这个HBase学习了第二遍也不是太透彻PS:启动Hbase之前先启动Zookeeper.HDFS.yarn 1. hbase简介(是基于HDFS.相当于是一个缓存层) 1.1. 什么是hbase(列式的分布式数据库) HBASE是一个高可靠性.高性能.面向列(以前学习的Mysql都是面向行的).可伸缩的分布式存储系统,利用HBASE技术可在廉价PC Server上搭建起大规模结构化存储集群. HBASE的目标是存储并处理(既能存储又能处理,MapReduce能运行在HDFS就能运行在HBASE上…

HBase简介 HBase概念 HBase的原型是谷歌的Bigtable论文 HBase是一个高可靠性.高性能.面向列.可伸缩的分布式存储系统,利用HBase技术可在廉价PC上搭建起大规模结构化存储集群 HBase的目标是存储并处理大型的数据,更具体来说是仅需使用普通的硬件配置,就能够处理由成千上万的行和列所组成的大型数据 HBase特点 海量存储 HBase适合存储PB级的海量数据,在PB级别的数据以及采用廉价机器存储的情况下,能在几十到百毫秒内返回数据 列式存储 此处的列式存储指的是列族存储…

背景 在传统银行 IT 架构中,联机交易与统计分析系统往往采用不同的技术与物理设备,通过定期执行的 ETL 将联机交易数据向分析系统中迁移.而作为数据服务资源池,同一份数据可能被不同类型的微服务共享访问.当一些联机交易与审计类业务针对同一份数据同时运行时,必须保证请求在完全隔离的物理环境中执行,做到交易分析业务无干扰. HBase 是一个高可靠性.高性能.面向列.可伸缩的分布式存储系统,善于处理大数据场景,具备以下特点: 表规模大,亿级别行,上百万列     面向列存储,列独立检索 但是 HBa…

1.HBase 架构 ============================================ 2. HBase Shell 操作 2.1. 基本操作 进入HBase客户端命令行:bin/hbase shell 查看帮助命令:help 查看当前数据库中有哪些表:list 2.2. 表的操作 // 2.2.1. 创建表 create 'student','info'(列族) // 2.2.2. 插入数据到表 put 'student','1001','info:sex','male…

第1章 HBase简介 1.1 什么是HBase HBase的原型是Google的BigTable论文,受到了该论文思想的启发,目前作为Hadoop的子项目来开发维护,用于支持结构化的数据存储. 官方网站:http://hbase.apache.org -- 2006年Google发表BigTable白皮书 -- 2006年开始开发HBase -- 2008年北京成功开奥运会,程序员默默地将HBase弄成了Hadoop的子项目 -- 2010年HBase成为Apache顶级项目 -- 现在很多公…

HBase HBase(Hadoop Database)基于Google的BigTable论文,依赖HDFS进行存储.适合存储大体量数据.HBase是高可靠性(数据安全).高性能(存取效率).面向列.可扩展的分布式存储系统,实现利用廉价设备搭建大规模集群. HBase是面向列的存储系统.适用于存放半结构化或者非结构化的数据. 结构化:每条记录具备相同的数据结构,类似于类和对象关系 非结构化的数据:数据之间不需要保持相同的属性,可以自行定义属性(KV) 半结构化的数据:介于两者之间 HBase数据…

HBase 架构图 组成部分及作用 Zookeeper在HBase中作用 Master的高可用 RegionServer的监控 元数据的入口 HMaster 不仅有维护集群元数据信息的功能,还能 通过Zookeeper发布自己的位置给客户端 为RegionServer分配Region 维护整个集群的负载均衡 发现失效的Region,并将失效的Region分配到正常的RegionServer上 当RegioServer失效的时候,协调对应Hlog的拆分 HRegionServer 作用 干活的结点…

第1章 HBase简介 1.1 什么是HBase HBase的原型是Google的BigTable论文,受到了该论文思想的启发,目前作为Hadoop的子项目来开发维护,用于支持结构化的数据存储. 官方网站:http://hbase.apache.org -- 2006年Google发表BigTable白皮书 -- 2006年开始开发HBase -- 2008年北京成功开奥运会,程序员默默地将HBase弄成了Hadoop的子项目 -- 2010年HBase成为Apache顶级项目 -- 现在很多公…

原文链接:Hbase系统架构及数据结构 HBase中的表一般有这样的特点: 1 大:一个表可以有上亿行,上百万列 2 面向列:面向列(族)的存储和权限控制,列(族)独立检索. 3 稀疏:对于为空(null)的列,并不占用存储空间,因此,表可以设计的非常稀疏. 下面一幅图是Hbase在Hadoop Ecosystem中的位置. 二.逻辑视图 HBase以表的形式存储数据.表有行和列组成.列划分为若干个列族(row family) Row Key 与nosql数据库们一样,row key是用来检索记…

一.基本概念     2.1 Row Key (行键)     2.2 Column Family(列族)     2.3 Column Qualifier (列限定符)     2.4 Column(列)     2.5 Cell     2.6 Timestamp(时间戳) 二.存储结构     2.1 Regions     2.2 Region Server 三.Hbase系统架构     3.1 系统架构     3.2 组件间的协作 四.数据的读写流程简述     4.1 写入数据的…

一.基本概念 一个典型的Hbase Table 表如下: 1.1 Row Key (行键) Row Key是用来检索记录的主键.想要访问HBase Table中的数据,只有以下三种方式: 通过指定的Row Key进行访问: 通过Row Key的range进行访问,即访问指定范围内的行: 进行全表扫描. Row Key可以是任意字符串,存储时数据按照Row Key的字典序进行排序.这里需要注意以下两点: 因为字典序对Int排序的结果是1,10,100,11,12,13,14,15,16,17,18…

一.基本概念 一个典型的 Hbase Table 表如下: 1.1 Row Key (行键) Row Key 是用来检索记录的主键.想要访问 HBase Table 中的数据,只有以下三种方式: 通过指定的 Row Key 进行访问: 通过 Row Key 的 range 进行访问,即访问指定范围内的行: 进行全表扫描. Row Key 可以是任意字符串,存储时数据按照 Row Key 的字典序进行排序.这里需要注意以下两点: 因为字典序对 Int 排序的结果是 1,10,100,11,12,1…

在之前学习MySQL的时候,我们知道存储引擎常用的索引结构有B+树索引和哈希索引. 而对HBase的学习,也离不开索引结构的学习,它使用了一种LSM树((Log-Structured Merge-Tree))的索引结构. 下面,我们就结合HBase的实现,来深入了解HBase的核心数据结构与算法,包括索引结构LSM树,内存数据结构跳表.文件多路归并.读优化的布隆过滤器等. 1.LSM树 LSM树和B+树.哈希索引一样,是一种索引结构,那它们有什么区别呢? 哈希存储引擎是哈希表的持久化实现,支持增…

一.前言 最近一年了吧,总是忙于特定项目的业务分析和顶层设计,很少花时间和精力放到具体的技术细节,感觉除了架构理念和分析能力的提升,在具体技术层次却并没有多大的进步.因为一些原因,总被人问及一些技术细节,很多细节都模糊了,花点时间,温习一下吧.技术部分将作为下一个阶段的工作重点. 二.操作说明 查看Zookeeper内部HBase相关数据,有两个主要的渠道:一.通过Hbase shell命令zk_dump查看:二.通过zk_cli.sh查看: 三.zk_dump HBase is rooted…

Skip List的提出已有二十多年[Pugh, W. (1990)],却依旧应用广泛(Redis.LevelDB等).作为平衡树(AVL.红黑树.伸展树.树堆)的替代方案,虽然它性能不如平衡树稳定,但是在实现难度上却很有优势.它的查询.插入.删除等主要操作时间复杂度也都是Θ(lgn),空间复杂度是Θ(n). 一个Skip List的结构如下图,除了数据域,每个节点还包括1个或多个域用来保存后续节点的位置. 从结构上看,Skip List通过增加层数,节点上可以带有更多的信息,通过这些信息可以直…

一.HBase的安装配置 1.1 伪分布模式安装 伪分布模式安装即在一台计算机上部署HBase的各个角色,HMaster.HRegionServer以及ZooKeeper都在一台计算机上来模拟. 首先,准备好HBase的安装包,我这里使用的是HBase-0.94.7的版本,已经上传至百度网盘之中(URL:http://pan.baidu.com/s/1pJ3HTY7) (1)通过FTP将hbase的安装包拷贝到虚拟机hadoop-master中,并执行一系列操作:解压缩.重命名.设置环境变量 ①…

0,HBase简介 HBase是Apache Hadoop中的一个子项目,是一个HBase是一个开源的.分布式的.多版本的.面向列的.非关系(NoSQL)的.可伸缩性分布式数据存储模型,Hbase依托于Hadoop的HDFS作为最基本存储基础单元.HBase的服务器体系结构遵从简单的主从服务器架构,它由HRegion Server群和HMaster Server构成.HMaster Server负责管理所有的HRegion Server,而HBase中的所有Server都是通过Zookeeper…

1优缺点 非常非常的快,有测评说比Memcached还快(当大家都是单CPU的时候),而且是无短板的快,读写都一般的快,所有API都差不多快,也没有MySQL Cluster.MongoDB那样更新同一条记录如Counter时慢下去的毛病. 丰富的数据结构,超越了一般的Key-Value数据库而被认为是一个数据结构服务器.组合各种结构,限制Redis用途的是你自己的想象力,作者自己捉刀写的用途入门. 因为是个人作品,Redis目前只有2.3万行代码,Keep it simple的死硬做法,使得普…

HBASE的集群的搭建HBASE的表设计HBASE的底层存储模型 HBase 是一个高可靠.高性能.面向列.可伸缩的分布式缓存系统.利用HBase 技术可在廉价PC Server上搭建起大规模结构化存储集群HBase利用hadoop hdfs作为起文件存储系统,利用hadoop mapreduce来处理HBase中的海量数据,利用zookeeper作为协调工具. 主键: Row Key主键是用来减速记录的主键,访问hbase table中的行,只有3种方式1. 通过单个row key 访问2.…

本文转自hbase.收藏学习下. 随着大数据的越来越普及,HBase也变得越来越流行.会用HBase现在已经变的并不困难,然而,怎么把它用的更好却并不简单.那怎么定义'用的好'呢?很简单,在保证系统稳定性.可用性的基础上能够用最少的系统资源(CPU,IO等)获得最好的性能(吞吐量,读写延迟)就是'用的好'.HBase是一个庞大的体系,涉及到很多方面,很多因素都会影响到系统性能和系统资源使用率,根据场景对这些配置进行优化会很大程度上提升系统的性能.笔者总结至少有如下几个方面:HDFS相关配置优化,…

hbase HBase是一个分布式的.面向列的开源数据库,该技术来源于 Fay Chang 所撰写的Google论文“Bigtable:一个结构化数据的分布式存储系统”.就像Bigtable利用了Google文件系统(File System)所提供的分布式数据存储一样,HBase在Hadoop之上提供了类似于Bigtable的能力.HBase是Apache的Hadoop 项目的子项目.HBase不同于一般的关系数据库,它是一个适合于非结构化数据存储的数据库.另一个不同的是HBase基于列的而不是…

HBase概念学习(十)HBase与MongDB等NoSQL数据库对照 转载请注明出处: jiq•钦's technical Blog - 季义钦 一.开篇 淘宝之前使用的存储层架构一直是MySQL数据库,配合以MongDB,Tair等存储. MySQL因为开源,而且生态系统良好,本身拥有分库分表等多种解决方式,因此非常长一段时间内都满足淘宝大量业务的需求.可是因为业务的多样化发展,有越来越多的业务系统的需求開始发生了变化.一般来说有下面几类变化: (1)    数据量变得越来越多,其实如今淘宝…

讲LSM树之前,需要提下三种基本的存储引擎,这样才能清楚LSM树的由来: 哈希存储引擎  是哈希表的持久化实现,支持增.删.改以及随机读取操作,但不支持顺序扫描,对应的存储系统为key-value存储系统.对于key-value的插入以及查询,哈希表的复杂度都是O(1),明显比树的操作O(n)快,如果不需要有序的遍历数据,哈希表就是your Mr.Right B树存储引擎是B树(关于B树的由来,数据结构以及应用场景可以看之前一篇博文)的持久化实现,不仅支持单条记录的增.删.读.改操作,还支持顺序…

对,我正在研读这本书,今天开始,我希望我看完后能有收获和大家分享,这个日志作为开始,勉励自己! 对,我应该静下心,做一些我更喜欢的事情,不能在自我陶醉中迷失! 断断续的看,到今天大概把这本书看完了,没想到这本书的开始,经历了一件令人愤怒的事情,不料,刚刚看完这本书,经历了一件伤心的事情,足以影响人生轨迹.生活还要继续,读书笔记还是要写. 不过也只能做个提纲式的总结,具体的大家还是要去看书,我的水平只能告诉大家这本书给我带来的收获. 1.HBase建立在Apache Hadoop和Apache Z…

HBase 使用场景和成功案例 有时候了解软件产品的最好方法是看看它是怎么用的.它可以解决什么问题和这些解决方案如何适用于大型应用架构,能够告诉你很多.因为HBase有许多公开的产品部署,我们正好可以这么做.本章节将详细介绍一些人们成功使用HBase的使用场景. 注意:不要自我限制,认为HBase只能解决这些使用场景.它是一个初生的技术,根据使用场景进行创新正驱动着系统的发展.如果你有新想法,认为可以受益于HBase提供的功能,试试吧.社区很乐于帮助你,也会从你的经验中学习.这正是开源软件精神.…

客户端API:基础 HBase的主要客户端接口是由org.apache.hadoop.hbase.client包中的HTable类提供的,通过这个类,用户可以完成向HBase存储和检索数据,以及删除无效数据之类的操作. 通常在正常负载下和常规操作下,客户端读操作不会受到其他修改数据的客户端影响,因为它们之间的冲突可以忽略不计.但是,当允许客户端需要同时修改同一行数据时就会产生问题.所以,用户应当尽量使用批量处理(batch)更新来减少单独操作同一行数据的次数. (如果是实时系统,则需要加上syn…