本文将介绍大数据的知识和Hbase的基本概念,作为大数据体系中重要的一员,Hbase弥补了Hadoop只能离线批处理的不足,支持存储小文件,随机检索。而这种特性使得Hbase对于实时计算体系的事件存储有天然的较好的支持。这使得Hbase在实时流式计算中也扮演者重要的角色。

1、大数据与Hbase

大数据在近几年发展迅速,而实时计算也是一个重要的发展趋势。不管是企业中的日志数据,还是传感器、智能设备等等产生的数据,不计其数。

而这些数据中结构化的数据只占一小部分,大部分是非结构化的数据。这个时候,比如图片视频等就不能轻松的存储在关系型数据库中,而大数据是可以对各种类型的数据都可以进行处理的。

但关系型数据库有几点缺陷:

无法应对高并发的考验,没有办法横向扩展,事务一致性对性能的影响。

而Nosql数据库,也就是Not Only Sql的缩写。扩展性强,并发性能好,数据模型灵活。

Hbase,也就是Hadoop Database是一个高可靠、高性能、可伸缩的分布式数据库。Hbase参考了谷歌的BigTable建模,使用HDFS作为底层存储。使用Zookeeper作为协同服务组件。

Hbase使用Java编写,还是一种NoSQL数据库,这些特性决定了Hbase独特的应用场景。

2、概念特性

HBASE是一个数据库----可以提供数据的实时随机读写

HBASE与mysql、oralce、db2、sqlserver等关系型数据库不同,它是一个NoSQL数据库(非关系型数据库)

Hbase的表模型与关系型数据库的表模型不同:

​  Hbase的表没有固定的字段定义;

​  Hbase的表中每行存储的都是一些key-value对;

​  Hbase的表中有列族的划分,用户可以指定将哪些kv插入哪个列族;

​  Hbase的表在物理存储上,是按照列族来分割的,不同列族的数据一定存储在不同的文件中;

​  Hbase的表中的每一行都固定有一个行键,而且每一行的行键在表中不能重复;

​  Hbase中的数据,包含行键,包含key,包含value,都是byte[ ]类型,hbase不负责为用户维护数据类型;

​  HBASE对事务的支持很差;

HBASE相比于其他nosql数据库(mongodb、redis、cassendra、hazelcast)的特点:

Hbase的表数据存储在HDFS文件系统中

从而,hbase具备如下特性:存储容量可以线性扩展; 数据存储的安全性可靠性极高!

3、核心模块

客户端Client

整个Hbase的入口,使用者通过客户端操作Hbase。通过客户端与HMaster和RegionServer进行通讯。管理类操作与HMaster通信,读写类操作与RegionServer通讯。

协调服务zookeeper

zookeeper负责管理Hbase中多个HMaster的选举,服务器间状态同步。

主节点HMaster

HMaster可以启动多个,由zookeeper保证总有一个正常运行,其他作为备选。

HMaster主要负责Table和Region的管理工作。

节点HRegionServer

HRegionServer主要负责响应用户IO请求,向HDFS中读写数据。HRegionServer管理了一系列的HRegion对象。HRegion对应了Table中的一个Region。HRegion由多个HStore组成,HStore对用了Table中一个Column Family。

而且每个HRegionServer都有一个HLog对象,用于数据恢复。

4、使用场景

搜索引擎

生成索引,在查询时通过对条件的拼接,迅速的查找到要查询的数据。

实时流式计算

不管是实时的推荐系统,还是日志的增量存储,都是实时流式计算的一个应用。

通过将数据增量的存入Hbase,并在流式处理中实时查询Hbase,结合历史得到最终的分析结果。

更多Hbase,Flink,Kafka等实时流式计算相关博文,欢迎关注实时流式计算:

Hbase入门(一)——初识Hbase的更多相关文章

  1. HBase入门基础教程 HBase之单机模式与伪分布式模式安装

    在本篇文章中,我们将介绍Hbase的单机模式安装与伪分布式的安装方式,以及通过浏览器查看Hbase的用户界面.搭建HBase伪分布式环境的前提是我们已经搭建好了Hadoop完全分布式环境,搭建Hado ...

  2. Hbase入门教程--单节点伪分布式模式的安装与使用

    Hbase入门简介 HBase是一个分布式的.面向列的开源数据库,该技术来源于 FayChang 所撰写的Google论文"Bigtable:一个结构化数据的分布式存储系统".就像 ...

  3. 【HBase】HBase Getting Started(HBase 入门指南)

    入门指南 1. 简介 Quickstart 会让你启动和运行一个单节点单机HBase. 2. 快速启动 – 单点HBase 这部分描述单节点单机HBase的配置.一个单例拥有所有的HBase守护线程- ...

  4. HBase入门基础教程之单机模式与伪分布式模式安装(转)

    原文链接:HBase入门基础教程 在本篇文章中,我们将介绍Hbase的单机模式安装与伪分布式的安装方式,以及通过浏览器查看Hbase的用户界面.搭建HBase伪分布式环境的前提是我们已经搭建好了Had ...

  5. 一条数据的HBase之旅,简明HBase入门教程-Write全流程

    如果将上篇内容理解为一个冗长的"铺垫",那么,从本文开始,剧情才开始正式展开.本文基于提供的样例数据,介绍了写数据的接口,RowKey定义,数据在客户端的组装,数据路由,打包分发, ...

  6. 1.1-1.3 HBase入门

    一.HBASE入门 部分参考链接:https://www.cnblogs.com/steven-note/p/7209398.html 1.简介 HBase – Hadoop Database,是一个 ...

  7. 一条数据的HBase之旅,简明HBase入门教程-开篇

    常见的HBase新手问题: 什么样的数据适合用HBase来存储? 既然HBase也是一个数据库,能否用它将现有系统中昂贵的Oracle替换掉? 存放于HBase中的数据记录,为何不直接存放于HDFS之 ...

  8. 一条数据的HBase之旅,简明HBase入门教程1:开篇

    [摘要] 这是HBase入门系列的第1篇文章,主要介绍HBase当前的项目活跃度以及搜索引擎热度信息,以及一些概况信息,内容基于HBase 2.0 beta2版本.本系列文章既适用于HBase新手,也 ...

  9. hbase入门-相关概念

    hbase入门-概念理解 参考文档: https://blog.csdn.net/luanpeng825485697/article/details/80319552 1.      hbase概念 ...

随机推荐

  1. [Spring cloud 一步步实现广告系统] 22. 广告系统回顾总结

    到目前为止,我们整个初级广告检索系统就初步开发完成了,我们来整体回顾一下我们的广告系统. 整个广告系统编码结构如下: mscx-ad 父模块 主要是为了方便我们项目的统一管理 mscx-ad-db 这 ...

  2. Delegate,Block,Notification, KVC,KVO,Target-Action

    Target-Action: 目标-动作机制,所有的UIControl及子类都是这个机制:原理:在对象产生某个事件的特定时刻,给一个对象发送一个消息:类内部target去执行action方法 Dele ...

  3. restapi(6)- do it the functional way, 重温函数式编程

    再次看了看上篇博客的源代码,发现连自己都看不懂了.想是为了赶时间交货不知不觉又回到OOP行令模式了,看看下面这段代码: (post & parameters('pid,'desc.?,'wid ...

  4. mysql 显示表名和表数量

    SELECT count(*) FROM information_schema.TABLES WHERE TABLE_SCHEMA='dbname'; SELECT * FROM informatio ...

  5. 开发者工具conloseLog的使用

  6. Python-demo(photo)

    import osimport urllib import requests#import wximport time from fake_useragent import UserAgentfrom ...

  7. Python之流程控制——if...else...

    Python之流程控制--if...else... 一.流程控制 假如把程序比做走路,那我们到现在为止,一直走的都是直路,还没遇到过分岔口.当遇到分岔口时,你得判断哪条岔路是你要走的路,如果我们想让程 ...

  8. leetcode 刷题记录(java)-持续更新

    最新更新时间 11:22:29 8. String to Integer (atoi) public static int myAtoi(String str) { // 1字符串非空判断 " ...

  9. CF #535 (Div. 3) E2 Array and Segments (Hard version) 利用线段树进行区间转移

    传送门 题意:    有m个区间,n个a[ i ] , 选择若干个区间,使得整个数组中的最大值和最小值的差值最小.n<=1e5,m<=300; 思路: 可以知道每个i,如果一个区间包含这个 ...

  10. JSP内置对象(一)

    一.out对象out对象是JspWriter类的实例,是向客户端输出内容常用的对象1.void println() out的println()方法,向客户端打印字符串 2. void clear() ...