【HBase】简介、结构、数据模型、快速入门部署、shell操作、架构原理、读写数据流程、数据刷写、压缩、分割、Phoenix、表的映射、与hive集成、优化

一、简介

1、定义

分布式、可扩展、支持海量数据存储的NoSQL数据库

2、数据模型

2.1逻辑结构

2.2物理存储结构

2.3数据模型介绍

Name Space：相当于数据库，包含很多张表

Region：类似于表，定义表时只需要声明列族，不需要声明具体的列。【字段可以动态、按需指定】

Row：每行数据按RowKey字典序存储，且只能根据RowKey检索

Column：由Column Family(列族)和Column Qualifier（列限定符，即列名，无需预先定义）进行限定，例如info：name，info：age。

Time Stamp：标识数据的不同版本

Cell：由{rowkey, column Family：column Qualifier, time Stamp} 唯一确定的单元/记录？

3、HBase基本架构

架构角色

Region Server：Region的管理者，其实现类为HRegionServer，可以实现对数据的操作（get, put, delete）和对Region的操作（splitRegion、compactRegion）

Master：Region Server的管理者，实现类为HMaster，可以实现对表的操作（create, delete, alter）和对Region Server的操作（分配regions、监控ser的状态、负载均衡和故障转移）

Zookeeper：Master的高可用、RegionServer的监控、元数据的入口以及集群配置的维护

HDFS：底层数据存储、HBase的高可用

二、HBase快速入门

1、安装部署

zk和Hadoop的部署

HBase的解压和配置文件修改：hbase-env.sh、hbase-site.xml

定义regionservers，软连接hadoop配置文件到HBase：ln -s a b

远程发送同步集群：xsync hbase/

启动HBASE：bin/hbase-daemon.sh start master及regionserver

启动方式2：bin/start-hbase.sh，查看页面：http://hadoop102:16010

对HMaster的HA高可用：

创建backup-masters文件并配置高可用HMaster节点：echo hadoop103 > conf/backup-masters

整个conf目录scp到其他节点：scp -r conf/ hadoop103:/opt/module/hbase/

2、Shell操作

进入命令行：bin/hbase shell

表的操作：create、put、scan、describe、count、delete、truncate清空表、get 'student','1001'指定行,'info:name'指定列族: 列、drop删除表、

三、HBASE进阶

1、架构原理

StoreFile：实际保存的物理文件，以HFile的形式存储在HDFS上，数据有序

MemStore：写缓存，先存储在MemStore中，排好序再刷写到StoreFile

WAL：写内存容易数据丢失，先写在一个叫做Write-Ahead logfile的文件中，然后再写入MemStore中；系统出现故障的时候，数据可以通过这个日志文件重建。

2、写数据的流程

通过zk获取Region Server地址

（追加）到WAL，写入对应的MemStore

向client发送ack，等到刷写时机后，将数据刷写到HFile

3、MemStore Flush数据刷写

某个Mem Store达到配置值时

memstore的总大小达到java_heapsize时

到达自动刷写的时间，也会触发memstore flush

4、读流程

访问zk，获取hbase:meta表位于哪个Region Server

根据读请求的namespace:table/rowkey获取region并缓存到meta cache

查询目标数据并合并

5、StoreFile Compaction

memstore每次刷写都会生成一个新的HFile，且同一个字段的不同版本（timestamp）和不同类型（Put/Delete）有可能会分布在不同的HFile中，因此查询时需要遍历所有的HFile

为了减少HFile的个数，以及清理掉过期和删除的数据，会进行StoreFile Compaction。

Minor Compaction：临近的HFile合并，但不会清理删除

Major Compaction：Store下的所有HFile合并，同时会清理和删除

6、Region Split

每个Table起初只有一个Region，随着数据的不断写入，Region会自动进行拆分

由于负载均衡，可能会将当前table的region转移到其他region server上

四、整合Phoenix

1、Phoenix简介

定义：可以使用标准JDBC API代替HBase客户端API

特点：容易集成、操作简单、支持二级索引

Phoenix架构：

2、快速入门

安装bsdtar3、上传解压jar包、【server和client】拷贝到各个节点的hbase/lib

启动：/opt/module/phoenix/bin/sqlline.py hadoop102,hadoop103,hadoop104:2181

Shell操作

显示所有表：!tables

建表：表名等会自动转换为大写，若要小写，使用双引号，如"us_population"。指定多个列的联合作为RowKey

插入数据：upsert into student values('1001','zhangsan');

退出命令行：!quit

3、表的映射

视图映射和表映射

进入命令行：/opt/module/hbase-1.3.1/bin/hbase shell

建表：create 'test','info1','info2'

创建关联test表的视图：create view "test"(id varchar primary key,"info1"."name" varchar, "info2"."address" varchar);

删除视图：drop view "test";

JDBC操作

4、Phoenix二级索引

协处理器

二级索引配置文件

全局二级索引：创建新表，适用于多读少写的业务场景

本地二级索引：Local Index适用于写操作频繁

五、与Hive的集成

1、HBase与Hive的对比

2、与Hive集成使用

2.1 插入数据到Hive表的同时能够影响HBase表：hive-中间表-hbase

Hive中创建表同时关联HBase

Hive中创建临时中间表，用于load文件中的数据

向Hive中间表中load数据

insert命令将中间表中的数据导入到Hive关联Hbase的那张表中

2.2借助Hive来分析HBase这张表

Hive中创建外部表

使用Hive函数进行一些分析操作

六、HBase优化

1、预分区：提前规划region分区，提高性能

create 'staff1','info','partition1',SPLITS => ['1000','2000','3000','4000']

手工设定、生成16进制序列、按文件规则、使用java api

2、RowKey设计

随机数、hash、散列值

字符串反转、拼接

3、内存优化

16~48G内存

4、基础优化，配置hbase-site.xml

允许在HDFS的文件中追加内容

优化DataNode允许的最大文件打开数

优化延迟高的数据操作的等待时间

优化数据的写入效率

设置RPC监听数量

优化HStore文件大小

指定scan.next扫描HBase所获取的行数

flush、compact、split机制