HBase基础概念
定义
非关系型分布式列式数据库,支持大数据量查询(百万,上亿行)
概要
- 数据存储:HDFS
- 数据计算:MapReduce/Spark
- 服务协调:Zookeeper
特征
- 列式存储(列只有一种类型byte[])
- 分布式
- 大数据存储(百万,上亿行; 上万列)
- 伸缩性,扩展性(列根据业务随意添加)
- 随机快速访问:归功于region分区
- 强一致性(同一行的数据分布在同一个region)
- 自动分片(当storeFile达到阀值值,自动把一个region分裂成两个,同时刷新hbase:meta表,以更新region信息)
- regionserver自动故障转移(failover):当一个regionserver进程挂掉时,Master会自动将原先regionserver
下的reigon进行重新分配到其它regionserver - 支持mapreduce,hdfs: 数据导入,数据存储
- java api
- thrift/rest api
- block cache
- web ui
不适用场景
- 关联
- 事务
- 列类型设置
- 二级索引
- 高级查询(存储过程,触发器等)
什么时候选用HBase
结合二三即可
- 大数据
- 能够承受丢失RDBMS的特征
- 有足够的硬件资源
HBase与HDFS的区别
虽然HBase数据存储在HDFS上,但查询数据的速度区别很大
- HDFS:属于全表扫描查询,速度很慢
- HBase:根据rowKey分区,只选择部分相应的region查询,速度很快
HBase系统表
1.也叫目录表(hbase:meta): 用于保存所有region信息
2.存放在zookeeper中,默认路径是 /hbase/meta-region-server (终端执行zkCli.sh)
3.存放目录由hbase-site.xml中zookeeper.znode.rootserver控制
Master节点
由于meta数据不是存储在master节点,故当master挂掉时,hbase client can still run for a short time.
- 运行在namenode
- 管理regionserver
- 触发meta表的更新
WAL(Write Ahead Log)
数据先已文件形式写入HLog,再写入memstore
RegionServer
管理region,部署在DataNode上
HBase基础概念的更多相关文章
- Hbase记录-Hbase基础概念
HBase是什么? HBase是建立在Hadoop文件系统之上的分布式面向列的数据库.它是一个开源项目,是横向扩展的. HBase是一个数据模型,类似于谷歌的大表设计,可以提供快速随机访问海量结构化数 ...
- Hbase 基础 - shell 与 客户端
版权说明: 本文章版权归本人及博客园共同所有,转载请标明原文出处(http://www.cnblogs.com/mikevictor07/),以下内容为个人理解,仅供参考. 一.简介 Hbase是在 ...
- HBASE基础知识总结
HBASE基础知识总结 一,概要说明 文章首先回顾HBase 的数据模型和数据层级结构,对数据的每个层级的作用和架构进行了详细阐述:随后介绍了数据写入和读取的详细流程.先把架构图和流程图来坐镇. 架构 ...
- HBase基本概念
HBase是什么 HBase构建在 HDFS 之上的分布式列式键值存储系统.HBase内部管理的文件全部存储在HDFS中. HBase VS HDFS HDFS适合批处理场景 不支持数据随机查找 不适 ...
- 【Machine Learning】机器学习及其基础概念简介
机器学习及其基础概念简介 作者:白宁超 2016年12月23日21:24:51 摘要:随着机器学习和深度学习的热潮,各种图书层出不穷.然而多数是基础理论知识介绍,缺乏实现的深入理解.本系列文章是作者结 ...
- TCP/IP基础概念及通信过程举例
TCP/IP基础概念及通信过程举例 出现 上个世纪60年代,由于中央集中式网络的容灾性较弱,以美国国防部为中心的一家组织研究出分组交换网络.后来为了验证分组交换技术的实用性,ARPANET出现了,并且 ...
- Jmeter基础之---jmeter基础概念
Jmeter基础之---jmeter基础概念 JMeter 介绍: 一个非常优秀的开源的性能测试工具. 优点:你用着用着就会发现它的重多优点,当然不足点也会呈现出来. JMeter 介绍: 一个非常优 ...
- 快速入门系列--WCF--01基础概念
转眼微软的WCF已走过十个年头,它是微软通信框架的集大成者,将之前微软所有的通信框架进行了整合,提供了统一的应用方式.记得从自己最开始做MFC时,就使用过Named Pipe命名管道,之后做Winfo ...
- 理解 angular2 基础概念和结构 ----angular2系列(二)
前言: angular2官方将框架按以下结构划分: Module Component Template Metadata Data Binding Directive Service Dependen ...
随机推荐
- redis 事务、Jedis事务处理流程
127.0.0.1:6379> multiOK127.0.0.1:6379> sadd myset a b cQUEUED ——>并没有执行,排队等待127.0.0.1:6379& ...
- Ext根据条件显示隐藏列
Ext根据条件显示隐藏列 写在ExtonReady函数里面,并在表格成功渲染之后,可以添加判断是否隐藏或者显示某一列 /* 判断是否显示版本号一列 */ var showVersionFlag = ' ...
- Oracle 查询状态 自检
Tips:fnd_lobs表会保存我们上传的一些文件和Form界面“文件“-“导出”的文件.如果不定期清理了话,会出现文件上传失败,或者是导出按钮可以点击,但是点击完以后没有任何反应.这个时候我们应该 ...
- SQLServer中DataLength()和Len()两内置函数的区别
最近工作中遇到了个问题:在数据库中声明字段类型时char(4),但实际只存储了‘DCE’三个字母,程序中拼装以该字段作为key的Map中,会把‘DCE’+空格作为其Key,这样造成用没加空格的‘DCE ...
- Tomcat6.0下的jsp、servlet和javabean的配置
第一步:下载jdk和tomcat: 第二步:安装和配置你的jdk和tomcat:执行jdk和tomcat的安装程序,然后设置按照路径进行安装即可.1.安装jdk以后,需要配置一下环境变量,在我的电脑- ...
- Linux 系统的/var目录
/var目录主要针对常态性变动的文件,包括缓存(cache).登录档(log file)以及某些软件运作所产生的文件 /var目录下的重要目录 目录 应放置文件内容 /var/cache/ 应用程序本 ...
- 重置 Winsock:初始化计算机网络环境
初始化网络环境,以解决由于软件冲突.病毒原因造成的参数错误问题(复杂网络环境下慎用).批处理代码: netsh winhttp reset proxy netsh winhttp reset trac ...
- zabbix3.4 修改监控范围
需求:一段时间内不监控主机的流量(不告警!!!)
- Centos7 教程收集ing
CentOS7 常用命令集合 https://blog.csdn.net/o0darknessyy0o/article/details/52072054#t1 1.centOS7下实践查询版本/CPU ...
- November 22nd 2016 Week 48th Tuesday
Eventually, you will learn to cry on the inside. 终有一天,你得学会让眼泪在心里流. Cry on the inside. I am tired, an ...