HBase简介 定义:HBase是一种分布式.可扩展.支持海量数据存储的NoSQL数据库. 数据模型:逻辑上,HBase的数据模型同关系型数据库很类似,数据存储在一张表中,有行有列.但从HBase的底层物理存储结构(K-V)来看,HBase更像是一个multi-dimensional map. HBase逻辑结构 物理存储结构 数据模型 1)Name Space 命名空间,类似于关系型数据库的database概念,每个命名空间下有多个表.HBase有两个自带的命名空间,分别是hbase和defa…

HBase详解(05) - HBase优化 整合Phoenix 集成Hive HBase优化 预分区 每一个region维护着startRow与endRowKey,如果加入的数据符合某个region维护的rowKey范围,则该数据交给这个region维护.那么依照这个原则,可以将数据所要投放的分区提前大致的规划好,以提高HBase性能. 1.手动设定预分区 hbase> create 'staff1','info',SPLITS => ['1000','2000','3000','4000']…

HBase详解(04) - HBase Java API使用 环境准备 新建Maven项目,在pom.xml中添加依赖 <dependency> <groupId>org.apache.hbase</groupId> <artifactId>hbase-server</artifactId> <version>2.0.5</version> </dependency> <dependency> &l…

RegionServer 架构 每个RegionServer可以服务于多个Region 每个RegionServer中有多个Store, 1个WAL和1个BlockCache 每个Store对应一个列族,包含MemStore和StoreFile StoreFile 将有序K-V的文件存储在HDFS上 保存实际数据的物理文件,StoreFile以Hfile的形式存储在HDFS上.每个Store会有一个或多个StoreFile(HFile),数据在每个StoreFile中都是有序的. MemStor…

HBase详解(很全面) very long story 简单看了一遍 很多不明白的地方.. 2018-06-08 16:12:32 卢子墨 阅读数 34857更多 分类专栏: HBase   [转自:http://jiajun.iteye.com/blog/899632] 一. 简介 history started by chad walters and jim 2006.11 G release paper on BigTable 2007.2 inital HBase prototype…

作者:韩信子@ShowMeAI 教程地址:http://www.showmeai.tech/tutorials/84 本文地址:http://www.showmeai.tech/article-detail/172 声明:版权所有,转载请联系平台与作者并注明出处 1.大数据与数据库 1) 从Hadoop到数据库 大家知道在计算机领域,关系数据库大量用于数据存储和维护的场景.大数据的出现后,很多公司转而选择像 Hadoop/Spark 的大数据解决方案. Hadoop使用分布式文件系统,用于存储大…

HBase详解(02) - HBase-2.0.5安装 HBase安装环境准备 Zookeeper安装 Zookeeper安装参考<Zookeeper详解(02) - zookeeper安装部署-单机模式-集群模式> 启动Zookeeper集群 bin/zkServer.sh start Hadoop安装 Hadoop安装参考<Hadoop详解(02) - Hadoop3.1.3集群运行环境搭建> 启动Hadoop集群 sbin/start-dfs.sh sbin/start-ya…

Hadoop详解(01)概论 概念 大数据(Big Data):指无法在一定时间范围内用常规软件工具进行捕捉.管理和处理的数据集合,是需要新处理模式才能具有更强的决策力.洞察发现力和流程优化能力的海量.高增长率和多样化的信息资产.主要解决,海量数据的存储和海量数据的分析计算问题.截至目前,人类生产的所有印刷材料的数据量是200PB,而历史上全人类总共说过的话的数据量大约是5EB.当前,典型个人计算机硬盘的容量为TB量级,而一些大企业的数据量已经接近EB量级. 数据存储单位:bit.Byte.KB…

Spark详解(01) - Scala编程语言概述 Scala官网:https://www.scala-lang.org/ 什么是Scala 从英文的角度来讲,Scala并不是一个单词,而是Scalable Language两个单词的缩写,表示可伸缩语言的意思.从计算机的角度来讲,Scala是一门完整的软件编程语言,那么连在一起就表示Scala是一门可伸缩的软件编程语言.之所以说它是可伸缩,是因为这门语言体现了面向对象,函数式编程等多种不同的语言范式,且融合了不同语言新的特性. Scala编程语…

Hive详解(01) - 概念 hive简介 Hive:由Facebook开源用于解决海量结构化日志的数据统计工具,是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张表,并提供类SQL查询功能. Hive本质:将HQL转化成MapReduce程序 (1)Hive处理的数据存储在HDFS (2)Hive分析数据底层的实现是MapReduce (3)执行程序运行在Yarn上 Hive的优缺点 优点 (1)操作接口采用类SQL语法,提供快速开发的能力(简单.容易上手). (2)避免…