比如第一个region 代表 0-100 第二个region 代表 101 -200的 分的越多越不好管理,但同时方便了并行化处理,并发度越高,处理的越快.mapreduce就是按照rowkey的范围进行切分,这一点跟hdfs不一样. 由于不同的同一个表的不同region有可能在不同的节点机器上,这就方便了并发处理.关于负载均衡:比如一个节点100个region 另外一个节点50个region,我们要做负载均衡,则会把25个region放到另一台机器.region是伏在均衡的最小单位,reg…

HBase学习笔记之HBase的安装和配置 我是为了调研和验证hbase的bulkload功能,才安装hbase,学习hbase的.为了快速的验证bulkload功能,我安装了一个节点的hadoop集群和一个节点的hbase.安装过程如下. 1.简介 2.安装环境准备 3.具体安装过程 1.简介 ========= hbase是hadoop生态系统中的一个软件,是基于hadoop的数据库软件. 2.安装环境准备 =============== hbase安装之前必须安装hadoop,所以在安装h…

这两天把要前几天的知识点回顾一下,接下来我会用自己对知识点的理解来写一些东西 一.知识点回顾 1.hbase集群启动:$>start-hbase.sh ===>hbase-daemon.sh start hmaster   +  hbase-daemon.sh start regionserver    hbase集群关闭:$>stop-hbase.sh   ===>hbase-daemon.sh staop hmaster +hbase-daemon.sh stop region…

目标:支持可变属性 反模式:使用泛型属性表.这种设计成为实体-属性-值(EAV),也可叫做开放架构.名-值对. 优点:通过增加一张额外的表,可以有以下好处 (1)表中的列很少: (2)新增属性时,不需要新增列.不会影响现有表的结构: (3)存储的字段内容不会为空值. 缺点:(1)查询语句变得更加复杂: (2)使用EAV设计后,需要放弃传统的数据库设计所带来的方便之处,比如:无法保障数据完整性: (3)无法使用SQL的数据类型,比如对日期.金钱等格式内容都只能保持为字符串类型: (4)无法确保引用…

在逻辑上,HBase 的数据模型同关系型数据库很类似,数据存储在一张表中,有行有列. 但从 HBase 的底层物理存储结构(K-V)来看,HBase 更像是一个 multi-dimensional map. 1.HBase的数据模型 1.1 HBase 逻辑结构 先从一个逻辑结构模型图开始看起: 之前介绍了一些HBase的数据模型的概念,现在来系统的梳理一下: Table(表):一个表由一个或者多个列族构成.数据的属性.比如:name.age.TTL(超时时间)等等都在列族里边定义.定义完列族的…

最近做项目接触到了HDFS.mapreduce以及Hbase,有了实战机会,今天打算将这些知识好好总结下,以备不时之需.首先从Hbase开始吧. Hbase是建立在HDFS上的分布式数据库,下图是Hbase表的模型: Hbase这个数据库其实和传统关系数据库还是有很多类似之处,而不是像mongodb,memcached以及redis完全脱离了表的概念,只不过hbase是以列为中心的数据库,而传统关系数据库则是以行为中心的数据库.不过hbase这个列并非我们传统意义的列,而是列族.列族是hbase…

HBase1. hbase.id记录了集群的唯一标识:hbase.version记录了文件格式的版本号2. split和.corrupt目录在日志分裂过程中使用,以便保存一些中间结果和损坏的日志在表目录下,为该表的每一个region单独创建一个目录,目录的名字为region name的MD5哈希值3. 二级索引方案:a.Coprocessor b.由客户端发起对于主表和索引表的Put.Delete操作的双重操作 Split和Conpact优化 快速写入 1.写入前 预分Region 2.数据写入…

HBaseConfiguration HBaseConfiguration是每一个hbase client都会使用到的对象,它代表的是HBase配置信息.它有两种构造方式: public HBaseConfiguration() public HBaseConfiguration(final Configuration c) 默认的构造方式会尝试从hbase-default.xml和hbase-site.xml中读取配置.如果classpath没有这两个文件,就需要你自己设置配置. Config…

此文的目的: 1.重点理解Hbase的整体工作机制 2.熟悉编程api,能够用来写程序 1.  什么是HBASE 1.1.   概念特性 HBASE是一个数据库----可以提供数据的实时随机读写 HBASE与mysql.oralce.db2.sqlserver等关系型数据库不同,它是一个NoSQL数据库(非关系型数据库) * Hbase的表模型与关系型数据库的表模型不同: * Hbase的表没有固定的字段定义: * Hbase的表中每行存储的都是一些key-value对 * Hbase的表中有列…

HBase简介 HBase概念 HBase的原型是谷歌的Bigtable论文 HBase是一个高可靠性.高性能.面向列.可伸缩的分布式存储系统,利用HBase技术可在廉价PC上搭建起大规模结构化存储集群 HBase的目标是存储并处理大型的数据,更具体来说是仅需使用普通的硬件配置,就能够处理由成千上万的行和列所组成的大型数据 HBase特点 海量存储 HBase适合存储PB级的海量数据,在PB级别的数据以及采用廉价机器存储的情况下,能在几十到百毫秒内返回数据 列式存储 此处的列式存储指的是列族存储…