一、 hbase的原理知识

1. hbase介绍

hbase是hadoop的一个重要成员,主要用于存储结构化数据,构建在hdfs之上的分布式存储系统,它主要通过横向扩展,通用不断增加廉价服务器增加计算和存储能力。

2. hbase的特点

1. 大:一个表可以有数十亿行,上百万列;

2. 无模式:每行都有一个可排序的主键和任意多的列,列可以根据需要动态的增加,同一张表中不同的行可以有截然不同的列;

3. 面向列:面向列(族)的存储和权限控制,列(族)独立检索;

4. 稀疏:空(null)列并不占用存储空间,表可以设计的非常稀疏;

5. 数据多版本:每个单元中的数据可以有多个版本,默认情况下版本号自动分配,是单元格插入时的时间戳;

6. 数据类型单一:Hbase中的数据都是字符串,没有类型。

3. hbase的结构

1. 在 HBase 中首先会有 Column Family 的概念,简称为 CF。CF 一般用于将相关的列(Column)组合起来。在物理上 HBase 其实是按 CF 存储的,只是按照 Row-key 将相关 CF 中的列关联起来。

2. Row-key 加上 CF 加上 Qulifier 再加上一个时间戳才可以定位到一个单元格数据(Hbase 中每个单元格默认有 3 个时间戳的版本数据)

3. 逻辑结构图与物理结构的映射如下:

二、hbase的安装(Linux )(伪分布式)

还是用之前的伪分布式集群。

1. 将hbase-1.0.1.1-bin.tar.gz上传到集群,并解压

tar -zxvf hbase-1.0.1.1-bin.tar.gz

默认会解压到当前路径,并创建一个hbase-1.0.1.1-bin文件夹

2. 设置环境变量(root用户,修改/etc/profile,在最后添加)

HBASE_HOME=/home/qjx/hbase-1.0.1.1
export PATH=$PATH:$HBASE_HOME/bin

 使之立刻生效

source /etc/profile

3. 修改 /home/qjx/hbase-1.0.1.1/bin/hbase-env.sh

3.hbase-env.sh中的如下属性:

export JAVA_HOME=/usr/java/jdk1.8.0_121
export HBASE_MANAGES_ZK=true

 将上面连个取消注释使之生效,

HBASE_MANAGES_ZK=true是使zookeeper生效

4. 修改 /home/qjx/hbase-1.0.1.1/bin/hbase-site.xml配置文件,添加配置(配置之前需要在hdfs中添加hbase文件夹)

hadoop fs -mkdir /hbase

(同时需要创建/home/qjx/hadoop/zookeeper文件夹)

mkdir /home/qjx/hadoop/zookeeper

修改 /home/qjx/hbase-1.0.1.1/bin/hbase-site.xml配置文件

<configuration>
<property>
<name>hbase.cluster.distributed</name>
<value>true</value>
</property>
<property>
<name>hbase.rootdir</name>
<value>hdfs://qjx:9000/hbase</value>
</property>
<property>
<name>hbase.zookeeper.property.dataDir</name>
<value>/home/qjx/hadoop/zookeeper</value>
</property>
</configuration>

5. 启动

bin/start-hbase.sh

6. 关闭

bin/stop-hbase.sh

7. 检查配置是否正确

jps比之前多现实三个

三、 hbase的shell命令

1. 创建表

create 'table1','info','address'

这个后面的参数 'table1','info','address' 是列族

2. 查看表

list

3. 查看表的描述

3.1 查看

describe 'table1'

3.2 修改version为存储多个版本

alter 'table1',{NAME=>'address',VERSIONS=>3}

再次查看,发现VERSIONS变为了3,即可以存储3个版本的数据

4. 删除表

disable 'table1'
drop 'table1'

5. 添加记录

put 'table1','qujinxu','info:age','22'
put 'table1','qujinxu','address:city','shuangyashan'
put 'table1','xukang','info:age','23'
put 'table1','xukang','info:birthday','1994'
put 'table1','xukang','address:province','hebei'
put 'table1','xukang','address:city','handan'

6. 查询记录

6.1 查询一个row-key的记录

get 'table1','qujinxu'
get 'table1','xukang'

6.2 查询一个row-key的某一列的记录

get 'table1','qujinxu','info'
get 'table1','qujinxu','address'
get 'table1','xukang','info'
get 'table1','xukang','address'

6.3 查看某几个版本的数据

如果有多个版本,可以显示多条,如果没有,可以自己设置,见3.2操作

注意:VERSOIONS 而不是VERSION

put 'table1','qujinxu','address:city','qinhuangdao'
get 'table1','qujinxu',{COLUMN=>'address:city',VERSION=>5}

7. 更新记录

更新记录还是讲数据put上去进行覆盖,不过会产生新的迭代版本,见上一步操作的第一步

8. 全部扫描

scan 'table1'

9. 删除记录

9.1 删除具体的row-key的某个列

delete 'table1','qujinxu','info:city'

9.2 删除row-key的某个列族

delete 'table1','qujinxu','info

hadoop学习第七天-HBase的原理、安装、shell命令的更多相关文章

  1. Hadoop 学习之路(六)—— HDFS 常用 Shell 命令

    1. 显示当前目录结构 # 显示当前目录结构 hadoop fs -ls <path> # 递归显示当前目录结构 hadoop fs -ls -R <path> # 显示根目录 ...

  2. hbase的常用的shell命令&hbase的DDL操作&hbase的DML操作

    前言 笔者在分类中的hbase栏目之前已经分享了hbase的安装以及一些常用的shell命令的使用,这里不仅仅重新复习一下shell命令,还会介绍hbase的DDL以及DML的相关操作. hbase的 ...

  3. Hbase_02、Hbase的常用的shell命令&Hbase的DDL操作&Hbase的DML操作(转)

    阅读目录 前言 一.hbase的shell操作 1.1启动hbase shell 1.2执行hbase shell的帮助文档 1.3退出hbase shell 1.4使用status命令查看hbase ...

  4. hadoop2.5.2学习及实践笔记(五)—— HDFS shell命令行常见操作

    附:HDFS shell guide文档地址 http://hadoop.apache.org/docs/r2.5.2/hadoop-project-dist/hadoop-common/FileSy ...

  5. ZooKeeper学习之路(三)—— Zookeeper常用Shell命令

    一.节点增删改查 1.1 启动服务和连接服务 # 启动服务 bin/zkServer.sh start #连接服务 不指定服务地址则默认连接到localhost:2181 zkCli.sh -serv ...

  6. ZooKeeper学习第七期--ZooKeeper一致性原理

    一.ZooKeeper 的实现 1.1 ZooKeeper处理单点故障 我们知道可以通过ZooKeeper对分布式系统进行Master选举,来解决分布式系统的单点故障,如图所示. 图 1.1 ZooK ...

  7. Hadoop学习记录(4)|MapReduce原理|API操作使用

    MapReduce概念 MapReduce是一种分布式计算模型,由谷歌提出,主要用于搜索领域,解决海量数据计算问题. MR由两个阶段组成:Map和Reduce,用户只需要实现map()和reduce( ...

  8. 十、Hadoop学习笔记————Hive与Hbase以及RDBMS(关系型数据库)的关系

    Hive目的是为了简化MapReduce编程 实际应用中,Hive与Hbase不经常链接

  9. C# Hadoop学习笔记(二)—架构原理

    一,架构   二.名词解释 (一)NameNode(简称NN),Hadoop的主节点,负责侦听节点是否活跃,对外开放接口等.在未来的大数据处理过程中,由于访问量和节点数量的不断增多,需要该节点的处理能 ...

随机推荐

  1. Redis之最大内存置换策略

    0.前言 Redis默认最大内存大小是应用程序可访问的内存大小, 32位windows下是2GB, linux下是3GB. 64位下可以访问的内存为2^64字节, Redis提供了maxmemory字 ...

  2. Emmet:HTML/CSS编写插件

    http://www.iteye.com/news/27580 用法: http://docs.emmet.io/cheat-sheet/ sublime 2 添加:1. Ctrl+Alt+p -&g ...

  3. mongodb更新器

    Name Description $inc Increments the value of the field by the specified amount. $mul Multiplies the ...

  4. BitMap、Geo、HyperLogLog

    前言 Reids 在 Web 应用的开发中使用非常广泛,几乎所有的后端技术都会有涉及到 Redis 的使用.Redis 种除了常见的字符串 String.字典 Hash.列表 List.集合 Set. ...

  5. 一步一步解析H.264码流的NALU(SPS,PSS,IDR)获取宽高和帧率

    分析H.264码流的工具 CodecVisa,StreamEye以及VM Analyzer NALU是由NALU头和RBSP数据组成,而RBSP可能是SPS,PPS,Slice或SEI 而且SPS位于 ...

  6. load data导入数据之csv的用法

    今天总结一下:csv格式文件导入的方法. 1.准备数据表:CSV

  7. hbuilder mui如何监听搜索框点击清除按钮

    监听代码如下: mui(".mui-icon-clear")[0].addEventListener('tap',function(){    console.log(456)}) ...

  8. thinkPHP3.2.2中支持的URL的四种模式

  9. 关于java类加载器的一些概念

    顾名思义,类加载器(class loader)用来加载 Java 类到 Java 虚拟机中.一般来说,Java 虚拟机使用 Java 类的方式如下:Java 源程序(.java 文件)在经过 Java ...

  10. lua(仿单继承)

    --lua仿单继承 Account = { balance = } function Account:new(o) o = o or {} setmetatable(o, self)--Account ...