大数据开发的学习,组件还是很多的,都需要掌握并多加练习。 最好的参考文档当然是官方的了。

因为Hadoop生态圈组件很多,所以,在建设之初一定要检查好各版本的兼容性。避免后期麻烦。

我的练习使用Hadoop-2.7.5  以及Hbase-1.4.2 看了Hbase 手册Chapter4 兼容性没有问题。

# 行存储
优点:写入一次性完成,保持数据完整性
缺点:数据读取过程中产生冗余数据,若有少量数据可以忽略
# 列存储
优点:读取过程,不会产生冗余数据,特别适合对数据完整性要求不高的大数据领域
缺点:写入效率差,保证数据完整性方面差 # Hbase优势:
海量数据存储
快速随机访问
大量写操作的应用
# Hbase应用场景
互联网搜索引擎数据存储
海量数据写入
消息中心
内容服务系统(schema-free)
大表复杂&多维度索引
大批量数据读取 # Hbase 数据模型
# 行键 时间戳 列族contens 列族ahchor 列族mime
"com.cn.www" t9 anchor:cnnsi.com="CNN"
t8 anchor:my.look.cn="CNN.com"
t6 contens:html="" mime:type="text/html"
t5 contens:html=""
t3 contens:html="" # RowKey: 是Byte array,是表中每条记录的“主键”,方便快速查找,RowKey的设计非常重要
# Column Family: 列族,拥有一个名称(string),包含一个或者多个相关列
# Column: 属于某一个Columnfamily, familyName:columnName,每条记录可动态添加
# Version Number: 类型为Long,默认值是系统时间戳,可由用户自定义
# Value(cell): Byte array ## Hbase系统架构 可以参考 http://www.cnblogs.com/shitouer/archive/2012/06/04/2533518.html ######################### 安装配置启动 #########################
# 先完成 配置并启动zookeeper以及hadoop 的前提下,开始安装hbase
tar zxvf hbase* -C
cd hbase-1.4./conf vim /etc/profile
export HBASE_HOME=/usr/local/src/hbase-1.4.
export PATH=$PATH:$HBASE_HOME/bin
###(以下两行最好加上,若没有,启动Hadoop、hbase时都会有没加载lib成功的警告) 
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib/native" vim hbase-env.sh
export JAVA_HOME=/usr/local/src/jdk1..0_161
export HBASE_CLASSPATH=/usr/local/src/hbase-1.4./conf # 官方教程没有这行
export HBASE_MANAGES_ZK=false ##### 使用自带zk 设为false ####
export HBASE_HOME=/usr/local/src/hbase-1.4. # 官方教程没有这行
export HADOOP_HOME=/usr/local/src/hadoop-2.7. # 官方教程没有这行
#给以下两行加上注释
#export HBASE_MASTER_OPTS="$HBASE_MASTER_OPTS -XX:PermSize=128m -XX:MaxPermSize=128m"
#export HBASE_REGIONSERVER_OPTS="$HBASE_REGIONSERVER_OPTS -XX:PermSize=128m -XX:MaxPermSize=128m" vim hbase-site.xml
<property>
<name>hbase.rootdir</name> <!-- hbase存放数据目录,设置好会自动创建 -->
<value>hdfs://master:9000/hbase/hbase_db</value>
<!-- 但是实际生产环境最好使用HDFS HA的nameservice 才能高可用. -->
<!-- hdfs://names1/hbase -->
<!-- 端口要和Hadoop的fs.defaultFS端口一致 -->
</property>
<property>
<name>hbase.cluster.distributed</name> <!-- 是否分布式部署 -->
<value>true</value>
</property>
<property>
<name>hbase.zookeeper.property.clientPort</name><!-- Zookeeper的端口 -->
<value></value>
</property>
<property>
<name>hbase.zookeeper.quorum</name><!-- Zookeeper的地址 写ip也行 -->
<value>master,slave1,slave2</value>
</property>
<property>
<name>hbase.zookeeper.property.dataDir</name>
<!-- zookeeper 数据文件夹,不配也可以,但是配的话就必须和zoo.cfg的一样。 -->
<value>/usr/local/src/hbase-1.4./zookeeper</value>
</property>
<property>
<name>hbase.master</name>
<value>master:</value>
</property> # 配置 regionservers 启用HA后,就改用master slave2 slave3 因为有4台vm了。
vim regionservers
master
slave1
slave2 # 配置备份主控
vim conf/backup-masters
slave1

#######################
# 复制hadoop/etc/hadoop/hdfs-site.xml文件到hbase/conf/ 下 尤其是改过配置后,一定要重新复制
#######################
# 分别scp -r /usr/local/src/hbase-1.4.2 到其它机器


# 启动zookeeper, 启动hadoop HA ,启动备份Namenode sbin/yarn-daemon.sh start resourcemanager
# 启动hbase
./start-hbase.sh


### 验证 jps查看Hmaster, QuorumPeer, HRegionServer
### 访问http://master:16010 检查Region Servers 和 Backup Masters
### 0.98版为 http://master:60010

########################  使用   ########################
hbase shell # 进入shell模式
# 在 shell 模式下,输入命令后直接回车,可以得到相关的帮助。
status # 查看状态
version
list
processlist #当前任务列表
whoami # 当前用户
#### 退格需要 ctrl + backspace create 'psn','cf1','cf2' #建表 表名和2个列族
describe 'psn' # 表的描述
disable 'psn' #禁用表
drop 'psn' #删除表,必须先禁用. put 'psn','','cf1:name','Tohmase' #插入数据:表名,RowKey, 列,值
put 'psn','','cf1:sex','male' scan 'psn' #显示表数据 scan尽量少用,因为数据量很大。 get 'psn','','cf1:name' # 得到数据 put 'psn','','cf1:name','Jerry'
get 'psn','','cf1:name' #因为默认VERSION的设置,只保留1个版本。 list_namespace #默认的表都在default中 create 'tb2','cf'
disable 'tb2'
list
drop 'tb2' # 如果是单机伪分布式, hbase-site.xml 中的 <name>hbase.rootdir</name> 将使用本地文件系统 <value>file:///tmp/hbase_db</value>
# 那么,/tmp/hbase_db/data对应数据, oldWALs 和 WALs对应Hlog.
# /tmp/hbase_db/data/default/psn 对应数据表psn, psn下的子目录对应Region 而Region下的子目录对应列族。
# 进入列族,可以看到数据文件,如果没有文件,则可能因为还在内存中,可以手动溢写
flush 'psn'
# 查看数据文件命令 hbase hfile -p -f 文件名
hbase hfile -p -f hdfs://names1/hbase/data/default/psn/321528543130bee66f28d583f91f6279/cf1/3351b190de7940a1bfa7c439c54cff70
# RowKey 在满足业务需求的前提下尽量短一些,节省资源 # 关闭各系统时,依次是:
stop-hbase.sh
stop-yarn.sh
stop-dfs.sh
zkServer.sh stop

看了这位老师的教程,进一步理解HDFS HA的重要性,初学的时候只是简单地搭建了hadoop环境,而实际的生产环境中,HA则是必不可少的。

后续我至少设置4台VM后,再试试搭建hadoop的HA。

更新:

启动成功 hadoop HA 后,又继续试验Hbase

########## 今天试验时出现一个故障:create 'psn'表时提示已存在,disable时又提示不存在。
# 可能的原因是改了hbase的配置文件后没有复制到其它节点。
# 解决办法:zkCli.sh 进入zk shell, 在以下2个地方找到表名然后删除, 然后再hbase shell 重新创建表。
# rmr /hbase/table/psn
# rmr /hbase/table-lock/psn ########### 试验一下 Backup Master是否可用。先杀了master的HMaster,然后看slave1会不会顶上
# 刷新http://slave1:16010 后,发现HMaster 已经成了slave1. 自动顶上来了。
# 再启动master上的 bin/start-hbase.sh
# 刷新http://master:16010 后,看到Current Active Master: slave1 并且它自己成了backup

Hadoop学习笔记04_Hbase的更多相关文章

  1. Hadoop学习笔记—22.Hadoop2.x环境搭建与配置

    自从2015年花了2个多月时间把Hadoop1.x的学习教程学习了一遍,对Hadoop这个神奇的小象有了一个初步的了解,还对每次学习的内容进行了总结,也形成了我的一个博文系列<Hadoop学习笔 ...

  2. Hadoop学习笔记(7) ——高级编程

    Hadoop学习笔记(7) ——高级编程 从前面的学习中,我们了解到了MapReduce整个过程需要经过以下几个步骤: 1.输入(input):将输入数据分成一个个split,并将split进一步拆成 ...

  3. Hadoop学习笔记(6) ——重新认识Hadoop

    Hadoop学习笔记(6) ——重新认识Hadoop 之前,我们把hadoop从下载包部署到编写了helloworld,看到了结果.现是得开始稍微更深入地了解hadoop了. Hadoop包含了两大功 ...

  4. Hadoop学习笔记(2)

    Hadoop学习笔记(2) ——解读Hello World 上一章中,我们把hadoop下载.安装.运行起来,最后还执行了一个Hello world程序,看到了结果.现在我们就来解读一下这个Hello ...

  5. Hadoop学习笔记(5) ——编写HelloWorld(2)

    Hadoop学习笔记(5) ——编写HelloWorld(2) 前面我们写了一个Hadoop程序,并让它跑起来了.但想想不对啊,Hadoop不是有两块功能么,DFS和MapReduce.没错,上一节我 ...

  6. Hadoop学习笔记(3)——分布式环境搭建

    Hadoop学习笔记(3) ——分布式环境搭建 前面,我们已经在单机上把Hadoop运行起来了,但我们知道Hadoop支持分布式的,而它的优点就是在分布上突出的,所以我们得搭个环境模拟一下. 在这里, ...

  7. Hadoop学习笔记(2) ——解读Hello World

    Hadoop学习笔记(2) ——解读Hello World 上一章中,我们把hadoop下载.安装.运行起来,最后还执行了一个Hello world程序,看到了结果.现在我们就来解读一下这个Hello ...

  8. Hadoop学习笔记(1) ——菜鸟入门

    Hadoop学习笔记(1) ——菜鸟入门 Hadoop是什么?先问一下百度吧: [百度百科]一个分布式系统基础架构,由Apache基金会所开发.用户可以在不了解分布式底层细节的情况下,开发分布式程序. ...

  9. Hadoop学习笔记(两)设置单节点集群

    本文描写叙述怎样设置一个单一节点的 Hadoop 安装.以便您能够高速运行简单的操作,使用 Hadoop MapReduce 和 Hadoop 分布式文件系统 (HDFS). 參考官方文档:Hadoo ...

随机推荐

  1. Hadoop 集群的三种方式

    1,Local(Standalone) Mode 单机模式 $ mkdir input $ cp etc/hadoop/*.xml input $ bin/hadoop jar share/hadoo ...

  2. DRF之视图类(mixin)源码解析

     同样的增删改查操作,如果我们还像之前序列化组件那样做,代码重复率过多,所以我们用视图表示: 具体源码实现:首先定义一个视图类,然后根据mixin点进去有五个封装好的方法,这五个方法共有的属性就是都需 ...

  3. javascript:void(0) 和 href="#"的区别

    <a href="javascript:void(0);">点击 <a href="#">点击 如果使用下面一种方式,会跳到网页顶部. ...

  4. python核心技术

    基本语法 Python的设计目标之一是让代码具备高度的可阅读性.它设计时尽量使用其它语言经常使用的标点符号和英文单字,让代码看起来整洁美观.它不像其他的静态语言如C.Pascal那样需要重复书写声明语 ...

  5. P2P原理(转)

    P2P(Peer to Peer)对等网络 P2P技术属于覆盖层网络(Overlay Network)的范畴,是相对于客户机/服务器(C/S)模式来说的一种网络信息交换方式.在C/S模式中,数据的分发 ...

  6. 用javaScript对页面元素进行显示和隐藏

    将显示元素进行隐藏 用document.getElementById("ID名").hidden=ture;根据页面元素ID名获得页面元素值,进而将其属性设置成隐藏. 将隐藏元素进 ...

  7. topcoder srm 595 div1

    problem1 link 判断最后剩下哪些区间没有被其他区间覆盖. problem2 link 假设$b$的位置固定,那么不同的$a$会使得$[a,b]$有两种情况,第一种,$[a,b]$ is n ...

  8. Python3 tkinter基础 Menu add_checkbutton 多选的下拉菜单

             Python : 3.7.0          OS : Ubuntu 18.04.1 LTS         IDE : PyCharm 2018.2.4       Conda ...

  9. .NET 实用扩展方法

    .NET 实用扩展方法(持续更新...) 1. 字符串转换为可空数值类型(int, long, float...类似) /// <summary> /// 将字符串转换成32位整数,转换失 ...

  10. newcoder 小A的柱状图(单调栈)题解

    题目描述 柱状图是有一些宽度相等的矩形下端对齐以后横向排列的图形,但是小A的柱状图却不是一个规范的柱状图,它的每个矩形下端的宽度可以是不相同的一些整数,分别为a[i] 每个矩形的高度是h[i] ,现在 ...