Hadoop学习笔记04_Hbase
大数据开发的学习,组件还是很多的,都需要掌握并多加练习。 最好的参考文档当然是官方的了。
因为Hadoop生态圈组件很多,所以,在建设之初一定要检查好各版本的兼容性。避免后期麻烦。
我的练习使用Hadoop-2.7.5 以及Hbase-1.4.2 看了Hbase 手册Chapter4 兼容性没有问题。
# 行存储
优点:写入一次性完成,保持数据完整性
缺点:数据读取过程中产生冗余数据,若有少量数据可以忽略
# 列存储
优点:读取过程,不会产生冗余数据,特别适合对数据完整性要求不高的大数据领域
缺点:写入效率差,保证数据完整性方面差 # Hbase优势:
海量数据存储
快速随机访问
大量写操作的应用
# Hbase应用场景
互联网搜索引擎数据存储
海量数据写入
消息中心
内容服务系统(schema-free)
大表复杂&多维度索引
大批量数据读取 # Hbase 数据模型
# 行键 时间戳 列族contens 列族ahchor 列族mime
"com.cn.www" t9 anchor:cnnsi.com="CNN"
t8 anchor:my.look.cn="CNN.com"
t6 contens:html="" mime:type="text/html"
t5 contens:html=""
t3 contens:html="" # RowKey: 是Byte array,是表中每条记录的“主键”,方便快速查找,RowKey的设计非常重要
# Column Family: 列族,拥有一个名称(string),包含一个或者多个相关列
# Column: 属于某一个Columnfamily, familyName:columnName,每条记录可动态添加
# Version Number: 类型为Long,默认值是系统时间戳,可由用户自定义
# Value(cell): Byte array ## Hbase系统架构 可以参考 http://www.cnblogs.com/shitouer/archive/2012/06/04/2533518.html ######################### 安装配置启动 #########################
# 先完成 配置并启动zookeeper以及hadoop 的前提下,开始安装hbase
tar zxvf hbase* -C
cd hbase-1.4./conf vim /etc/profile
export HBASE_HOME=/usr/local/src/hbase-1.4.
export PATH=$PATH:$HBASE_HOME/bin
###(以下两行最好加上,若没有,启动Hadoop、hbase时都会有没加载lib成功的警告)
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib/native" vim hbase-env.sh
export JAVA_HOME=/usr/local/src/jdk1..0_161
export HBASE_CLASSPATH=/usr/local/src/hbase-1.4./conf # 官方教程没有这行
export HBASE_MANAGES_ZK=false ##### 使用自带zk 设为false ####
export HBASE_HOME=/usr/local/src/hbase-1.4. # 官方教程没有这行
export HADOOP_HOME=/usr/local/src/hadoop-2.7. # 官方教程没有这行
#给以下两行加上注释
#export HBASE_MASTER_OPTS="$HBASE_MASTER_OPTS -XX:PermSize=128m -XX:MaxPermSize=128m"
#export HBASE_REGIONSERVER_OPTS="$HBASE_REGIONSERVER_OPTS -XX:PermSize=128m -XX:MaxPermSize=128m" vim hbase-site.xml
<property>
<name>hbase.rootdir</name> <!-- hbase存放数据目录,设置好会自动创建 -->
<value>hdfs://master:9000/hbase/hbase_db</value>
<!-- 但是实际生产环境最好使用HDFS HA的nameservice 才能高可用. -->
<!-- hdfs://names1/hbase -->
<!-- 端口要和Hadoop的fs.defaultFS端口一致 -->
</property>
<property>
<name>hbase.cluster.distributed</name> <!-- 是否分布式部署 -->
<value>true</value>
</property>
<property>
<name>hbase.zookeeper.property.clientPort</name><!-- Zookeeper的端口 -->
<value></value>
</property>
<property>
<name>hbase.zookeeper.quorum</name><!-- Zookeeper的地址 写ip也行 -->
<value>master,slave1,slave2</value>
</property>
<property>
<name>hbase.zookeeper.property.dataDir</name>
<!-- zookeeper 数据文件夹,不配也可以,但是配的话就必须和zoo.cfg的一样。 -->
<value>/usr/local/src/hbase-1.4./zookeeper</value>
</property>
<property>
<name>hbase.master</name>
<value>master:</value>
</property> # 配置 regionservers 启用HA后,就改用master slave2 slave3 因为有4台vm了。
vim regionservers
master
slave1
slave2 # 配置备份主控
vim conf/backup-masters
slave1
#######################
# 复制hadoop/etc/hadoop/hdfs-site.xml文件到hbase/conf/ 下 尤其是改过配置后,一定要重新复制
#######################
# 分别scp -r /usr/local/src/hbase-1.4.2 到其它机器
# 启动zookeeper, 启动hadoop HA ,启动备份Namenode sbin/yarn-daemon.sh start resourcemanager
# 启动hbase
./start-hbase.sh
### 验证 jps查看Hmaster, QuorumPeer, HRegionServer
### 访问http://master:16010 检查Region Servers 和 Backup Masters
### 0.98版为 http://master:60010
######################## 使用 ########################
hbase shell # 进入shell模式
# 在 shell 模式下,输入命令后直接回车,可以得到相关的帮助。
status # 查看状态
version
list
processlist #当前任务列表
whoami # 当前用户
#### 退格需要 ctrl + backspace create 'psn','cf1','cf2' #建表 表名和2个列族
describe 'psn' # 表的描述
disable 'psn' #禁用表
drop 'psn' #删除表,必须先禁用. put 'psn','','cf1:name','Tohmase' #插入数据:表名,RowKey, 列,值
put 'psn','','cf1:sex','male' scan 'psn' #显示表数据 scan尽量少用,因为数据量很大。 get 'psn','','cf1:name' # 得到数据 put 'psn','','cf1:name','Jerry'
get 'psn','','cf1:name' #因为默认VERSION的设置,只保留1个版本。 list_namespace #默认的表都在default中 create 'tb2','cf'
disable 'tb2'
list
drop 'tb2' # 如果是单机伪分布式, hbase-site.xml 中的 <name>hbase.rootdir</name> 将使用本地文件系统 <value>file:///tmp/hbase_db</value>
# 那么,/tmp/hbase_db/data对应数据, oldWALs 和 WALs对应Hlog.
# /tmp/hbase_db/data/default/psn 对应数据表psn, psn下的子目录对应Region 而Region下的子目录对应列族。
# 进入列族,可以看到数据文件,如果没有文件,则可能因为还在内存中,可以手动溢写
flush 'psn'
# 查看数据文件命令 hbase hfile -p -f 文件名
hbase hfile -p -f hdfs://names1/hbase/data/default/psn/321528543130bee66f28d583f91f6279/cf1/3351b190de7940a1bfa7c439c54cff70
# RowKey 在满足业务需求的前提下尽量短一些,节省资源 # 关闭各系统时,依次是:
stop-hbase.sh
stop-yarn.sh
stop-dfs.sh
zkServer.sh stop
看了这位老师的教程,进一步理解HDFS HA的重要性,初学的时候只是简单地搭建了hadoop环境,而实际的生产环境中,HA则是必不可少的。
后续我至少设置4台VM后,再试试搭建hadoop的HA。
更新:
启动成功 hadoop HA 后,又继续试验Hbase
########## 今天试验时出现一个故障:create 'psn'表时提示已存在,disable时又提示不存在。
# 可能的原因是改了hbase的配置文件后没有复制到其它节点。
# 解决办法:zkCli.sh 进入zk shell, 在以下2个地方找到表名然后删除, 然后再hbase shell 重新创建表。
# rmr /hbase/table/psn
# rmr /hbase/table-lock/psn ########### 试验一下 Backup Master是否可用。先杀了master的HMaster,然后看slave1会不会顶上
# 刷新http://slave1:16010 后,发现HMaster 已经成了slave1. 自动顶上来了。
# 再启动master上的 bin/start-hbase.sh
# 刷新http://master:16010 后,看到Current Active Master: slave1 并且它自己成了backup
Hadoop学习笔记04_Hbase的更多相关文章
- Hadoop学习笔记—22.Hadoop2.x环境搭建与配置
自从2015年花了2个多月时间把Hadoop1.x的学习教程学习了一遍,对Hadoop这个神奇的小象有了一个初步的了解,还对每次学习的内容进行了总结,也形成了我的一个博文系列<Hadoop学习笔 ...
- Hadoop学习笔记(7) ——高级编程
Hadoop学习笔记(7) ——高级编程 从前面的学习中,我们了解到了MapReduce整个过程需要经过以下几个步骤: 1.输入(input):将输入数据分成一个个split,并将split进一步拆成 ...
- Hadoop学习笔记(6) ——重新认识Hadoop
Hadoop学习笔记(6) ——重新认识Hadoop 之前,我们把hadoop从下载包部署到编写了helloworld,看到了结果.现是得开始稍微更深入地了解hadoop了. Hadoop包含了两大功 ...
- Hadoop学习笔记(2)
Hadoop学习笔记(2) ——解读Hello World 上一章中,我们把hadoop下载.安装.运行起来,最后还执行了一个Hello world程序,看到了结果.现在我们就来解读一下这个Hello ...
- Hadoop学习笔记(5) ——编写HelloWorld(2)
Hadoop学习笔记(5) ——编写HelloWorld(2) 前面我们写了一个Hadoop程序,并让它跑起来了.但想想不对啊,Hadoop不是有两块功能么,DFS和MapReduce.没错,上一节我 ...
- Hadoop学习笔记(3)——分布式环境搭建
Hadoop学习笔记(3) ——分布式环境搭建 前面,我们已经在单机上把Hadoop运行起来了,但我们知道Hadoop支持分布式的,而它的优点就是在分布上突出的,所以我们得搭个环境模拟一下. 在这里, ...
- Hadoop学习笔记(2) ——解读Hello World
Hadoop学习笔记(2) ——解读Hello World 上一章中,我们把hadoop下载.安装.运行起来,最后还执行了一个Hello world程序,看到了结果.现在我们就来解读一下这个Hello ...
- Hadoop学习笔记(1) ——菜鸟入门
Hadoop学习笔记(1) ——菜鸟入门 Hadoop是什么?先问一下百度吧: [百度百科]一个分布式系统基础架构,由Apache基金会所开发.用户可以在不了解分布式底层细节的情况下,开发分布式程序. ...
- Hadoop学习笔记(两)设置单节点集群
本文描写叙述怎样设置一个单一节点的 Hadoop 安装.以便您能够高速运行简单的操作,使用 Hadoop MapReduce 和 Hadoop 分布式文件系统 (HDFS). 參考官方文档:Hadoo ...
随机推荐
- Spring Boot 全局异常捕获
import javax.servlet.http.HttpServletRequest; import org.springframework.web.bind.annotation.Control ...
- 进程间通信之信号量、消息队列、共享内存(system v的shm和mmap)+信号signal
进程间通信方式有:System v unix提供3种进程间通信IPC:信号量.消息队列.共享内存.此外,传统方法:信号.管道.socket套接字. [注意上述6种方式只能用户层进程间通信.内核内部有类 ...
- oracle(2)
create table aaa( id number, name varchar2(100) ); select decode((select max(id) from aaa),null,'x', ...
- Linux 组管理、权限
权限说明 1. 组涉及到两个配置文件,组文件/etc/group,组密码管理员/etc/gshadow/,GID500往后的算普通组. 2.主组与附属组,当创建一个用户,没有制定,用户会默认创建一个与 ...
- Win32汇编学习(6):键盘输入消息
这次,我们将要学习WINDOWS程序是如何处理键盘消息的. 理论: 因为大多数的PC只有一个键盘,所以所有运行中的WINDOWS程序必须共用它.WINDOWS 将负责把击键消息送到具有输入焦点的那个应 ...
- Centos7初始化脚本
今天分享一个自己写的一个初始化的小脚本. 编写初始化系统要考虑到系统的版本问题,现在用的比较多的就是centos6和centos7,所以首先要判断一下系统的版本. cat /etc/redhat-re ...
- 元注解——java.lang.annotation.Target(1.8)
参考资料:https://docs.oracle.com/javase/8/docs/api/java/lang/annotation/Target.html 普通注解’只能用来注解’代码’,而’元注 ...
- TypeScript作业
题目: 了解神话故事盘古开天辟地或者女娲开世造物,通过typescript程序模拟出天地的变化过程或者万物的衍生过程 参考博客园大神: https://www.cnblogs.com/tansm/p/ ...
- 网络3-Jsonp
解决跨域问题的几种办法 1.Flash (不做讨论) 2.服务器代理中转 3.Jsonp 4.document.domain(针对基础域名相同的情况)bj.58.com document.domain ...
- Nginx 配置负载均衡
nginx负载均衡配置,主要是proxy_pass,upstream的使用. 注意问题,多台机器间session的共享问题. 不用session,用户cookie.或者用redis替代session. ...