Hadoop学习笔记04_Hbase
大数据开发的学习,组件还是很多的,都需要掌握并多加练习。 最好的参考文档当然是官方的了。
因为Hadoop生态圈组件很多,所以,在建设之初一定要检查好各版本的兼容性。避免后期麻烦。
我的练习使用Hadoop-2.7.5 以及Hbase-1.4.2 看了Hbase 手册Chapter4 兼容性没有问题。
# 行存储
优点:写入一次性完成,保持数据完整性
缺点:数据读取过程中产生冗余数据,若有少量数据可以忽略
# 列存储
优点:读取过程,不会产生冗余数据,特别适合对数据完整性要求不高的大数据领域
缺点:写入效率差,保证数据完整性方面差 # Hbase优势:
海量数据存储
快速随机访问
大量写操作的应用
# Hbase应用场景
互联网搜索引擎数据存储
海量数据写入
消息中心
内容服务系统(schema-free)
大表复杂&多维度索引
大批量数据读取 # Hbase 数据模型
# 行键 时间戳 列族contens 列族ahchor 列族mime
"com.cn.www" t9 anchor:cnnsi.com="CNN"
t8 anchor:my.look.cn="CNN.com"
t6 contens:html="" mime:type="text/html"
t5 contens:html=""
t3 contens:html="" # RowKey: 是Byte array,是表中每条记录的“主键”,方便快速查找,RowKey的设计非常重要
# Column Family: 列族,拥有一个名称(string),包含一个或者多个相关列
# Column: 属于某一个Columnfamily, familyName:columnName,每条记录可动态添加
# Version Number: 类型为Long,默认值是系统时间戳,可由用户自定义
# Value(cell): Byte array ## Hbase系统架构 可以参考 http://www.cnblogs.com/shitouer/archive/2012/06/04/2533518.html ######################### 安装配置启动 #########################
# 先完成 配置并启动zookeeper以及hadoop 的前提下,开始安装hbase
tar zxvf hbase* -C
cd hbase-1.4./conf vim /etc/profile
export HBASE_HOME=/usr/local/src/hbase-1.4.
export PATH=$PATH:$HBASE_HOME/bin
###(以下两行最好加上,若没有,启动Hadoop、hbase时都会有没加载lib成功的警告)
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib/native" vim hbase-env.sh
export JAVA_HOME=/usr/local/src/jdk1..0_161
export HBASE_CLASSPATH=/usr/local/src/hbase-1.4./conf # 官方教程没有这行
export HBASE_MANAGES_ZK=false ##### 使用自带zk 设为false ####
export HBASE_HOME=/usr/local/src/hbase-1.4. # 官方教程没有这行
export HADOOP_HOME=/usr/local/src/hadoop-2.7. # 官方教程没有这行
#给以下两行加上注释
#export HBASE_MASTER_OPTS="$HBASE_MASTER_OPTS -XX:PermSize=128m -XX:MaxPermSize=128m"
#export HBASE_REGIONSERVER_OPTS="$HBASE_REGIONSERVER_OPTS -XX:PermSize=128m -XX:MaxPermSize=128m" vim hbase-site.xml
<property>
<name>hbase.rootdir</name> <!-- hbase存放数据目录,设置好会自动创建 -->
<value>hdfs://master:9000/hbase/hbase_db</value>
<!-- 但是实际生产环境最好使用HDFS HA的nameservice 才能高可用. -->
<!-- hdfs://names1/hbase -->
<!-- 端口要和Hadoop的fs.defaultFS端口一致 -->
</property>
<property>
<name>hbase.cluster.distributed</name> <!-- 是否分布式部署 -->
<value>true</value>
</property>
<property>
<name>hbase.zookeeper.property.clientPort</name><!-- Zookeeper的端口 -->
<value></value>
</property>
<property>
<name>hbase.zookeeper.quorum</name><!-- Zookeeper的地址 写ip也行 -->
<value>master,slave1,slave2</value>
</property>
<property>
<name>hbase.zookeeper.property.dataDir</name>
<!-- zookeeper 数据文件夹,不配也可以,但是配的话就必须和zoo.cfg的一样。 -->
<value>/usr/local/src/hbase-1.4./zookeeper</value>
</property>
<property>
<name>hbase.master</name>
<value>master:</value>
</property> # 配置 regionservers 启用HA后,就改用master slave2 slave3 因为有4台vm了。
vim regionservers
master
slave1
slave2 # 配置备份主控
vim conf/backup-masters
slave1
#######################
# 复制hadoop/etc/hadoop/hdfs-site.xml文件到hbase/conf/ 下 尤其是改过配置后,一定要重新复制
#######################
# 分别scp -r /usr/local/src/hbase-1.4.2 到其它机器
# 启动zookeeper, 启动hadoop HA ,启动备份Namenode sbin/yarn-daemon.sh start resourcemanager
# 启动hbase
./start-hbase.sh
### 验证 jps查看Hmaster, QuorumPeer, HRegionServer
### 访问http://master:16010 检查Region Servers 和 Backup Masters
### 0.98版为 http://master:60010
######################## 使用 ########################
hbase shell # 进入shell模式
# 在 shell 模式下,输入命令后直接回车,可以得到相关的帮助。
status # 查看状态
version
list
processlist #当前任务列表
whoami # 当前用户
#### 退格需要 ctrl + backspace create 'psn','cf1','cf2' #建表 表名和2个列族
describe 'psn' # 表的描述
disable 'psn' #禁用表
drop 'psn' #删除表,必须先禁用. put 'psn','','cf1:name','Tohmase' #插入数据:表名,RowKey, 列,值
put 'psn','','cf1:sex','male' scan 'psn' #显示表数据 scan尽量少用,因为数据量很大。 get 'psn','','cf1:name' # 得到数据 put 'psn','','cf1:name','Jerry'
get 'psn','','cf1:name' #因为默认VERSION的设置,只保留1个版本。 list_namespace #默认的表都在default中 create 'tb2','cf'
disable 'tb2'
list
drop 'tb2' # 如果是单机伪分布式, hbase-site.xml 中的 <name>hbase.rootdir</name> 将使用本地文件系统 <value>file:///tmp/hbase_db</value>
# 那么,/tmp/hbase_db/data对应数据, oldWALs 和 WALs对应Hlog.
# /tmp/hbase_db/data/default/psn 对应数据表psn, psn下的子目录对应Region 而Region下的子目录对应列族。
# 进入列族,可以看到数据文件,如果没有文件,则可能因为还在内存中,可以手动溢写
flush 'psn'
# 查看数据文件命令 hbase hfile -p -f 文件名
hbase hfile -p -f hdfs://names1/hbase/data/default/psn/321528543130bee66f28d583f91f6279/cf1/3351b190de7940a1bfa7c439c54cff70
# RowKey 在满足业务需求的前提下尽量短一些,节省资源 # 关闭各系统时,依次是:
stop-hbase.sh
stop-yarn.sh
stop-dfs.sh
zkServer.sh stop
看了这位老师的教程,进一步理解HDFS HA的重要性,初学的时候只是简单地搭建了hadoop环境,而实际的生产环境中,HA则是必不可少的。
后续我至少设置4台VM后,再试试搭建hadoop的HA。
更新:
启动成功 hadoop HA 后,又继续试验Hbase
########## 今天试验时出现一个故障:create 'psn'表时提示已存在,disable时又提示不存在。
# 可能的原因是改了hbase的配置文件后没有复制到其它节点。
# 解决办法:zkCli.sh 进入zk shell, 在以下2个地方找到表名然后删除, 然后再hbase shell 重新创建表。
# rmr /hbase/table/psn
# rmr /hbase/table-lock/psn ########### 试验一下 Backup Master是否可用。先杀了master的HMaster,然后看slave1会不会顶上
# 刷新http://slave1:16010 后,发现HMaster 已经成了slave1. 自动顶上来了。
# 再启动master上的 bin/start-hbase.sh
# 刷新http://master:16010 后,看到Current Active Master: slave1 并且它自己成了backup
Hadoop学习笔记04_Hbase的更多相关文章
- Hadoop学习笔记—22.Hadoop2.x环境搭建与配置
自从2015年花了2个多月时间把Hadoop1.x的学习教程学习了一遍,对Hadoop这个神奇的小象有了一个初步的了解,还对每次学习的内容进行了总结,也形成了我的一个博文系列<Hadoop学习笔 ...
- Hadoop学习笔记(7) ——高级编程
Hadoop学习笔记(7) ——高级编程 从前面的学习中,我们了解到了MapReduce整个过程需要经过以下几个步骤: 1.输入(input):将输入数据分成一个个split,并将split进一步拆成 ...
- Hadoop学习笔记(6) ——重新认识Hadoop
Hadoop学习笔记(6) ——重新认识Hadoop 之前,我们把hadoop从下载包部署到编写了helloworld,看到了结果.现是得开始稍微更深入地了解hadoop了. Hadoop包含了两大功 ...
- Hadoop学习笔记(2)
Hadoop学习笔记(2) ——解读Hello World 上一章中,我们把hadoop下载.安装.运行起来,最后还执行了一个Hello world程序,看到了结果.现在我们就来解读一下这个Hello ...
- Hadoop学习笔记(5) ——编写HelloWorld(2)
Hadoop学习笔记(5) ——编写HelloWorld(2) 前面我们写了一个Hadoop程序,并让它跑起来了.但想想不对啊,Hadoop不是有两块功能么,DFS和MapReduce.没错,上一节我 ...
- Hadoop学习笔记(3)——分布式环境搭建
Hadoop学习笔记(3) ——分布式环境搭建 前面,我们已经在单机上把Hadoop运行起来了,但我们知道Hadoop支持分布式的,而它的优点就是在分布上突出的,所以我们得搭个环境模拟一下. 在这里, ...
- Hadoop学习笔记(2) ——解读Hello World
Hadoop学习笔记(2) ——解读Hello World 上一章中,我们把hadoop下载.安装.运行起来,最后还执行了一个Hello world程序,看到了结果.现在我们就来解读一下这个Hello ...
- Hadoop学习笔记(1) ——菜鸟入门
Hadoop学习笔记(1) ——菜鸟入门 Hadoop是什么?先问一下百度吧: [百度百科]一个分布式系统基础架构,由Apache基金会所开发.用户可以在不了解分布式底层细节的情况下,开发分布式程序. ...
- Hadoop学习笔记(两)设置单节点集群
本文描写叙述怎样设置一个单一节点的 Hadoop 安装.以便您能够高速运行简单的操作,使用 Hadoop MapReduce 和 Hadoop 分布式文件系统 (HDFS). 參考官方文档:Hadoo ...
随机推荐
- solr简单搜索案例
solr简单搜索案例 使用Solr实现电商网站中商品信息搜索功能,可以根据关键字搜索商品信息,根据商品分类.价格过滤搜索结果,也可以根据价格进行排序,实现分页. 架构分为: 1. solr服务器 2. ...
- PHP 7.3: "continue" targeting switch is equivalent to "break". Did you mean to use "continue 2"? · Issue #4037 · aces/Loris
PHP 7.3: "continue" targeting switch is equivalent to "break". Did you mean to u ...
- “==”和equals
== 比较的是变量(栈)内存中存放的对象的(堆)内存地址,用来判断两个对象的地址是否相同,即是否是指相同一个对象.比较的是真正意义上的指针操作. 1.比较的是操作符两端的操作数是否是同一个对象.2.两 ...
- Template模板
目标 模板介绍 模板变量 常用标签 常用过滤器 自定义过滤器 模板结构 加载静态文件 一 模板介绍 在之前的章节中,视图函数只是直接返回文本,而在实际生产环境中其实很少这样用,因为实际的页面大多是带 ...
- VMware安装步骤既常见问题
一.vmware出问题? 可以使用vmvare的修复功能. 二.创建虚拟机 1)第一步:选择自定义下一步,典型里是都设定好了的. 2)第二步:选择12默认下一步 3)第三步:可以从光驱中安装,可以从文 ...
- UI自动化(十)selenium定位
浏览器操作 1 2 3 4 5 6 7 8 # 刷新 driver.refresh() # 前进 driver.forward() # 后退 driver.back() 获取标签元素 ...
- flutter登录页部分内容
import 'package:flutter/material.dart'; class MyIdPage extends StatelessWidget { @override Widget bu ...
- --save 与--save-dev的区别
一.模式 运行webpack命令时,一定要指定模式. webpack --mode developmentwebpack --mode production二.--save -dev --save:将 ...
- .NET Core 2.0 httpclient 请求卡顿解决方法
var handler = new HttpClientHandler() { AutomaticDecompression = DecompressionMethods.GZip,UseProxy ...
- 51Nod - 1384 正常解法
这个是正常解法 #include<stdio.h> #include<string.h> #include<math.h> #include<time.h&g ...