大数据学习系列之三 ----- HBase Java Api 图文详解
引言
在上一篇中大数据学习系列之二 ----- HBase环境搭建(单机) 中,成功搭建了Hadoop+HBase的环境,本文则主要讲述使用Java 对HBase的一些操作。
一、事前准备
1.确认hadoop和hbase成功启动
2.确认防火墙是否关闭
3.maven所需要的依赖架包
<!--hadoop 相关架包 -->
<dependency>
<groupId>org.apache.hadoop</groupId>
<artifactId>hadoop-common</artifactId>
<version>2.8.2</version>
</dependency>
<dependency>
<groupId>org.apache.hadoop</groupId>
<artifactId>hadoop-client</artifactId>
<version>2.8.2</version>
</dependency>
<dependency>
<groupId>org.apache.hadoop</groupId>
<artifactId>hadoop-hdfs</artifactId>
<version>2.8.2</version>
</dependency>
<dependency>
<groupId>org.apache.hadoop</groupId>
<artifactId>hadoop-mapreduce-client-core</artifactId>
<version>2.8.2</version>
</dependency>
<dependency>
<groupId>org.apache.hadoop</groupId>
<artifactId>hadoop-yarn-common</artifactId>
<version>2.8.2</version>
</dependency>
<!--HBase相关jar -->
<dependency>
<groupId>org.apache.hbase</groupId>
<artifactId>hbase-hadoop-compat</artifactId>
<version>1.3.1</version>
</dependency>
<dependency>
<groupId>org.apache.hbase</groupId>
<artifactId>hbase-server</artifactId>
<version>1.1.2</version>
</dependency>
<dependency>
<groupId>org.apache.hbase</groupId>
<artifactId>hbase-client</artifactId>
<version>1.1.2</version>
</dependency>
<dependency>
<groupId>org.apache.hbase</groupId>
<artifactId>hbase-common</artifactId>
<version>1.1.2</version>
</dependency>
4.修改hosts文件(可选)
修改Windows C:\Windows\System32\drivers\etc 目录下的hosts文件,添加hbase的主机ip和主机名做关系映射。
192.168.238.128 master
注:如果不使用映射,那么将代码中的主机名改成IP即可。
5.HBase的原理
这篇文章介绍得很详细:
http://blog.csdn.net/woshiwanxin102213/article/details/17584043
二、测试示例
1.创建表
创建两张表 t_student、t_student_info 这两张表,并添加两个列族
创建成功之后可以在 hbase shell和16010界面中看到。
2.添加数据
成功创建表之后,在这两张表中插入数据。
因为HBase是动态数据库,所以列是可以新增的。
HBase的新增和修改是一个方法,数据相同的,后来的数据会将前面的覆盖掉!
3.查询数据
分别根据表名、行健、列族、列来查询
4.删除数据
删除其中的一条数据
三、代码示例
工具类
import java.io.IOException;
import java.util.ArrayList;
import java.util.HashMap;
import java.util.List;
import java.util.Map;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.hbase.Cell;
import org.apache.hadoop.hbase.CellUtil;
import org.apache.hadoop.hbase.HBaseConfiguration;
import org.apache.hadoop.hbase.HColumnDescriptor;
import org.apache.hadoop.hbase.HTableDescriptor;
import org.apache.hadoop.hbase.TableName;
import org.apache.hadoop.hbase.client.Admin;
import org.apache.hadoop.hbase.client.Connection;
import org.apache.hadoop.hbase.client.ConnectionFactory;
import org.apache.hadoop.hbase.client.Delete;
import org.apache.hadoop.hbase.client.Get;
import org.apache.hadoop.hbase.client.Put;
import org.apache.hadoop.hbase.client.Result;
import org.apache.hadoop.hbase.client.ResultScanner;
import org.apache.hadoop.hbase.client.Scan;
import org.apache.hadoop.hbase.client.Table;
import org.apache.hadoop.hbase.util.Bytes;
import com.alibaba.fastjson.JSONObject;
/**
*
* Title: HBaseUtil
* Description: HBase工具类
* Version:1.0.0
* @author pancm
* @date 2017年12月6日
*/
public class HBaseUtil {
/** hadoop 连接 */
private static Configuration conf = null;
/** hbase 连接 */
private static Connection con = null;
/** 会话 */
private static Admin admin = null;
private static String ip ="master";
private static String port ="2181";
private static String port1 ="9001";
// 初始化连接
static {
// 获得配制文件对象
conf = HBaseConfiguration.create();
// 设置配置参数
conf.set("hbase.zookeeper.quorum", ip);
conf.set("hbase.zookeeper.property.clientPort", port);
//如果hbase是集群,这个必须加上
//这个ip和端口是在hadoop/mapred-site.xml配置文件配置的
conf.set("hbase.master", ip+":"+port1);
}
/**
* 获取连接
*
* @return
*/
public synchronized static Connection getConnection() {
try {
if (null == con || con.isClosed()) {
// 获得连接对象
con = ConnectionFactory.createConnection(conf);
}
} catch (IOException e) {
System.out.println("获取连接失败!");
e.printStackTrace();
}
return con;
}
/**
* 连接关闭
*/
public static void close() {
try {
if (admin != null) {
admin.close();
}
if (con != null) {
con.close();
}
} catch (IOException e) {
System.out.println("连接关闭失败!");
e.printStackTrace();
}
}
/**
* 创建表
*
* @param tableName
* 表名
* @param columnFamily
* 列族
*/
public static void creatTable(String tableName, String[] columnFamily) {
if(null==tableName||tableName.length()==0){
return;
}
if(null==columnFamily||columnFamily.length==0){
return;
}
// 创建表名对象
TableName tn = TableName.valueOf(tableName);
// a.判断数据库是否存在
try {
// 获取会话
admin = getConnection().getAdmin();
if (admin.tableExists(tn)) {
System.out.println(tableName + " 表存在,删除表....");
// 先使表设置为不可编辑
admin.disableTable(tn);
// 删除表
admin.deleteTable(tn);
System.out.println("表删除成功.....");
}
// 创建表结构对象
HTableDescriptor htd = new HTableDescriptor(tn);
for (String str : columnFamily) {
// 创建列族结构对象
HColumnDescriptor hcd = new HColumnDescriptor(str);
htd.addFamily(hcd);
}
// 创建表
admin.createTable(htd);
System.out.println(tableName + " 表创建成功!");
} catch (IOException e) {
e.printStackTrace();
} finally {
close();
}
}
/**
* 数据单条插入或更新
*
* @param tableName
* 表名
* @param rowKey
* 行健 (主键)
* @param family
* 列族
* @param qualifier
* 列
* @param value
* 存入的值
* @return
*/
public static void insert(String tableName, String rowKey, String family,
String qualifier, String value) {
Table t = null;
try {
t = getConnection().getTable(TableName.valueOf(tableName));
Put put = new Put(Bytes.toBytes(rowKey));
put.addColumn(Bytes.toBytes(family), Bytes.toBytes(qualifier),
Bytes.toBytes(value));
t.put(put);
System.out.println(tableName + " 更新成功!");
} catch (IOException e) {
System.out.println(tableName + " 更新失败!");
e.printStackTrace();
} finally {
close();
}
}
/**
* 数据批量插入或更新
*
* @param tableName
* 表名
* @param list
* hbase的数据
* @return
*/
public static void insertBatch(String tableName, List<?> list) {
if (null == tableName ||tableName.length()==0) {
return;
}
if( null == list || list.size() == 0){
return;
}
Table t = null;
Put put = null;
JSONObject json = null;
List<Put> puts = new ArrayList<Put>();
try {
t = getConnection().getTable(TableName.valueOf(tableName));
for (int i = 0, j = list.size(); i < j; i++) {
json = (JSONObject) list.get(i);
put = new Put(Bytes.toBytes(json.getString("rowKey")));
put.addColumn(Bytes.toBytes(json.getString("family")),
Bytes.toBytes(json.getString("qualifier")),
Bytes.toBytes(json.getString("value")));
puts.add(put);
}
t.put(puts);
System.out.println(tableName + " 更新成功!");
} catch (IOException e) {
System.out.println(tableName + " 更新失败!");
e.printStackTrace();
} finally {
close();
}
}
/**
* 数据删除
* @param tableName 表名
* @param rowKey 行健
* @return
*/
public static void delete(String tableName, String rowKey) {
delete(tableName,rowKey,"","");
}
/**
* 数据删除
* @param tableName 表名
* @param rowKey 行健
* @param family 列族
* @return
*/
public static void delete(String tableName, String rowKey, String family) {
delete(tableName,rowKey,family,"");
}
/**
* 数据删除
* @param tableName 表名
* @param rowKey 行健
* @param family 列族
* @param qualifier 列
* @return
*/
public static void delete(String tableName, String rowKey, String family,
String qualifier) {
if (null == tableName ||tableName.length()==0) {
return;
}
if( null == rowKey || rowKey.length() == 0){
return;
}
Table t = null;
try {
t = getConnection().getTable(TableName.valueOf(tableName));
Delete del = new Delete(Bytes.toBytes(rowKey));
// 如果列族不为空
if (null != family && family.length() > 0) {
// 如果列不为空
if (null != qualifier && qualifier.length() > 0) {
del.addColumn(Bytes.toBytes(family),
Bytes.toBytes(qualifier));
} else {
del.addFamily(Bytes.toBytes(family));
}
}
t.delete(del);
} catch (IOException e) {
System.out.println("删除失败!");
e.printStackTrace();
} finally {
close();
}
}
/**
* 查询该表中的所有数据
*
* @param tableName
* 表名
*/
public static void select(String tableName) {
if(null==tableName||tableName.length()==0){
return;
}
Table t = null;
List<Map<String,Object>> list=new ArrayList<Map<String,Object>>();
try {
t = getConnection().getTable(TableName.valueOf(tableName));
// 读取操作
Scan scan = new Scan();
// 得到扫描的结果集
ResultScanner rs = t.getScanner(scan);
if (null == rs ) {
return;
}
for (Result result : rs) {
// 得到单元格集合
List<Cell> cs = result.listCells();
if (null == cs || cs.size() == 0) {
continue;
}
for (Cell cell : cs) {
Map<String,Object> map=new HashMap<String, Object>();
map.put("rowKey", Bytes.toString(CellUtil.cloneRow(cell)));// 取行健
map.put("timestamp", cell.getTimestamp());// 取到时间戳
map.put("family", Bytes.toString(CellUtil.cloneFamily(cell)));// 取到列族
map.put("qualifier", Bytes.toString(CellUtil.cloneQualifier(cell)));// 取到列
map.put("value", Bytes.toString(CellUtil.cloneValue(cell)));// 取到值
list.add(map);
}
}
System.out.println("查询的数据:"+list);
} catch (IOException e) {
System.out.println("查询失败!");
e.printStackTrace();
} finally {
close();
}
}
/**
* 根据表名和行健查询
* @param tableName
* @param rowKey
*/
public static void select(String tableName, String rowKey) {
select(tableName,rowKey,"","");
}
/**
* 根据表名、行健和列族查询
* @param tableName
* @param rowKey
* @param family
*/
public static void select(String tableName, String rowKey, String family) {
select(tableName,rowKey,family,"");
}
/**
* 根据条件明细查询
*
* @param tableName
* 表名
* @param rowKey
* 行健 (主键)
* @param family
* 列族
* @param qualifier
* 列
*/
public static void select(String tableName, String rowKey, String family,
String qualifier) {
Table t = null;
List<Map<String,Object>> list=new ArrayList<Map<String,Object>>();
try {
t = getConnection().getTable(TableName.valueOf(tableName));
// 通过HBase中的 get来进行查询
Get get = new Get(Bytes.toBytes(rowKey));
// 如果列族不为空
if (null != family && family.length() > 0) {
// 如果列不为空
if (null != qualifier && qualifier.length() > 0) {
get.addColumn(Bytes.toBytes(family),
Bytes.toBytes(qualifier));
} else {
get.addFamily(Bytes.toBytes(family));
}
}
Result r = t.get(get);
List<Cell> cs = r.listCells();
if (null == cs || cs.size() == 0) {
return;
}
for (Cell cell : cs) {
Map<String,Object> map=new HashMap<String, Object>();
map.put("rowKey", Bytes.toString(CellUtil.cloneRow(cell)));// 取行健
map.put("timestamp", cell.getTimestamp());// 取到时间戳
map.put("family", Bytes.toString(CellUtil.cloneFamily(cell)));// 取到列族
map.put("qualifier", Bytes.toString(CellUtil.cloneQualifier(cell)));// 取到列
map.put("value", Bytes.toString(CellUtil.cloneValue(cell)));// 取到值
list.add(map);
}
System.out.println("查询的数据:"+list);
} catch (IOException e) {
System.out.println("查询失败!");
e.printStackTrace();
} finally {
close();
}
}
}
测试代码
import java.util.ArrayList;
import java.util.List;
import com.alibaba.fastjson.JSONObject;
/**
*
* Title: hbaseTest
* Description: HBase 相关测试
* Version:1.0.0
* @author pancm
* @date 2017年11月23日
*/
public class hbaseTest {
public static void main(String[] args) {
test();
}
/**
* 一些测试
*/
private static void test() {
String tableName1="t_student",tableName2="t_student_info";
String []columnFamily1={"st1","st2"};
String []columnFamily2={"stf1","stf2"};
HBaseUtil.creatTable(tableName1, columnFamily1);
HBaseUtil.creatTable(tableName2, columnFamily2);
HBaseUtil.insert(tableName1, "1001", columnFamily1[0], "name", "zhangsan");
HBaseUtil.insert(tableName1, "1002", columnFamily1[0], "name", "lisi");
HBaseUtil.insert(tableName1, "1001", columnFamily1[1], "age", "18");
HBaseUtil.insert(tableName1, "1002", columnFamily1[1], "age", "20");
HBaseUtil.insert(tableName2, "1001", columnFamily2[0], "phone", "123456");
HBaseUtil.insert(tableName2, "1002", columnFamily2[0], "phone", "234567");
HBaseUtil.insert(tableName2, "1001", columnFamily2[1], "mail", "123@163.com");
HBaseUtil.insert(tableName2, "1002", columnFamily2[1], "mail", "234@163.com");
HBaseUtil.select(tableName1); //查询该表所有数据
HBaseUtil.select(tableName1, "1001"); //根据表名和行健查询
HBaseUtil.select(tableName2, "1002",columnFamily2[0]); //根据表名、行健和列族查询
HBaseUtil.select(tableName2, "1002",columnFamily2[1],"mail"); //根据表名、行健、列族、和列查询
HBaseUtil.select(tableName1, "1002"); //根据表名和行健查询
HBaseUtil.delete(tableName1, "1002", columnFamily1[0]);//删除数据
HBaseUtil.select(tableName1, "1002"); //根据表名和行健查询
}
}
大数据学习系列之三 ----- HBase Java Api 图文详解的更多相关文章
- 大数据学习系列之—HBASE
hadoop生态系统 zookeeper负责协调 hbase必须依赖zookeeper flume 日志工具 sqoop 负责 hdfs dbms 数据转换 数据到关系型数据库转换 大数据学习群119 ...
- 大数据学习系列之九---- Hive整合Spark和HBase以及相关测试
前言 在之前的大数据学习系列之七 ----- Hadoop+Spark+Zookeeper+HBase+Hive集群搭建 中介绍了集群的环境搭建,但是在使用hive进行数据查询的时候会非常的慢,因为h ...
- 大数据学习系列之五 ----- Hive整合HBase图文详解
引言 在上一篇 大数据学习系列之四 ----- Hadoop+Hive环境搭建图文详解(单机) 和之前的大数据学习系列之二 ----- HBase环境搭建(单机) 中成功搭建了Hive和HBase的环 ...
- 大数据学习系列之七 ----- Hadoop+Spark+Zookeeper+HBase+Hive集群搭建 图文详解
引言 在之前的大数据学习系列中,搭建了Hadoop+Spark+HBase+Hive 环境以及一些测试.其实要说的话,我开始学习大数据的时候,搭建的就是集群,并不是单机模式和伪分布式.至于为什么先写单 ...
- 大数据学习系列之四 ----- Hadoop+Hive环境搭建图文详解(单机)
引言 在大数据学习系列之一 ----- Hadoop环境搭建(单机) 成功的搭建了Hadoop的环境,在大数据学习系列之二 ----- HBase环境搭建(单机)成功搭建了HBase的环境以及相关使用 ...
- 大数据学习系列之六 ----- Hadoop+Spark环境搭建
引言 在上一篇中 大数据学习系列之五 ----- Hive整合HBase图文详解 : http://www.panchengming.com/2017/12/18/pancm62/ 中使用Hive整合 ...
- 如何用R来处理数据表的长宽转换(图文详解)
不多说,直接上干货! 很多地方都需用到这个知识点,比如Tableau里. 通常可以采取如python 和 r来作为数据处理的前期. Tableau学习系列之Tableau如何通过数据透视表方式读取 ...
- 如何用Python来处理数据表的长宽转换(图文详解)
不多说,直接上干货! 很多地方都需用到这个知识点,比如Tableau里. 通常可以采取如python 和 r来作为数据处理的前期. Tableau学习系列之Tableau如何通过数据透视表方式读取 ...
- 学习笔记--Grunt、安装、图文详解
学习笔记--Git安装.图文详解 安装Git成功后,现在安装Gruntjs,官网:http://gruntjs.com/ 一.安装node 参考node.js 安装.图文详解 (最新的node会自动安 ...
随机推荐
- BabeLua常见问题
BabeLua常见问题 来源: http://blog.csdn.net/babestudio/article/details/27228865 怎样升级BabeLua? https://babelu ...
- Leetcode题解(24)
73. Set Matrix Zeroes 分析:如果没有空间限制,这道题就很简单,但是要求空间复杂度为O(1),因此需要一些技巧.代码如下(copy网上的代码) class Solution { p ...
- poj 2720 Last Digits
Last Digits Time Limit: 1000MS Memory Limit: 65536K Total Submissions: 2233 Accepted: 474 Descri ...
- Caused by: org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.security.AccessControlException):
用windows连接hadoop集群执行mapreduce任务的时候出现以下错误: org.apache.hadoop.security.AccessControlException:Permissi ...
- 算法:javascript截取字符串
题目: Given a string, find the length of the longest substring without repeating characters. Examples: ...
- redhat7 邮件服务搭建
一.先搭建DNS服务,在正向和反向区域文件分别添加以下配置 cd /var/named 目录下 ① vi abc.com.zone 正向区域文件,添加以下内容 @ MX 5 mail.test.cn ...
- 【WEB API项目实战干货系列】- API访问客户端(WebApiClient适用于MVC/WebForms/WinForm)(四)
这几天没更新主要是因为没有一款合适的后端框架来支持我们的Web API项目Demo, 所以耽误了几天, 目前最新的代码已经通过Sqlite + NHibernate + Autofac满足了我们基本的 ...
- 我眼中的WebViewJavascriptBridge
周六阳光明媚的早晨,非常适合整理和分享一些以前玩过的东西.曾经的工作中参与过一段时间iOS开发,在开发中有个小小的框架让我非常深刻,就是WebViewJavascriptBridge,用于原生控件与前 ...
- java Log4j日志配置详解大全
一.Log4j简介 Log4j有三个主要的组件:Loggers(记录器),Appenders (输出源)和Layouts(布局).这里可简单理解为日志类别,日志要输出的地方和日志以何种形式输出.综合使 ...
- JS中有关数组Array的常用方法函数
Array对象的方法主要有如下几种(我所知道的): concat()连接两个或多个数组,并返回结果,但是值得注意的是该方法并不改变数组本身,而仅仅返回一个数组连接的副本. push()在数组后面添加一 ...