HBase（五）HBase的API操作
一、项目环境搭建
新建 Maven Project，新建项目后在 pom.xml 中添加依赖：
<dependency>
<groupId>org.apache.hbase</groupId>
<artifactId>hbase-server</artifactId>
<version>1.2.</version>
</dependency>
<dependency>
<groupId>org.apache.hbase</groupId>
<artifactId>hbase-client</artifactId>
<version>1.2.</version>
</dependency>
<dependency>
<groupId>jdk.tools</groupId>
<artifactId>jdk.tools</artifactId>
<version>1.8</version>
<scope>system</scope>
<systemPath>${JAVA_HOME}/lib/tools.jar</systemPath>
</dependency>
二、HBase API操作表和数据
注意，这部分的学习内容，我们先学习使用老版本的 API，接着再写出新版本的 API 调用方式。因为在企业中，有些时候我们需要一些过时的 API 来提供更好的兼容性。
1、获取Configuration对象
public static Configuration conf;
static{
//使用 HBaseConfiguration 的单例方法实例化
conf = HBaseConfiguration.create();
conf.set("hbase.zookeeper.quorum", "node21,node22,node23");
conf.set("hbase.zookeeper.property.clientPort", "2181");
}
2) 判断表是否存在：
public static boolean isTableExist(String tableName) throws MasterNotRunningException, ZooKeeperConnectionException, IOException{
//在HBase中管理、访问表需要先创建 HBaseAdmin 对象
//Connection connection = ConnectionFactory.createConnection(conf);
//HBaseAdmin admin = (HBaseAdmin) connection.getAdmin();
HBaseAdmin admin = new HBaseAdmin(conf);
return admin.tableExists(tableName);
}
3) 创建表
public static void createTable(String tableName, String... columnFamily) throws MasterNotRunningException, ZooKeeperConnectionException, IOException{
HBaseAdmin admin = new HBaseAdmin(conf);
//判断表是否存在
if(isTableExist(tableName)){
System.out.println("表" + tableName + "已存在");
//System.exit(0);
}else{
//创建表属性对象,表名需要转字节
HTableDescriptor descriptor = new HTableDescriptor(TableName.valueOf(tableName));
//创建多个列族
for(String cf : columnFamily){
descriptor.addFamily(new HColumnDescriptor(cf));
}
//根据对表的配置，创建表
admin.createTable(descriptor);
System.out.println("表" + tableName + "创建成功！");
}
}
4) 删除表
public static void dropTable(String tableName) throws MasterNotRunningException, ZooKeeperConnectionException, IOException{
HBaseAdmin admin = new HBaseAdmin(conf);
if(isTableExist(tableName)){
admin.disableTable(tableName);
admin.deleteTable(tableName);
System.out.println("表" + tableName + "删除成功！");
}else{
System.out.println("表" + tableName + "不存在！");
}
}
5) 向表中插入数据
public static void addRowData(String tableName, String rowKey, String columnFamily, String column, String value) throws IOException{
//创建 HTable 对象
HTable hTable = new HTable(conf, tableName);
//向表中插入数据
Put put = new Put(Bytes.toBytes(rowKey));
//向 Put 对象中组装数据
put.add(Bytes.toBytes(columnFamily),
Bytes.toBytes(column),
Bytes.toBytes(value));
hTable.put(put);
hTable.close();
System.out.println("插入数据成功");
}
6) 删除多行数据
public static void deleteMultiRow(String tableName, String... rows) throws IOException{
HTable hTable = new HTable(conf, tableName);
List<Delete> deleteList = new ArrayList<Delete>();
for(String row : rows){
Delete delete = new Delete(Bytes.toBytes(row));
deleteList.add(delete);
}
hTable.delete(deleteList);
hTable.close();
}
7) 得到所有数据
public static void getAllRows(String tableName) throws IOException{
HTable hTable = new HTable(conf, tableName);
//得到用于扫描 region 的对象
Scan scan = new Scan();
//使用 HTable 得到 resultcanner 实现类的对象
ResultScanner resultScanner = hTable.getScanner(scan);
for(Result result : resultScanner){
Cell[] cells = result.rawCells();
for(Cell cell : cells){
//得到 rowkey
System.out.println("行键:" + Bytes.toString(CellUtil.cloneRow(cell)));
//得到列族
System.out.println("列族" + Bytes.toString(CellUtil.cloneFamily(cell)));
System.out.println("列:" + Bytes.toString(CellUtil.cloneQualifier(cell)));
System.out.println("值:" + Bytes.toString(CellUtil.cloneValue(cell)));
}
}
}
8) 得到某一行所有数据
public static void getRow(String tableName, String rowKey) throws IOException{
HTable table = new HTable(conf, tableName);
Get get = new Get(Bytes.toBytes(rowKey));
//get.setMaxVersions();显示所有版本
//get.setTimeStamp();显示指定时间戳的版本
Result result = table.get(get);
for(Cell cell : result.rawCells()){
System.out.println("行键:" + Bytes.toString(result.getRow()));
System.out.println("列族" + Bytes.toString(CellUtil.cloneFamily(cell)));
System.out.println("列:" + Bytes.toString(CellUtil.cloneQualifier(cell)));
System.out.println("值:" + Bytes.toString(CellUtil.cloneValue(cell)));
System.out.println("时间戳:" + cell.getTimestamp());
}
}
9) 获取某一行指定“列族:列”的数据
public static void getRowQualifier(String tableName, String rowKey, String family, String qualifier) throws IOException{
HTable table = new HTable(conf, tableName);
Get get = new Get(Bytes.toBytes(rowKey));
get.addColumn(Bytes.toBytes(family), Bytes.toBytes(qualifier));
Result result = table.get(get);
for(Cell cell : result.rawCells()){
System.out.println("行键:" + Bytes.toString(result.getRow()));
System.out.println("列族" + Bytes.toString(CellUtil.cloneFamily(cell)));
System.out.println("列:" + Bytes.toString(CellUtil.cloneQualifier(cell)));
System.out.println("值:" + Bytes.toString(CellUtil.cloneValue(cell)));
}
}
import java.io.IOException;
import java.util.Date;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.hbase.HBaseConfiguration;
import org.apache.hadoop.hbase.HColumnDescriptor;
import org.apache.hadoop.hbase.HTableDescriptor;
import org.apache.hadoop.hbase.TableName;
import org.apache.hadoop.hbase.client.Admin;
import org.apache.hadoop.hbase.client.Connection;
import org.apache.hadoop.hbase.client.ConnectionFactory;
import org.apache.hadoop.hbase.client.Delete;
import org.apache.hadoop.hbase.client.Get;
import org.apache.hadoop.hbase.client.Put;
import org.apache.hadoop.hbase.client.Result;
import org.apache.hadoop.hbase.client.ResultScanner;
import org.apache.hadoop.hbase.client.Scan;
import org.apache.hadoop.hbase.client.Table;
import com.study.hbase.service.HBaseUtils; public class HBaseUtilsImpl implements HBaseUtils { private static final String ZK_CONNECT_KEY = "hbase.zookeeper.quorum";
private static final String ZK_CONNECT_VALUE = "node21:2181,node22:2181,node23:2181"; private static Connection conn = null;
private static Admin admin = null; public static void main(String[] args) throws Exception { getConnection();
getAdmin(); HBaseUtilsImpl hbu = new HBaseUtilsImpl(); //hbu.getAllTables(); //hbu.descTable("people"); //String[] infos = {"info","family"};
//hbu.createTable("people", infos); //String[] add = {"cs1","cs2"};
//String[] remove = {"cf1","cf2"}; //HColumnDescriptor hc = new HColumnDescriptor("sixsixsix"); //hbu.modifyTable("stu",hc);
//hbu.getAllTables(); hbu.putData("huoying", "rk001", "cs2", "name", "aobama",new Date().getTime());
hbu.getAllTables(); conn.close();
} // 获取连接
public static Connection getConnection() {
// 创建一个可以用来管理hbase配置信息的conf对象
Configuration conf = HBaseConfiguration.create();
// 设置当前的程序去寻找的hbase在哪里
conf.set(ZK_CONNECT_KEY, ZK_CONNECT_VALUE);
try {
conn = ConnectionFactory.createConnection(conf);
} catch (IOException e) {
e.printStackTrace();
}
return conn;
} // 获取管理员对象
public static Admin getAdmin() {
try {
admin = conn.getAdmin();
} catch (IOException e) {
e.printStackTrace();
}
return admin;
} // 查询所有表
@Override
public void getAllTables() throws Exception {
//获取列簇的描述信息
HTableDescriptor[] listTables = admin.listTables();
for (HTableDescriptor listTable : listTables) {
//转化为表名
String tbName = listTable.getNameAsString();
//获取列的描述信息
HColumnDescriptor[] columnFamilies = listTable.getColumnFamilies();
System.out.println("tableName:"+tbName);
for(HColumnDescriptor columnFamilie : columnFamilies) {
//获取列簇的名字
String columnFamilyName = columnFamilie.getNameAsString();
System.out.print("\t"+"columnFamilyName:"+columnFamilyName);
}
System.out.println();
} } // 创建表，传参，表名和列簇的名字
@Override
public void createTable(String tableName, String[] family) throws Exception { TableName name = TableName.valueOf(tableName);
//判断表是否存在
if(admin.tableExists(name)) {
System.out.println("table已经存在！");
}else {
//表的列簇示例
HTableDescriptor htd = new HTableDescriptor(name);
//向列簇中添加列的信息
for(String str : family) {
HColumnDescriptor hcd = new HColumnDescriptor(str);
htd.addFamily(hcd);
}
//创建表
admin.createTable(htd);
//判断表是否创建成功
if(admin.tableExists(name)) {
System.out.println("table创建成功");
}else {
System.out.println("table创建失败");
}
} } // 创建表，传参:封装好的多个列簇
@Override
public void createTable(HTableDescriptor htds) throws Exception {
//获得表的名字
String tbName = htds.getNameAsString(); admin.createTable(htds);
} // 创建表，传参，表名和封装好的多个列簇
@Override
public void createTable(String tableName, HTableDescriptor htds) throws Exception { TableName name = TableName.valueOf(tableName); if(admin.tableExists(name)) {
System.out.println("table已经存在！");
}else {
admin.createTable(htds);
boolean flag = admin.tableExists(name);
System.out.println(flag ? "创建成功" : "创建失败");
} } // 查看表的列簇属性
@Override
public void descTable(String tableName) throws Exception {
//转化为表名
TableName name = TableName.valueOf(tableName);
//判断表是否存在
if(admin.tableExists(name)) {
//获取表中列簇的描述信息
HTableDescriptor tableDescriptor = admin.getTableDescriptor(name);
//获取列簇中列的信息
HColumnDescriptor[] columnFamilies = tableDescriptor.getColumnFamilies();
for(HColumnDescriptor columnFamily : columnFamilies) {
System.out.println(columnFamily);
} }else {
System.out.println("table不存在");
} } // 判断表存在不存在
@Override
public boolean existTable(String tableName) throws Exception {
TableName name = TableName.valueOf(tableName);
return admin.tableExists(name);
} // disable表
@Override
public void disableTable(String tableName) throws Exception { TableName name = TableName.valueOf(tableName); if(admin.tableExists(name)) {
if(admin.isTableEnabled(name)) {
admin.disableTable(name);
}else {
System.out.println("table不是活动状态");
}
}else {
System.out.println("table不存在");
} } // drop表
@Override
public void dropTable(String tableName) throws Exception {
//转化为表名
TableName name = TableName.valueOf(tableName);
//判断表是否存在
if(admin.tableExists(name)) {
//判断表是否处于可用状态
boolean tableEnabled = admin.isTableEnabled(name); if(tableEnabled) {
//使表变成不可用状态
admin.disableTable(name);
}
//删除表
admin.deleteTable(name);
//判断表是否存在
if(admin.tableExists(name)) {
System.out.println("删除失败");
}else {
System.out.println("删除成功");
} }else {
System.out.println("table不存在");
} } // 修改表(增加和删除)
@Override
public void modifyTable(String tableName) throws Exception {
//转化为表名
TableName name = TableName.valueOf(tableName);
//判断表是否存在
if(admin.tableExists(name)) {
//判断表是否可用状态
boolean tableEnabled = admin.isTableEnabled(name); if(tableEnabled) {
//使表变成不可用
admin.disableTable(name);
}
//根据表名得到表
HTableDescriptor tableDescriptor = admin.getTableDescriptor(name);
//创建列簇结构对象
HColumnDescriptor columnFamily1 = new HColumnDescriptor("cf1".getBytes());
HColumnDescriptor columnFamily2 = new HColumnDescriptor("cf2".getBytes()); tableDescriptor.addFamily(columnFamily1);
tableDescriptor.addFamily(columnFamily2);
//替换该表所有的列簇
admin.modifyTable(name, tableDescriptor); }else {
System.out.println("table不存在");
}
} // 修改表(增加和删除)
@Override
public void modifyTable(String tableName, String[] addColumn, String[] removeColumn) throws Exception {
//转化为表名
TableName name = TableName.valueOf(tableName);
//判断表是否存在
if(admin.tableExists(name)) {
//判断表是否可用状态
boolean tableEnabled = admin.isTableEnabled(name); if(tableEnabled) {
//使表变成不可用
admin.disableTable(name);
}
//根据表名得到表
HTableDescriptor tableDescriptor = admin.getTableDescriptor(name);
//创建列簇结构对象，添加列
for(String add : addColumn) {
HColumnDescriptor addColumnDescriptor = new HColumnDescriptor(add);
tableDescriptor.addFamily(addColumnDescriptor);
}
//创建列簇结构对象，删除列
for(String remove : removeColumn) {
HColumnDescriptor removeColumnDescriptor = new HColumnDescriptor(remove);
tableDescriptor.removeFamily(removeColumnDescriptor.getName());
} admin.modifyTable(name, tableDescriptor); }else {
System.out.println("table不存在");
} } @Override
public void modifyTable(String tableName, HColumnDescriptor hcds) throws Exception {
//转化为表名
TableName name = TableName.valueOf(tableName);
//根据表名得到表
HTableDescriptor tableDescriptor = admin.getTableDescriptor(name);
//获取表中所有的列簇信息
HColumnDescriptor[] columnFamilies = tableDescriptor.getColumnFamilies(); boolean flag = false;
//判断参数中传入的列簇是否已经在表中存在
for(HColumnDescriptor columnFamily : columnFamilies) {
if(columnFamily.equals(hcds)) {
flag = true;
}
}
//存在提示，不存在直接添加该列簇信息
if(flag) {
System.out.println("该列簇已经存在");
}else {
tableDescriptor.addFamily(hcds);
admin.modifyTable(name, tableDescriptor);
} } /**添加数据
*tableName: 表明
*rowKey: 行键
*familyName:列簇
*columnName:列名
*value: 值
*/
@Override
public void putData(String tableName, String rowKey, String familyName, String columnName, String value)
throws Exception {
//转化为表名
TableName name = TableName.valueOf(tableName);
//添加数据之前先判断表是否存在，不存在的话先创建表
if(admin.tableExists(name)) { }else {
//根据表明创建表结构
HTableDescriptor tableDescriptor = new HTableDescriptor(name);
//定义列簇的名字
HColumnDescriptor columnFamilyName = new HColumnDescriptor(familyName);
tableDescriptor.addFamily(columnFamilyName);
admin.createTable(tableDescriptor); } Table table = conn.getTable(name);
Put put = new Put(rowKey.getBytes()); put.addColumn(familyName.getBytes(), columnName.getBytes(), value.getBytes());
table.put(put); } @Override
public void putData(String tableName, String rowKey, String familyName, String columnName, String value,
long timestamp) throws Exception { // 转化为表名
TableName name = TableName.valueOf(tableName);
// 添加数据之前先判断表是否存在，不存在的话先创建表
if (admin.tableExists(name)) { } else {
// 根据表明创建表结构
HTableDescriptor tableDescriptor = new HTableDescriptor(name);
// 定义列簇的名字
HColumnDescriptor columnFamilyName = new HColumnDescriptor(familyName);
tableDescriptor.addFamily(columnFamilyName);
admin.createTable(tableDescriptor); } Table table = conn.getTable(name);
Put put = new Put(rowKey.getBytes()); //put.addColumn(familyName.getBytes(), columnName.getBytes(), value.getBytes());
put.addImmutable(familyName.getBytes(), columnName.getBytes(), timestamp, value.getBytes());
table.put(put); } // 根据rowkey查询数据
@Override
public Result getResult(String tableName, String rowKey) throws Exception { Result result;
TableName name = TableName.valueOf(tableName);
if(admin.tableExists(name)) {
Table table = conn.getTable(name);
Get get = new Get(rowKey.getBytes());
result = table.get(get); }else {
result = null;
} return result;
} // 根据rowkey查询数据
@Override
public Result getResult(String tableName, String rowKey, String familyName) throws Exception {
Result result;
TableName name = TableName.valueOf(tableName);
if(admin.tableExists(name)) {
Table table = conn.getTable(name);
Get get = new Get(rowKey.getBytes());
get.addFamily(familyName.getBytes());
result = table.get(get); }else {
result = null;
} return result;
} // 根据rowkey查询数据
@Override
public Result getResult(String tableName, String rowKey, String familyName, String columnName) throws Exception { Result result;
TableName name = TableName.valueOf(tableName);
if(admin.tableExists(name)) {
Table table = conn.getTable(name);
Get get = new Get(rowKey.getBytes());
get.addColumn(familyName.getBytes(), columnName.getBytes());
result = table.get(get); }else {
result = null;
} return result;
} // 查询指定version
@Override
public Result getResultByVersion(String tableName, String rowKey, String familyName, String columnName,
int versions) throws Exception { Result result;
TableName name = TableName.valueOf(tableName);
if(admin.tableExists(name)) {
Table table = conn.getTable(name);
Get get = new Get(rowKey.getBytes());
get.addColumn(familyName.getBytes(), columnName.getBytes());
get.setMaxVersions(versions);
result = table.get(get); }else {
result = null;
} return result;
} // scan全表数据
@Override
public ResultScanner getResultScann(String tableName) throws Exception { ResultScanner result;
TableName name = TableName.valueOf(tableName);
if(admin.tableExists(name)) {
Table table = conn.getTable(name);
Scan scan = new Scan();
result = table.getScanner(scan); }else {
result = null;
} return result;
} // scan全表数据
@Override
public ResultScanner getResultScann(String tableName, Scan scan) throws Exception { ResultScanner result;
TableName name = TableName.valueOf(tableName);
if(admin.tableExists(name)) {
Table table = conn.getTable(name);
result = table.getScanner(scan); }else {
result = null;
} return result;
} // 删除数据（指定的列）
@Override
public void deleteColumn(String tableName, String rowKey) throws Exception { TableName name = TableName.valueOf(tableName);
if(admin.tableExists(name)) {
Table table = conn.getTable(name);
Delete delete = new Delete(rowKey.getBytes());
table.delete(delete); }else {
System.out.println("table不存在");
} } // 删除数据（指定的列）
@Override
public void deleteColumn(String tableName, String rowKey, String falilyName) throws Exception { TableName name = TableName.valueOf(tableName);
if(admin.tableExists(name)) {
Table table = conn.getTable(name);
Delete delete = new Delete(rowKey.getBytes());
delete.addFamily(falilyName.getBytes());
table.delete(delete); }else {
System.out.println("table不存在");
} } // 删除数据（指定的列）
@Override
public void deleteColumn(String tableName, String rowKey, String falilyName, String columnName) throws Exception {
TableName name = TableName.valueOf(tableName);
if(admin.tableExists(name)) {
Table table = conn.getTable(name);
Delete delete = new Delete(rowKey.getBytes());
delete.addColumn(falilyName.getBytes(), columnName.getBytes());
table.delete(delete); }else {
System.out.println("table不存在");
}
} }
HBase（五）HBase的API操作的更多相关文章
- HBase学习笔记——Java API操作
1.1. 配置 HBaseConfiguration 包:org.apache.hadoop.hbase.HBaseConfiguration 作用:通过此类可以对HBase进行配置 用法实例: C ...
- HBase常用的JAVA API操作
为了方便以后查看,总结了一些常用的java操作hbase的代码: package com.mcq; import static org.hamcrest.CoreMatchers.describedA ...
- HBase(五): HBase运维管理
HBase自带的很多工具可用于管理.分析.修复和调试,这些工具一部分的入口是hbase shell 客户端,另一部分是在hbase的Jar包中. 目录: hbck hfile 数据备份与恢复 Snap ...
- Hbase(五) hbase内部原理
一.系统架构 客户端连接hbase依赖于zookeeper,hbase存储依赖于hadoop client: 1.包含访问 hbase 的接口, client 维护着一些 cache(缓存) 来加快对 ...
- HBase 6、用Phoenix Java api操作HBase
开发环境准备:eclipse3.5.jdk1.7.window8.hadoop2.2.0.hbase0.98.0.2.phoenix4.3.0 1.从集群拷贝以下文件:core-site.xml.hb ...
- HBase API操作
|的ascII最大ctrl+shift+t查找类 ctrl+p显示提示 HBase API操作 依赖的jar包 <dependencies> <dependency> < ...
- Hbase Shell命令详解+API操作
HBase Shell 操作 3.1 基本操作1．进入 HBase 客户端命令行,在hbase-2.1.3目录下 bin/hbase shell 2．查看帮助命令 hbase(main):001:0& ...
- linux 下通过过 hbase 的Java api 操作hbase
hbase版本:0.98.5 hadoop版本:1.2.1 使用自带的zk 本文的内容是在集群中创建java项目调用api来操作hbase,主要涉及对hbase的创建表格,删除表格,插入数据,删除数据 ...
- 大数据技术之_11_HBase学习_02_HBase API 操作 + HBase 与 Hive 集成 + HBase 优化
第6章 HBase API 操作6.1 环境准备6.2 HBase API6.2.1 判断表是否存在6.2.2 抽取获取 Configuration.Connection.Admin 对象的方法以及关 ...
- 5.Hbase API 操作开发
Hbase API 操作开发需要连接Zookeeper进行节点的管理控制 1.配置 HBaseConfiguration: 包:org.apache.hadoop.hbase.HBaseConfigu ...
随机推荐
- OpenStack安装部署（二）
中文文档:http://docs.openstack.org/mitaka/zh_CN/install-guide-rdo/提示:这个中文文档是直接翻译过来的,所以会有很多不通顺的地方. 服务介绍 M ...
- Java并发编程原理与实战四十：JDK8新增LongAdder详解
传统的原子锁AtomicLong/AtomicInt虽然也可以处理大量并发情况下的计数器,但是由于使用了自旋等待,当存在大量竞争时,会存在大量自旋等待,而导致CPU浪费,而有效计算很少,降低了计算效率 ...
- Linux块设备和字符设备
块设备:系统能够随机无序访问固定大小的数据片的设备,这些数据片称为块.块设备是以固定大小长度来传送资料的,它使用缓冲区暂存数据,时机成熟后从缓存中一次性写入到设备或者从设备中一次性放到缓存区.常见的块 ...
- 《设计模式》-原则三：依赖倒置原则（DIP）
这几天晚上回来都去玩了!没有坚持学习.真的好惭愧! 非常自责 后面一定要坚持 一气呵成 争取每天学一点,把这个学完. 今天主要是看了一下 设计模式中的 原则三: 依赖倒置原则(DIP) 官方是这样 ...
- 2.批处理内部命令之REM 和::
REM为注释命令,一般用来给程序加上注解,该命令后的内容不被执行,但能回显. 另外, :: 也可以起到rem 的注释作用, 而且更简洁有效; 但有两点需要注意: 1. 任何以冒号:开头的字符行, 在批 ...
- Sparse Filtering简介
当前很多的特征学习(feature learning)算法需要很多的超参数(hyper-parameter)调节, Sparse Filtering则只需要一个超参数--需要学习的特征的个数, 所以非 ...
- 读懂复杂C声明的黄金法则
在网上遇见felix,他让我读 http://www.felix021.com/blog/read.php?2072,读完之后觉得收获很大,需要练习一下. 黄金法则:从声明的变量开始,先向右看,再向左 ...
- codeforces15E Triangles
传送门:http://codeforces.com/problemset/problem/15/E [题解] # include <bits/stdc++.h> using namespa ...
- 【译】第十篇 Integration Services：高级事件行为
本篇文章是Integration Services系列的第十篇,详细内容请参考原文. 简介在前一篇, we introduced fault tolerance by examining method ...
- 【Tomcat】Tomcat容器 web.xml详解
Tomcat的安装目录下的conf目录下的web.xml文件有许多配置,例如: <init-param> <param-name>debug</param-name& ...