HBase1.0.0 实现数据增删查
HBase1.0.0 即Hadoop 2.6 采用maven 的方式实现HBase数据简单操作
import java.io.IOException;
import java.util.ArrayList;
import java.util.List;
import java.util.Random; import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.hbase.HBaseConfiguration;
import org.apache.hadoop.hbase.HColumnDescriptor;
import org.apache.hadoop.hbase.HTableDescriptor;
import org.apache.hadoop.hbase.MasterNotRunningException;
import org.apache.hadoop.hbase.TableName;
import org.apache.hadoop.hbase.ZooKeeperConnectionException;
import org.apache.hadoop.hbase.client.Connection;
import org.apache.hadoop.hbase.client.ConnectionFactory;
import org.apache.hadoop.hbase.client.HBaseAdmin;
import org.apache.hadoop.hbase.client.HConnection;
import org.apache.hadoop.hbase.client.HTableInterface;
import org.apache.hadoop.hbase.client.HTablePool;
import org.apache.hadoop.hbase.client.Put;
import org.apache.hadoop.hbase.client.Table;
import org.apache.hadoop.hbase.util.Bytes; /**
* @author 作者 E-mail:
* @version 创建时间:2015年12月28日 下午11:31:31 类说明
*/
public class HBaseUtils {
/*
* static { HBaseDaoPool.getInstance(); }
*/ private static Configuration conf;
private static HBaseAdmin admin;
private static HTable hTable = null;
static {
conf = new Configuration();
String filePath = "hbase-site.xml";
Path path = new Path(filePath);
conf.addResource(path);
conf = HBaseConfiguration.create(conf);
} /**
* 创建表并判断表是否存在,如果存在则退出
* @param name
* @param cf
* @throws Exception
*/
@SuppressWarnings("deprecation")
public static void create_table(String name, String cf) throws Exception {
admin = new HBaseAdmin(conf);
// 先检查表是否存在
if (admin.tableExists(name)) {
System.out.println("table is exit" + name);
System.exit(0);
}
HTableDescriptor tableDesc = new HTableDescriptor(name);
HColumnDescriptor hd = new HColumnDescriptor(cf);
/* hd.setMaxVersions(version); */
tableDesc.addFamily(hd);
admin.createTable(tableDesc);
admin.close();
} /**
* 获得HBase里面所有Table
* @return
* @throws Exception
* @throws ZooKeeperConnectionException
* @throws MasterNotRunningException
*/
@SuppressWarnings({ "unused", "deprecation" })
private static List<String> getAllTable() throws MasterNotRunningException,
ZooKeeperConnectionException, Exception {
List<String> table = null;
admin = new HBaseAdmin(conf);
try {
HTableDescriptor[] listTables = admin.listTables();
if (listTables.length > 0) {
table = new ArrayList<String>();
for (HTableDescriptor tableDes : listTables) {
table.add(tableDes.getNameAsString());
System.out.println("table list:" + tableDes.getNameAsString());
}
}
} catch (Exception e) {
e.printStackTrace();
} return table;
} /**
* 添加一条记录
* @param tableName
* @param rowKey
* @param cloumnFianly
* @param column
* @param values
* @return
*/
@SuppressWarnings({ "unused", "deprecation", "resource" })
private static boolean addOneRows(String tableName, String rowKey,
String cloumnFianly, String column, byte[] values) {
HTablePool hTablePool = new HTablePool(conf, 1000);
HTableInterface table = hTablePool.getTable(tableName);
Put put = new Put(rowKey.getBytes());
put.add(cloumnFianly.getBytes(), column.getBytes(), values);
try {
table.put(put);
System.out.println("add success:" + rowKey + "....end");
return true; } catch (IOException e) {
e.printStackTrace();
System.out.println("add false :" + rowKey + " error ...end");
return false;
}
} /**
* 根据表名插入一条数据,rowkey 做了简单处理,前面加了7位随机数
* @param hConnection
* @param tableName
*/
@SuppressWarnings("deprecation")
public static void insertData(String tableName) {
try {
TableName table = TableName.valueOf(tableName);
System.out.println(table + "table");
Connection connection = ConnectionFactory.createConnection(conf);
Table tb1 = connection.getTable(table);
Random random = new Random();
int sum = random.nextInt(9999999);
String.format("%07d", sum);
String rowKkey = String.format("%07d", sum);
Put put = new Put(Bytes.toBytes(rowKkey));
put.add(Bytes.toBytes("cf1"), Bytes.toBytes("address"), Bytes.toBytes("zz"));
tb1.put(put);
tb1.close();
System.out.println("insert end....");
} catch (IOException e) { e.printStackTrace();
}
}
/**
* 根据rowKey 获得一条记录
* @param tableName
* @param rowKey
*/
public void getOneRowsByKey(String tableName, String rowKey){
try {
hTable = new HTable(conf, tableName);
Get get = new Get(Bytes.toBytes(rowKey));
Result result = hTable.get( get );
KeyValue[] rows = result.raw();
for (int i = 0; i < rows.length; i++){
String rowname = new String(rows[i].getQualifier());
String rowValue = new String(rows[i].getValue());
System.out.println("rowname:" + rowname + "--value--" +rowValue); }
}
catch ( IOException e ) { e.printStackTrace();
}
}
public static void main(String[] args) throws Exception { // addOneRows("test", "row7", "cf", "g", "value7".getBytes());
// String table = "ps";
String table = "a1";
String cf = "cf";
// create_table(table, cf);
// getAllTable();
insertData(table);
System.out.println("success");
}
}
maven 配置:
<dependency>
<groupId>org.apache.hadoop</groupId>
<artifactId>hadoop-common</artifactId>
<version>2.6.0</version>
</dependency> <!-- hbase -->
<dependency>
<groupId>org.apache.hbase</groupId>
<artifactId>hbase-client</artifactId>
<version>1.0.0</version>
</dependency> <dependency>
<groupId>org.apache.hbase</groupId>
<artifactId>hbase-server</artifactId>
<version>1.0.0</version>
</dependency>
hbase-site.xml 配置
<?xml version="1.0" encoding="UTF-8"?> <!--Autogenerated by Cloudera Manager-->
<configuration>
<property>
<name>hbase.rootdir</name>
<value>hdfs://HMaster/hbase</value>
</property>
<property>
<name>hbase.client.write.buffer</name>
<value>2097152</value>
</property>
<property>
<name>hbase.client.pause</name>
<value>100</value>
</property>
<property>
<name>hbase.client.retries.number</name>
<value>35</value>
</property>
<property>
<name>hbase.client.scanner.caching</name>
<value>100</value>
</property>
<property>
<name>hbase.client.keyvalue.maxsize</name>
<value>10485760</value>
</property>
<property>
<name>hbase.regionserver.thrift.http</name>
<value>false</value>
</property>
<property>
<name>hbase.thrift.support.proxyuser</name>
<value>false</value>
</property>
<property>
<name>hbase.rpc.timeout</name>
<value>60000</value>
</property>
<property>
<name>hbase.snapshot.enabled</name>
<value>true</value>
</property>
<property>
<name>hbase.snapshot.master.timeoutMillis</name>
<value>60000</value>
</property>
<property>
<name>hbase.snapshot.region.timeout</name>
<value>60000</value>
</property>
<property>
<name>hbase.snapshot.master.timeout.millis</name>
<value>60000</value>
</property>
<property>
<name>hbase.security.authentication</name>
<value>simple</value>
</property>
<property>
<name>zookeeper.session.timeout</name>
<value>60000</value>
</property>
<property>
<name>zookeeper.znode.parent</name>
<value>/hbase</value>
</property>
<property>
<name>zookeeper.znode.rootserver</name>
<value>root-region-server</value>
</property>
<property>
<name>hbase.zookeeper.quorum</name>
<value>node5,node2,node3,node4,node1</value>
</property>
<property>
<name>hbase.zookeeper.property.clientPort</name>
<value>2181</value>
</property>
</configuration>
HBase1.0.0 实现数据增删查的更多相关文章
- SQL Server 表的管理_关于数据增删查改的操作的详解(案例代码)
SQL Server 表的管理_关于数据增删查改的操作的详解(案例代码)-DML 1.SQL INSERT INTO 语句(在表中插入) INSERT INTO 语句用于向表中插入新记录. SQL I ...
- 学习记录——使用PHP实现数据增删查改等基本功能(前后端分离)
萌新初次学习服务器端语言,分享学习经验 实现功能:1.显示数据表 2.对数据进行分页 3.对数据进行增删查改 由于本萌新采用前后端完全分离方案,所以数据传输用的ajax,为了提高代码的复用 ...
- mysql数据增删查授权
一 介绍 MySQL数据操作: DML ======================================================== 在MySQL管理软件中,可以通过SQL语句中的 ...
- Django 之restfromwork 序列化组件实现数据增删查改
rest-framework序列化之Serializer models.py from django.db import models # Create your models here. class ...
- 3.EF 6.0 Code-First实现增删查改
原文链接:http://www.c-sharpcorner.com/UploadFile/3d39b4/crud-operations-using-entity-framework-5-0-code- ...
- 利用dbutils工具实现数据的增删查改操作(dbutis入门)
一.前期准备 1.安装数据库(如:mysql5.5) 2.安装Eclipse(如:3.4) 3.下载数据库驱动包 4.下载dbutis工具包 5.在Eclipse创建名为 dbutils 的工程并在工 ...
- Ubuntu 14.10 下ZooKeeper+Hadoop2.6.0+HBase1.0.0 的HA机群高可用配置
1 硬件环境 Ubuntu 14.10 64位 2 软件环境 openjdk-7-jdk hadoop 2.6.0 zookeeper-3.4.6 hbase-1.0.0 3 机群规划 3.1 zoo ...
- java:Hibernate框架1(环境搭建,Hibernate.cfg.xml中属性含义,Hibernate常用API对象,HibernteUitl,对象生命周期图,数据对象的三种状态,增删查改)
1.环境搭建: 三个准备+7个步骤 准备1:新建项目并添加hibernate依赖的jar文件 准备2:在classpath下(src目录下)新建hibernate的配置文件:hibernate.cf ...
- PHP数据访问增删查(20161028)
注:预定义数组 $_POST[ ]; <!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" &qu ...
随机推荐
- UVA 822 Queue and A
题目链接:https://vjudge.net/problem/UVA-822 翻译摘自:<算法禁赛入门经典> 题目大意 你的任务是模拟一个客户中心运作情况.客服请求一共有n(1 ≤ n ...
- Rust <5>:测试
测试运行顺序:单元测试(同处于源文件中,以 #[cfg(tests)] 标记 mod,以 #[test] 标记 function).集成测试(位于项目根路径下的 tests 目录下,不需要 #[cfg ...
- 还在用 KPI 管研发团队?用 OKR 倍儿爽!
近几年,经常能听到不少技术管理者在倡导:用 OKR 来管理及打造一个高执行力的研发团队. 据我了解,OKR 最成功的落地公司是在 Google --一家有着非常浓厚工程师文化的公司,后来陆续在 Fac ...
- ssh文件 ip锁定
vi ~/.ssh/config Host web*hostname 115.29.242.1**user lian Host **hostname 192.168.1.**user dface
- Codeforces #250 (Div. 2) B. The Child and Set
版权声明:本文为博主原创文章,未经博主同意不得转载. https://blog.csdn.net/u011639256/article/details/28100041 题读错了啊... 一直跪,但刚 ...
- Python之字典中的键映射多个值
字典的键值是多个,那么就可以用列表,集合等来存储这些 键值 举例 print({"key":list()}) # {'key': []} print({"key" ...
- php常见的验证方法
php常见的验证方法 干货文章 ·2018-03-16 23:50:36 <?php /** * @param $id * @return false|int * 检测id */ functio ...
- 2018-8-10-WPF-播放-gif
title author date CreateTime categories WPF 播放 gif lindexi 2018-08-10 19:16:53 +0800 2018-2-13 17:23 ...
- Linear Regression(一)——
Linear Regression(一)-- 机器学习 回归 定义 回归的定义 在平面上存在这些点我希望能用一条直线尽可能经过它们. 于是我们画了下面的一条直线 这样的过程就叫做回归. 这个过程中我们 ...
- ajax请求的原生js实现
我们使用ajax请求一般都用的jQuery, axios封装好了的api, 那么如果只能用原生js, 我们该如何操作了? 上代码. 我们在同目录下写好一个json文件(data.json)用于请求测试 ...