Java开发Hbase示例

使用Hbase操作数据

  1.     package com.sunteng.clickidc.test;
  3.     import java.io.IOException;
  4.     import java.util.ArrayList;
  5.     import java.util.Iterator;
  6.     import java.util.List;
  8.     import org.apache.hadoop.conf.Configuration;
  9.     import org.apache.hadoop.fs.Path;
  10.     import org.apache.hadoop.hbase.*;
  11.     import org.apache.hadoop.hbase.client.*;
  12.     import org.apache.hadoop.hbase.io.compress.Compression.Algorithm;
  13.     import org.apache.hadoop.hbase.util.Bytes;
  15.     /*
  16.     * 不需要实现数据库连接池，内置
  17.     * MAVEN依赖错误，使用另外的客户端包
  18.     * http://blog.sina.com.cn/s/blog_6a67b5c50100zbrx.html
  19.     *
  20.     *       <!-- https://mvnrepository.com/artifact/org.apache.hbase/hbase-shaded-client -->
  21.             <dependency>
  22.                 <groupId>org.apache.hbase</groupId>
  23.                 <artifactId>hbase-shaded-client</artifactId>
  24.                 <version>1.2.2</version>
  25.                 <exclusions>
  26.                     <exclusion>
  27.                         <groupId>org.slf4j</groupId>
  28.                         <artifactId>slf4j-log4j12</artifactId>
  29.                     </exclusion>
  30.                 </exclusions>
  31.             </dependency>
  33.     * */
  34.     public class HbaseExample {
  36.         /*
  37.          * 不强制性创建表
  38.          *
  39.          * @tableName 表名
  40.          * @family 列族列表
  41.          * @config　配置信息
  42.          */
  43.         public static void creatTable(String tableName, String[] family, Configuration config) throws Exception {
  44.             try (Connection connection = ConnectionFactory.createConnection(config);
  45.                  Admin admin = connection.getAdmin()) {
  46.                 HTableDescriptor desc = new HTableDescriptor(TableName.valueOf(tableName));
  47.                 for (int i = 0; i < family.length; i++) {
  48.                     desc.addFamily(new HColumnDescriptor(family[i]));
  49.                 }
  50.                 if (admin.tableExists(desc.getTableName())) {
  51.                     System.out.println("table Exists!");
  52.                     throw new Exception("table Exists!");
  53.                 } else {
  54.                     admin.createTable(desc);
  55.                     System.out.println("create table Success!");
  56.                 }
  57.             }
  58.         }
  60.         /*
  61.          * 强制性创建表
  62.          *
  63.          * @tableName 表名
  64.          * @family 列族列表
  65.          * @config　配置信息
  66.          */
  67.         public static void creatTableForce(String tableName, String[] family, Configuration config) throws Exception {
  68.             try (Connection connection = ConnectionFactory.createConnection(config);
  69.                  Admin admin = connection.getAdmin()) {
  70.                 HTableDescriptor desc = new HTableDescriptor(TableName.valueOf(tableName));
  71.                 for (int i = 0; i < family.length; i++) {
  72.                     desc.addFamily(new HColumnDescriptor(family[i]));
  73.                 }
  74.                 if (admin.tableExists(desc.getTableName())) {
  75.                     admin.disableTable(desc.getTableName());
  76.                     admin.deleteTable(desc.getTableName());
  77.                 }
  78.                 admin.createTable(desc);
  79.                 System.out.println("create table Success!");
  81.             }
  82.         }
  84.         /*
  85.          *  删表
  86.          *  @tableName 表名
  87.          *  @config 配置信息
  88.          *
  89.          */
  90.         public static void deleteTable(String tableName, Configuration config) throws Exception {
  91.             try (Connection connection = ConnectionFactory.createConnection(config);
  92.                  Admin admin = connection.getAdmin()) {
  93.                 TableName tn = TableName.valueOf(tableName);
  94.                 if (admin.tableExists(tn)) {
  95.                     admin.disableTable(tn);
  96.                     admin.deleteTable(tn);
  97.                 }
  98.             }
  99.         }
  101.         /*
  102.         * 查看已有表
  103.         *
  104.         * ＠config　配置信息
  105.         *
  106.         */
  107.         public static HTableDescriptor[] listTables(Configuration config) throws IOException {
  108.             try (Connection connection = ConnectionFactory.createConnection(config);
  109.                  Admin admin = connection.getAdmin()) {
  110.                 HTableDescriptor hTableDescriptors[] = admin.listTables();
  111.                 return hTableDescriptors;
  112.             }
  113.         }
  115.         /*
  116.         * 插入数据
  117.         *
  118.         * @tableName　表名
  119.         * @config 配置信息
  120.         * @rowkey 行key
  121.         * @colFamily 列族
  122.         * @col　子列
  123.         * @val　值
  124.         *
  125.         * */
  126.         public static void instertRow(String tableName, Configuration config, String rowkey, String colFamily, String col, String val) throws Exception {
  127.             try (Connection connection = ConnectionFactory.createConnection(config)) {
  128.                 Table table = connection.getTable(TableName.valueOf(tableName));
  129.                 Put put = new Put(Bytes.toBytes(rowkey));
  130.                 put.addColumn(Bytes.toBytes(colFamily), Bytes.toBytes(col), Bytes.toBytes(val));
  131.                 table.put(put);
  133.                 //批量插入
  134.                /* List<Put> putList = new ArrayList<Put>();
  135.                 puts.add(put);
  136.                 table.put(putList);*/
  137.                 table.close();
  138.                 System.out.printf("adding success!!Table:%s,Row:%s,Column=%s:%s,Value=%s\n", tableName, rowkey, colFamily, col, val);
  139.             }
  140.         }
  142.         /*
  143.         * 删除数据
  144.         *
  145.         * @tableName　表名
  146.         * @config 配置信息
  147.         * @rowkey 行key
  148.         * @colFamily 列族
  149.         * @col　子列
  150.         *
  151.         * */
  152.         public static void deleRow(String tableName, Configuration config, String rowkey, String colFamily, String col) throws Exception {
  153.             try (Connection connection = ConnectionFactory.createConnection(config)) {
  154.                 Table table = connection.getTable(TableName.valueOf(tableName));
  155.                 Delete delete = new Delete(Bytes.toBytes(rowkey));
  156.                 //删除指定列族
  157.                 if (colFamily != null && col == null)
  158.                     delete.addFamily(Bytes.toBytes(colFamily));
  159.                 //删除指定列
  160.                 if (colFamily != null && col != null)
  161.                     delete.addColumn(Bytes.toBytes(colFamily), Bytes.toBytes(col));
  162.                 table.delete(delete);
  163.                 //批量删除
  164.                /* List<Delete> deleteList = new ArrayList<Delete>();
  165.                 deleteList.add(delete);
  166.                 table.delete(deleteList);*/
  167.                 table.close();
  168.             }
  169.         }
  171.         public static void deleRow(String tableName, Configuration config, String rowkey, String colFamily) throws Exception {
  172.             deleRow(tableName, config, rowkey, colFamily, null);
  173.         }
  175.         public static void deleRow(String tableName, Configuration config, String rowkey) throws Exception {
  176.             deleRow(tableName, config, rowkey, null, null);
  177.         }
  179.         /*
  180.         * 根据rowkey查找数据
  181.         *
  182.         * @tableName　表名
  183.         * @config 配置信息
  184.         * @rowkey 行key
  185.         * @colFamily 列族
  186.         * @col　子列
  187.         *
  188.         * */
  189.         public static Result getData(String tableName, Configuration config, String rowkey, String colFamily, String col) throws Exception {
  190.             try (Connection connection = ConnectionFactory.createConnection(config)) {
  191.                 Table table = connection.getTable(TableName.valueOf(tableName));
  192.                 Get get = new Get(Bytes.toBytes(rowkey));
  193.                 if (colFamily != null && col == null)
  194.                     get.addFamily(Bytes.toBytes(colFamily));
  195.                 if (colFamily != null && col != null)
  196.                     get.addColumn(Bytes.toBytes(colFamily), Bytes.toBytes(col));
  197.                 Result result = table.get(get);
  198.                 table.close();
  199.                 return result;
  200.             }
  201.         }
  203.         public static Result getData(String tableName, Configuration config, String rowkey, String colFamily) throws Exception {
  204.             return getData(tableName, config, rowkey, colFamily, null);
  205.         }
  207.         public static Result getData(String tableName, Configuration config, String rowkey) throws Exception {
  208.             return getData(tableName, config, rowkey, null, null);
  209.         }
  211.         /*
  212.         * 批量查找数据
  213.         * @table 表名
  214.         * @config配置文件
  215.         * @startRow 开始的行key
  216.         * @stopRow　停止的行key
  217.         *
  218.         * hbase会将自己的元素按照key的ASCII码排序
  219.         * 找出5193开头的元素
  220.         *
  221.         *   5193:1
  222.         *   5193:2
  223.         *   5194:1
  224.         *   51939:1
  225.         *   51942:1
  226.         *
  227.         *  scan.setStartRow("5193:#");
  228.         *  scan.setStopRow("5193::");
  229.         *
  230.         *  原因：ASCII排序中："#" < "0-9" < ":"
  231.         *  取出来的将是5193:后面跟着数字的元素
  232.         * */
  233.         public static List<Result> scanData(String tableName, Configuration config, String startRow, String stopRow, int limit) throws Exception {
  234.             try (Connection connection = ConnectionFactory.createConnection(config)) {
  235.                 Table table = connection.getTable(TableName.valueOf(tableName));
  236.                 Scan scan = new Scan();
  237.                 if (startRow != null && stopRow != null) {
  238.                     scan.setStartRow(Bytes.toBytes(startRow));
  239.                     scan.setStopRow(Bytes.toBytes(stopRow));
  240.                 }
  241.                 scan.setBatch(limit);
  242.                 List<Result> result = new ArrayList<Result>();
  243.                 ResultScanner resultScanner = table.getScanner(scan);
  244.                 for (Result r : resultScanner) {
  245.                     result.add(r);
  246.                 }
  247.                 table.close();
  248.                 return result;
  249.             }
  250.         }
  252.         public static List<Result> scanData(String tableName, Configuration config, int limit) throws Exception {
  253.             return scanData(tableName, config, null, null, limit);
  254.         }
  256.         /*
  257.         * 打印表
  258.         * @tables 打印的表描述对象
  259.         *
  260.         * */
  261.         public static void printTables(HTableDescriptor[] tables) {
  262.             for (HTableDescriptor t : tables) {
  263.                 HColumnDescriptor[] columns = t.getColumnFamilies();
  264.                 System.out.printf("tables:%s,columns-family:\n", t.getTableName());
  265.                 for (HColumnDescriptor column : columns) {
  266.                     System.out.printf("\t%s\n", column.getNameAsString());
  267.                 }
  268.             }
  269.         }
  271.         /*
  272.          * 格式化输出
  273.          * @result 结果
  274.          *
  275.          * */
  277.         public static void showCell(Result result) {
  278.             Cell[] cells = result.rawCells();
  279.             for (Cell cell : cells) {
  280.                 System.out.println("RowName:" + new String(CellUtil.cloneRow(cell)) + " ");
  281.                 System.out.println("Timetamp:" + cell.getTimestamp() + " ");
  282.                 System.out.println("column Family:" + new String(CellUtil.cloneFamily(cell)) + " ");
  283.                 System.out.println("row Name:" + new String(CellUtil.cloneQualifier(cell)) + " ");
  284.                 System.out.println("value:" + new String(CellUtil.cloneValue(cell)) + " ");
  285.                 System.out.println("---------------");
  286.             }
  287.         }
  289.         public static void main(String... args) {
  290.             Configuration config = HBaseConfiguration.create();
  291.             config.set("hbase.zookeeper.property.clientPort", "2181");
  292.             config.set("hbase.zookeeper.quorum", "192.168.11.73");
  293.             config.set("hbase.master", "192.168.11.73:60000");
  294.             String tablename = "visitor";
  295.             String[] column_family = {"value"};
  296.             try {
  297.                 //创建表
  298.     //          creatTableForce(tablename, column_family, config);
  300.                 //列出表信息
  301.                 HTableDescriptor[] tables = listTables(config);
  302.                 printTables(tables);
  304.                 //插入行
  305.                 for (int i = 1; i < 5; i++)
  306.                     instertRow(tablename, config, "row1", column_family[0], i + "", "value");
  308.                 //获取单行值
  309.                 Result result = getData(tablename, config, "row1", column_family[0]);
  310.                 showCell(result);
  312.                 //扫描表，获取前20行
  313.                 List<Result> results = scanData(tablename, config, 20);
  314.                 for (Result r : results) {
  315.                     showCell(r);
  316.                 }
  318.             } catch (Exception e) {
  319.                 e.printStackTrace();
  320.             }
  321.         }
  322.     }

Java开发Hbase示例的更多相关文章

  1. Java开发工具IntelliJ IDEA创建Andriod项目示例说明

    IntelliJ IDEA社区版作为一个轻量级的Java开发IDE,是一个开箱即用的Android开发工具. 注意:在本次的教程中我们将以Android平台2.2为例进行IntelliJ IDEA的使 ...

  2. 304902阿里巴巴Java开发手册1.4.0

    转自官网 前言 <阿里巴巴Java开发手册>是阿里巴巴集团技术团队的集体智慧结晶和经验总结,经历了多次大规模一线实战的检验及不断完善,系统化地整理成册,回馈给广大开发者.现代软件行业的高速 ...

  3. 阿里巴巴 Java 开发手册　1.4.0

    一.编程规约(一) 命名风格1. [强制]代码中的命名均不能以下划线或美元符号开始,也不能以下划线或美元符号结束.反例: _name / __name / $name / name_ / name$ ...

  4. JAVA开发手册-Markdown

    前言 前 言 <Java 开发手册>是技术团队的集体智慧结晶和经验总结,经历了多次大规模一线实战的检验及不断完善.现代软件行业的高速发展对开发者的综合素质要求越来越高,因为不仅是编程知识点 ...

  5. 如何自学 Java 开发

    如何自学 Java 开发? 568赞同反对,不会显示你的姓名 李艾米IT路上学习 568 人赞同 Java Web前端技术 HTML 入门视频课程 1 HTML 简介 2 HTML基本结构[ 3 HT ...

  6. Unit01： JAVA开发环境案例

    Top JAVA Fundamental DAY01 JDK及Eclipse目录结构操作 JDK的安装及配置 控制台版的JAVA HelloWorld 使用Eclipse开发Java应用程序 1 JD ...

  7. JAVA开发相关

    JAVA开发相关1. IntelliJ IDEA开发工具熟练使用2. Maven3. Spring框架(IoC.AOP) 1)数据库相关MyBatis 2)数据库连接池 3)事务.多数据源.跨数据库分 ...

  8. JAVA开发工具eclipse中@author怎么改

    1:JAVA开发工具eclipse中@author怎么改,开发的时候为了注明版权信息. 用eclipse开发工具默认的是系统用户,那么怎么修改呢 示例如图所示 首先打开Eclipse--->然后 ...

  9. 面向 Java 开发人员的 Ajax: 构建动态的 Java 应用程序

    面向 Java 开发人员的 Ajax: 构建动态的 Java 应用程序 Ajax 为更好的 Web 应用程序铺平了道路 在 Web 应用程序开发中,页面重载循环是最大的一个使用障碍,对于 Java™ ...

随机推荐

  1. centos和windows添加路由命令记录

    # 默认路由做香港出口route add default gw 192.168.10.33route add default gw 192.168.10.1 # 删除默认路由# route del d ...

  2. 003-结构型-07-享元模式（Flyweight）

    一.概述 提供了减少对象数且从而改善应用所需的对象结构的方式.运用共享技术有效地支持大是细粒度的对象. 它通过与其他类似对象共享数据来减小内存占用.它使用共享物件,用来尽可能减少内存使用量以及分享资讯 ...

  3. spring-data-redis数据类型

    一.引入依赖 <!-- 缓存 --> <dependency> <groupId>redis.clients</groupId> <artifac ...

  4. SeetaFaceDetection识别人脸

    SeetaFaceDetection识别人脸 #pragma warning(disable: 4819) #include <seeta/FaceEngine.h> #include & ...

  5. k8s记录-ca证书制作（二）

    1)下载cfssl #!/bin/bash wget https://pkg.cfssl.org/R1.2/cfssl_linux-amd64 wget https://pkg.cfssl.org/R ...

  6. （十四）访问标志 Access_flags

    一.概念 上一章节讲到了常量池,如下图,常量池之后便是访问标志acess_flags,占2个字节(u2). 二.例子 编写一个接口. public interface Test{ public fin ...

  7. iOS扩大按钮的点击范围

    // 重写此方法将按钮的点击范围扩大 - (BOOL)pointInside:(CGPoint)point withEvent:(UIEvent *)event { CGRect bounds = s ...

  8. yaml中使用harbor

    1.在harbor的ui界面上注册一个账号 姓名:zihao 全名:zhuzihao 密码:Zihao@5tgb 邮箱:15613691030@163.com 2.在需要下载镜像的机器上,同样需要修改 ...

  9. LODOP打印table超宽用省略号带'-'的内容换行问题

    前面的博文有div超宽隐藏(LODOP打印超过后隐藏内容样式),还有有table设置超宽隐藏(),此外,还有超宽后用省略号表示的css样式,此文是针对这个样式的.该样式正常情况下没问题,但是遇到-短线 ...

  10. jQuery调用WebService返回JSON数据

    相信大家都比较了解JSON格式的数据对于ajax的方便,不了解的可以从网上找一下这方面的资料来看一下,这里就不多说了,不清楚的可以在网上查一下,这里只说一下因为参数设置不当引起的取不到返回值的问题. ...