1. 试用thrift python/java以及hbase client api。结论例如以下:
    1.1 thrift的安装和公布繁琐。可能会遇到未知的错误,且hbase.thrift的版本号在变化中。

长处代码简单,须要打包的内容少。

    1.2 hbase client api,须要的jar非常多,公布版的容量也非常大。打包后近百兆。

长处是。明白。无歧义。


2. 推荐用hbase client api的方式搞定。

3. 下面均为技术细节。

4. 有一台机器/一个集群,在执行hadoop,也执行了基于这个hadoop集群的hbase集群,同一时候,也执行了一个zookeeper集群,我们统称它是A。


5. 有一台集群负责开发,我们在上面写代码。编译代码,执行代码。我们称它是B。

6. 在B上,要改动/etc/hosts,把A的随意一台zookeeperserver的hostname和相应的ip地址放进去。由于hbase client须要连接到zookeeper,以便获得hbase的hmast信息---hbase集群有多个hmast。一个是主hmast。其它是备用hmaster,假设主hmaster挂了,备用的会顶上,避免单点故障问题。

7. 在B上开发。在elipse建立一个java项目。加入一个lib文件夹,把A上的hadoop, hbase, zookeeper的全部jar包,注意。是全部jar包,各级子文件夹的也算在内,都拷贝到lib文件夹。大概有130个左右,90M。然后,再把它们加入到buildpath。这么做的优点是,不用一点点找到底哪个类在哪个包。生命短暂,不要把时间浪费在这里。浪费点磁盘空间没关系。

    假设hadoop,hbase, zookeeper都安装在一个文件夹下,能够用一个shell语句搞定:
    for i in `find . -name "*.jar"`;      do cp $i ~/alljars;    done;
    然后再把alljars下的jar包都拷贝到B的lib文件夹。

8. 写一个最简单的hbase demo。在hbase里检查一个表是否存在,假设不存在,就创建它。
-----------------------------------------
package hbasedemo;



import java.io.IOException;

import org.apache.hadoop.conf.Configuration;

import org.apache.hadoop.hbase.HBaseConfiguration;

import org.apache.hadoop.hbase.client.HBaseAdmin;

import org.apache.hadoop.hbase.HTableDescriptor;

import org.apache.hadoop.hbase.HColumnDescriptor;

import org.apache.hadoop.hbase.TableName;



public class Main {



public static void main(String[] args) throws IOException{

Configuration hbase_conf = new Configuration();

hbase_conf.set("hbase.zookeeper.quorum", "brianxxxooo"); //brianxxxooo是A里的zookeeper机器的hostname

hbase_conf.set("hbase.zookeeper.property.clientPort","2181");

Configuration conf = HBaseConfiguration.create(hbase_conf);



String tablename="scores";

String[] familys = {"grade", "course"};



HBaseAdmin admin = new HBaseAdmin(conf);

if (admin.tableExists(tablename)){

System.out.println("table exist, return!");

return;

}



HTableDescriptor td = new HTableDescriptor(TableName.valueOf(tablename));

for(int i = 0; i < familys.length; i++){

td.addFamily(new HColumnDescriptor(familys[i]));

}

admin.createTable(td);

System.out.println("create table "+tablename+" ok.");



}
-----------------------------------------

9. 注意事项,hbase client的版本号变化甚多,详细api调用要依据版本号来,有时候须要參考多个版本号来。比方,0.96.x的HTableDescripter更接近http://hbase.apache.org/apidocs/index.html 
, 而不是0.94的api。

但HBaseAdmin在0.94的api是有的,在2.0.0里没有。很混乱。

预计这个局面还要持续一段时间。


10. 更具体的样例
------------------------------------------
package hbasedemo;



import java.io.IOException;

import org.apache.hadoop.conf.Configuration;

import org.apache.hadoop.hbase.*;

import org.apache.hadoop.hbase.client.*;

import org.apache.hadoop.hbase.util.Bytes;



public class Main {



public static void main(String[] args) throws IOException{

Configuration hbase_conf = new Configuration();

hbase_conf.set("hbase.zookeeper.quorum", "brianvxxxxooooo");

hbase_conf.set("hbase.zookeeper.property.clientPort","2181");

Configuration conf = HBaseConfiguration.create(hbase_conf);



String tablename="scores";

String[] familys = {"grade", "course"};



HBaseAdmin admin = new HBaseAdmin(conf);

if (admin.tableExists(tablename)){

System.out.println("table exist!");

}else{

HTableDescriptor td = new HTableDescriptor(TableName.valueOf(tablename));

for(int i = 0; i < familys.length; i++){

td.addFamily(new HColumnDescriptor(familys[i]));

}

admin.createTable(td);

System.out.println("create table "+tablename+" ok.");

}



HTable table = new HTable(conf, "scores");

Put put = new Put(Bytes.toBytes("row1"));



//create

put.add(Bytes.toBytes("grade"), Bytes.toBytes("g1"), Bytes.toBytes(781));

put.add(Bytes.toBytes("grade"), Bytes.toBytes("g2"), Bytes.toBytes("this is test"));

table.put(put);



//read

Get get = new Get(Bytes.toBytes("row1"));

get.addColumn(Bytes.toBytes("grade"), Bytes.toBytes("g1"));

Result result = table.get(get);

byte[] val = result.getValue(Bytes.toBytes("grade"), Bytes.toBytes("g1"));

System.out.println(Bytes.toInt(val));





}
------------------------------------------

其它各种操作于此相似,不再一一列出。

HBase 二次开发 java api和demo的更多相关文章

  1. HBase学习(二) 基本命令 Java api

    一.Hbase shell 1.Region信息观察 创建表指定命名空间 在创建表的时候可以选择创建到bigdata17这个namespace中,如何实现呢? 使用这种格式即可:'命名空间名称:表名' ...

  2. HBase二次开发之搭建HBase调试环境,如何远程debug HBase源代码

    版本 HDP:3.0.1.0 HBase:2.0.0 一.前言 之前的文章也提到过,最近工作中需要对HBase进行二次开发(参照HBase的AES加密方法,为HBase增加SMS4数据加密类型).研究 ...

  3. Ubuntu下搭建Hbase单机版并实现Java API访问

    工具:Ubuntu12.04 .Eclipse.Java.Hbase 1.在Ubuntu上安装Eclipse,可以在Ubuntu的软件中心直接安装,也可以通过命令安装,第一次安装失败了,又试了一次,开 ...

  4. HBase 增删改查Java API

    1. 创建NameSpaceAndTable package com.HbaseTest.hdfs; import java.io.IOException; import org.apache.had ...

  5. ElasticSearch7.3学习(二十三)----RestHighLevelClient Java api实现match_all、ids、match、term、multi_match、bool、filter、sort等不同的搜索方式

    1.数据准备 首先创建book索引 PUT /book/ { "settings": { "number_of_shards": 1, "number ...

  6. hadoop学习记录(二)HDFS java api

    FSDateinputStream 对象 FileSystem对象中的open()方法返回的是FSDateInputStream对象,改类继承了java.io.DateInoutStream接口.支持 ...

  7. python开发初期及二次开发C api

    1,python2 or python 区别, https://wiki.python.org/moin/Python2orPython3 python software foundation 2,p ...

  8. HBase里的官方Java API

    见 https://hbase.apache.org/apidocs/index.html

  9. ElasticSearch排序Java api简单Demo

    代码: String time1 = ConstValue.GetCurrentDate(); SortBuilder sortBuilder = SortBuilders.fieldSort(&qu ...

随机推荐

  1. Entity Framework(四):使用DbModelBuilder API创建表结构

    DbContext类有一个OnModelCreating方法,它用于流利地配置领域类到数据库模式的映射.下面我们以fluent API的方式来定义映射.首先,先将Product类注释掉,重新编写该类, ...

  2. 关于ubuntu系统boot分区空间不足而又无法卸载旧内核的解决方法

    2016年09月03日 14:16:45 萧氏一郎 阅读数:7802 标签: ubuntuboot分区清理更多 个人分类: linux   版权声明:本文为本猿原创文章,转载务必注明出处,多谢. ht ...

  3. 近似推断(Approximate Inference)

    1.变分推断(Variational Inference) 1.1.分解概率分布(Factorized distributions) 1.2.分解近似的性质(Properties of factori ...

  4. 基于Unity5的TPS整理

    1.游戏管理器 游戏管理器负责管理游戏的整体流程,还可以系统管理用于游戏的全局数据以及游戏中判断胜败的条件.游戏管理器并不是单一的模块,更像是能控制游戏的功能集合.1)怪兽出现逻辑:专门设置一些位置用 ...

  5. (转)directx中丢失的设备(lost device)

      directx中丢失的设备(lost device) 丢失的设备 一个Microsoft? Direct3D?可以处于操作状态或丢失状态.操作状态是设备的正常状态,设备按预期运行并present所 ...

  6. 一个格式化字符串的函数ToString

    A Formatting String Function  原文:http://flounder.com/tostring.htm CString ToString(LPCTSTR fmt, ...) ...

  7. Python学习笔记6-字典Dict

    Python内置了字典:dict的支持,dict全称dictionary,在其他语言中也称为map,使用键-值(key-value)存储,具有极快的查找速度. >>> person ...

  8. Android Studio添加assets文件夹

    Step #1:调出项目结构管理区域 View->Tool Windows->Project Step #2:结构管理区域选择“Project” Step #3:新建"asset ...

  9. android开发环境之ADT安装,卸载,更新

    http://hj198703.iteye.com/blog/1316991   1.官网:http://developer.android.com/sdk/index.html2.ADT组件在线安装 ...

  10. LA3485 Bridge[(辛普森自适应)微积分]

    做此题完全是为了练积分. [普通求导版] Select Code #include<cstdio> #include<cmath> using namespace std; t ...