实现Hbase的分页
作者:R星月 出处:http://www.cnblogs.com/rxingyue 欢迎转载,也请保留这段声明。谢谢!
做一个项目中由于数据量比较大,并且需要定时增量分析,做了hbase的分页。项目中用到的版本是hbase1.1 。需要启用协处理器 Aggregation
1.启动全局aggregation,能过操纵所有的表上的数据。通过修改hbase-site.xml这个文件来实现,只需要添加如下代码:
<property>
<name>hbase.coprocessor.user.region.classes</name>
<value>org.apache.hadoop.hbase.coprocessor.AggregateImplementation</value>
</property>
2.启用表aggregation,只对特定的表生效。通过HBase Shell 来实现。
(1)disable指定表。hbase> disable 'mytable'
(2)添加aggregation hbase> alter 'mytable', METHOD => 'table_att','coprocessor'=>'|org.apache.hadoop.hbase.coprocessor.AggregateImplementation||'
(3)重启指定表 hbase> enable 'mytable'
Hbase客户端调用代码示例
1、 得到hbase的表结构总数
public int getTotalRecord(Table keyIndexTable , String nowTime){
int count=0;
AggregationClient aggregationClient = new AggregationClient(config);
Scan scan=new Scan();
scan.setStopRow(nowTime.getBytes());//小于当前时间
try {
Long rowCount = aggregationClient.rowCount(keyIndexTable, new LongColumnInterpreter(), scan);
aggregationClient.close();
count=rowCount.intValue();
} catch (Throwable e) {
e.printStackTrace();
}
return count;
}
2 ,实现分页
public Map<String,String> getIndexTableInfo(Table table,String tableName, String nowTime,String startRow, Integer currentPage, Integer pageSize){
Map<String,String> communtiyKeysMap=new TreeMap<String,String>();
ResultScanner scanner = null;
// 为分页创建的封装类对象,下面有给出具体属性
try {
// 获取最大返回结果数量
if (pageSize == null || pageSize == 0L)
pageSize = 100;
if (currentPage == null || currentPage == 0)
currentPage = 1;
// 计算起始页和结束页
Integer nowPageSize=pageSize+1;
// MUST_PASS_ALL(条件 AND) MUST_PASS_ONE(条件OR)
FilterList filterList = new FilterList(FilterList.Operator.MUST_PASS_ALL);
Filter filter1=new PageFilter(nowPageSize);
filterList.addFilter(filter1);
// if(tableName.equals("COMMUNITY_KEYS_INDEX")){
// Filter filter2 = new QualifierFilter(CompareOp.EQUAL, new BinaryComparator(Bytes.toBytes("communitykey")));
// filterList.addFilter(filter2);
// }
Scan scan = new Scan();
scan.setFilter(filterList);
scan.setMaxResultSize(nowPageSize);
scan.setStartRow(Bytes.toBytes(startRow));
if(!nowTime.equals("")){
scan.setStopRow(nowTime.getBytes());
}
scanner = table.getScanner(scan);
int i = 1;
// 遍历扫描器对象, 并将需要查询出来的数据row key取出
for (Result result : scanner) {
String row=new String(result.getRow());
for (Cell cell : result.rawCells()) {
// System.out.println("列族:"+new String(CellUtil.cloneQualifier(cell))+">>>"+new String(CellUtil.cloneValue(cell)));
if(i==nowPageSize){
communtiyKeysMap.put("nextStart", row.substring(0,row.lastIndexOf(":")));
break;
}
communtiyKeysMap.put(row, new String(CellUtil.cloneValue(cell)));
}
i++;
}
} catch (IOException e) {
e.printStackTrace(); } finally { if (scanner != null)
scanner.close();
}
return communtiyKeysMap;
}
3,该分页中处理和跳转下一页
for(int page=1;page<=pageNum;page++){ //分页
List<String> pageList = new ArrayList<String>(); //子类调用具体分析
//1.查出要分析的数据
Map<String,String> communtiyKeysMap=getIndexTableInfo(hTable,hbaseIndexTabel,nowTime,startRow,page,pageSize);
for(String communitykey:communtiyKeysMap.keySet()){
String rowKeyIndex=communitykey;
String cellValue=communtiyKeysMap.get(rowKeyIndex);
if(communitykey.equals("nextStart")){
startRow=cellValue;
continue; //下一页进行跳转
}
} //实现调用具体的分析
//实现该分页处理
}
该过程总共为三步,1.设置表的协处理器 Aggregation,使表能够实现统计功能。2.分页,每次取出1001条数据,每页数据为1000条,第1001条的rowkey为下一页的startrowkey,做为标志“nextStart” 。3分页之后进行查找关联数据和进行逻辑分析处理。
实现Hbase的分页的更多相关文章
- hbase分页查询
为了广大技术爱好者学习netty,在这里帮新浪微博@nettying宣传下他出版的新书 <netty权威指南>@nettying兄在华为NIO实践多年,这本书是他的技术和经验的一个结晶.N ...
- HBase之四--(3):hbasehbase分页查询
为了广大技术爱好者学习netty,在这里帮新浪微博@nettying宣传下他出版的新书 <netty权威指南>@nettying兄在华为NIO实践多年,这本书是他的技术和经验的一个结晶.N ...
- HBase系统入门--整体介绍
转自:http://www.aboutyun.com/thread-8957-1-2.html 问题导读:1.HBase查询与写入哪个更好一些?2.HBase面对复杂操作能否实现?3.Region服务 ...
- Hbase(四) 过滤器查询
引言:过滤器的类型很多,但是可以分为两大类——比较过滤器,专用过滤器过滤器的作用是在服务端判断数据是否满足条件,然后只将满足条件的数据返回给客户端: 一.hbase过滤器的分类 1.比较过滤器 行键过 ...
- Hbase各种查询总结
运用hbase好长时间了,今天利用闲暇时间把Hbase的各种查询总结下,以后有时间把协处理器和自定义File总结下. 查询条件分为: 1.统计表数据 2,hbase 简单分页 3,like 查询 4 ...
- 数据分页处理系列之二:HBase表数据分页处理
HBase是Hadoop大数据生态技术圈中的一项关键技术,是一种用于分布式存储大数据的列式数据库,关于HBase更加详细的介绍和技术细节,朋友们可以在网络上进行搜寻,笔者本人在接下来的日子里也会写 ...
- SHDP--Working with HBase(三)之HBase+Phoenix实现分页
先简单讲讲只用HBase来实现分页的思路: HBase利用scan来扫描表,通过startKey,stopKey来确定扫描范围,在需要进行分页时可以结合HBase提供的PagefFilter过滤扫描的 ...
- hbase+springboot+redis实现分页
实现原理: 1.读取hbase数据每页的数据时多取一条数据.如:分页是10条一页,第一次查询hbase时, 取10+1条数据,然后把第一条和最后一条rowkey数据保存在redis中,redis中的k ...
- HBase多条件及分页查询的一些方法
HBase是Apache Hadoop生态系统中的重要一员,它的海量数据存储能力,超高的数据读写性能,以及优秀的可扩展性使之成为最受欢迎的NoSQL数据库之一.它超强的插入和读取性能与它的数据组织方式 ...
随机推荐
- Go:表驱动单元测试
Go:表驱动单元测试 单元测试相当的重要,这几天实习由于单元测试没写好所以被骂了emmm 痛定思痛,立刻上网学习了一下,总算达到了预期的效果,所以写一篇文章记录一下 首先安装gotests $go g ...
- -bash: ./bak_1.py: /usr/bin/python^M: bad interpreter: 没有那个文件或目录
在Windows的PyCharm中编写了一个Python文件,然后上传至CentOS中,已经添加执行权限,但是仍然会报如下的错误: 代码如下: #!/usr/bin/python # -*- codi ...
- 反射实现增删改查(DAO层)——插入数据
先贴出代码,后续补充自己的思路.配置文件.使用方式: /** * 插入数据 */ @Override public void addObject(Object object, String table ...
- 清北刷题冲刺 11-02 p.m
函数最值 #include<iostream> #include<cstdio> #include<cstring> #define maxn 100010 usi ...
- jQuery点击弹出层,弹出模态框,点击模态框消失
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 3 ...
- JavaWeb:JSP技术基础
JavaWeb:JSP技术 快速开始 介绍 JSP全称Java Server Pages,是一种动态网页开发技术.它使用JSP标签在HTML网页中插入Java代码.标签通常以<%开头以%> ...
- [Xcode 实际操作]三、视图控制器-(10)在Storyboard中使用图像视图控件
目录:[Swift]Xcode实际操作 本文将演示常用的图像视图控件在故事板中的使用. 打开故事板文件[Main.storyboard]点击选择视图控制器的根视图. 点击库图标,打开控件库面板. 在控 ...
- dbms_xplan的display查看执行计划
DBMS_XPLAN包包括一系列函数,主要是用于显示SQL语句的执行计划,且不同的情形下使用不同的函数来显示,如预估的执行计划则使用 display函数,而实际的执行计划则是用display_curs ...
- ios一个自定义的下拉多选菜单
前段时间项目刚好要做到条件筛选菜单,正好找到一些别人写的,结合自己实际需求进行优化修改,一个实用的多条件筛选菜单,根据其他的下拉进行一些改进. 点击后返回点击文字显示 github地址:https:/ ...
- 我的省选 Day -13
Day -13 10:18:46 早上360浏览器的网站一直显示 证书错误! 打开洛谷,一脸懵逼,网页根本不能正常显示.(一直到刚刚改了一下系统时间才恢复正常) 好在已经把昨天那道矩阵乘法的题目做完了 ...