实现Hbase的分页
作者:R星月 出处:http://www.cnblogs.com/rxingyue 欢迎转载,也请保留这段声明。谢谢!
做一个项目中由于数据量比较大,并且需要定时增量分析,做了hbase的分页。项目中用到的版本是hbase1.1 。需要启用协处理器 Aggregation
1.启动全局aggregation,能过操纵所有的表上的数据。通过修改hbase-site.xml这个文件来实现,只需要添加如下代码:
<property>
<name>hbase.coprocessor.user.region.classes</name>
<value>org.apache.hadoop.hbase.coprocessor.AggregateImplementation</value>
</property>
2.启用表aggregation,只对特定的表生效。通过HBase Shell 来实现。
(1)disable指定表。hbase> disable 'mytable'
(2)添加aggregation hbase> alter 'mytable', METHOD => 'table_att','coprocessor'=>'|org.apache.hadoop.hbase.coprocessor.AggregateImplementation||'
(3)重启指定表 hbase> enable 'mytable'
Hbase客户端调用代码示例
1、 得到hbase的表结构总数
public int getTotalRecord(Table keyIndexTable , String nowTime){
int count=0;
AggregationClient aggregationClient = new AggregationClient(config);
Scan scan=new Scan();
scan.setStopRow(nowTime.getBytes());//小于当前时间
try {
Long rowCount = aggregationClient.rowCount(keyIndexTable, new LongColumnInterpreter(), scan);
aggregationClient.close();
count=rowCount.intValue();
} catch (Throwable e) {
e.printStackTrace();
}
return count;
}
2 ,实现分页
public Map<String,String> getIndexTableInfo(Table table,String tableName, String nowTime,String startRow, Integer currentPage, Integer pageSize){
Map<String,String> communtiyKeysMap=new TreeMap<String,String>();
ResultScanner scanner = null;
// 为分页创建的封装类对象,下面有给出具体属性
try {
// 获取最大返回结果数量
if (pageSize == null || pageSize == 0L)
pageSize = 100;
if (currentPage == null || currentPage == 0)
currentPage = 1;
// 计算起始页和结束页
Integer nowPageSize=pageSize+1;
// MUST_PASS_ALL(条件 AND) MUST_PASS_ONE(条件OR)
FilterList filterList = new FilterList(FilterList.Operator.MUST_PASS_ALL);
Filter filter1=new PageFilter(nowPageSize);
filterList.addFilter(filter1);
// if(tableName.equals("COMMUNITY_KEYS_INDEX")){
// Filter filter2 = new QualifierFilter(CompareOp.EQUAL, new BinaryComparator(Bytes.toBytes("communitykey")));
// filterList.addFilter(filter2);
// }
Scan scan = new Scan();
scan.setFilter(filterList);
scan.setMaxResultSize(nowPageSize);
scan.setStartRow(Bytes.toBytes(startRow));
if(!nowTime.equals("")){
scan.setStopRow(nowTime.getBytes());
}
scanner = table.getScanner(scan);
int i = 1;
// 遍历扫描器对象, 并将需要查询出来的数据row key取出
for (Result result : scanner) {
String row=new String(result.getRow());
for (Cell cell : result.rawCells()) {
// System.out.println("列族:"+new String(CellUtil.cloneQualifier(cell))+">>>"+new String(CellUtil.cloneValue(cell)));
if(i==nowPageSize){
communtiyKeysMap.put("nextStart", row.substring(0,row.lastIndexOf(":")));
break;
}
communtiyKeysMap.put(row, new String(CellUtil.cloneValue(cell)));
}
i++;
}
} catch (IOException e) {
e.printStackTrace(); } finally { if (scanner != null)
scanner.close();
}
return communtiyKeysMap;
}
3,该分页中处理和跳转下一页
for(int page=1;page<=pageNum;page++){ //分页
List<String> pageList = new ArrayList<String>(); //子类调用具体分析
//1.查出要分析的数据
Map<String,String> communtiyKeysMap=getIndexTableInfo(hTable,hbaseIndexTabel,nowTime,startRow,page,pageSize);
for(String communitykey:communtiyKeysMap.keySet()){
String rowKeyIndex=communitykey;
String cellValue=communtiyKeysMap.get(rowKeyIndex);
if(communitykey.equals("nextStart")){
startRow=cellValue;
continue; //下一页进行跳转
}
} //实现调用具体的分析
//实现该分页处理
}
该过程总共为三步,1.设置表的协处理器 Aggregation,使表能够实现统计功能。2.分页,每次取出1001条数据,每页数据为1000条,第1001条的rowkey为下一页的startrowkey,做为标志“nextStart” 。3分页之后进行查找关联数据和进行逻辑分析处理。
实现Hbase的分页的更多相关文章
- hbase分页查询
为了广大技术爱好者学习netty,在这里帮新浪微博@nettying宣传下他出版的新书 <netty权威指南>@nettying兄在华为NIO实践多年,这本书是他的技术和经验的一个结晶.N ...
- HBase之四--(3):hbasehbase分页查询
为了广大技术爱好者学习netty,在这里帮新浪微博@nettying宣传下他出版的新书 <netty权威指南>@nettying兄在华为NIO实践多年,这本书是他的技术和经验的一个结晶.N ...
- HBase系统入门--整体介绍
转自:http://www.aboutyun.com/thread-8957-1-2.html 问题导读:1.HBase查询与写入哪个更好一些?2.HBase面对复杂操作能否实现?3.Region服务 ...
- Hbase(四) 过滤器查询
引言:过滤器的类型很多,但是可以分为两大类——比较过滤器,专用过滤器过滤器的作用是在服务端判断数据是否满足条件,然后只将满足条件的数据返回给客户端: 一.hbase过滤器的分类 1.比较过滤器 行键过 ...
- Hbase各种查询总结
运用hbase好长时间了,今天利用闲暇时间把Hbase的各种查询总结下,以后有时间把协处理器和自定义File总结下. 查询条件分为: 1.统计表数据 2,hbase 简单分页 3,like 查询 4 ...
- 数据分页处理系列之二:HBase表数据分页处理
HBase是Hadoop大数据生态技术圈中的一项关键技术,是一种用于分布式存储大数据的列式数据库,关于HBase更加详细的介绍和技术细节,朋友们可以在网络上进行搜寻,笔者本人在接下来的日子里也会写 ...
- SHDP--Working with HBase(三)之HBase+Phoenix实现分页
先简单讲讲只用HBase来实现分页的思路: HBase利用scan来扫描表,通过startKey,stopKey来确定扫描范围,在需要进行分页时可以结合HBase提供的PagefFilter过滤扫描的 ...
- hbase+springboot+redis实现分页
实现原理: 1.读取hbase数据每页的数据时多取一条数据.如:分页是10条一页,第一次查询hbase时, 取10+1条数据,然后把第一条和最后一条rowkey数据保存在redis中,redis中的k ...
- HBase多条件及分页查询的一些方法
HBase是Apache Hadoop生态系统中的重要一员,它的海量数据存储能力,超高的数据读写性能,以及优秀的可扩展性使之成为最受欢迎的NoSQL数据库之一.它超强的插入和读取性能与它的数据组织方式 ...
随机推荐
- 《H5+移动应用实战开发》已出版
<H5+移动应用实战开发>终于出版了,最近在忙着Vue和Webpack相关的前端书籍写稿.本书面向的读者为:从后端转前端,或零基础开始学习移动端开发的人.前后端完全分离的开发方式越来越成为 ...
- 树状数组的神操作QAQ
卧槽 厉害了,我的树状数组 1.单点修改,单点查询 用差分数组维护 #include<cstdio> #include<iostream> using namespace st ...
- mysql执行计划 const eq_ref ref range index all
explain:查询查询性能或者需要查看使用索引状态 一.type:连接类型 最关键的一列 效率(const>eq_ref>ref>range>index>all) ...
- Phpstorm Git 操作
一.前提: 1.下载并安装好 Phpstorm 2.下载并安装好 Git 3.熟悉 Git 相关命令行操作 二.Git pull & commit(add): 下面简单说一下相关操作: Php ...
- MySQL存储过程的动态行转列
MySQL存储过程中使用动态行转列 最近做项目关于数据报表处理,然而数据库存储格式和报表展现形式不同,需要进行一下行转列的操作,在做上一个项目的时候也看了一下,但是后来换了读取方式,也就没深入研究这个 ...
- Java集合——集合框架Map接口
1.Map接口 public interface Map<K,V>将键映射到值的对象.一个映射不能包含重复的键:每个键最多只能映射到一个值. 2.HashMap.Hashtable.Tr ...
- JS绑定事件和移除事件的处理方法
addEventListener()与removeEventListener()用于处理指定和删除事件处理程序操作.所有的DOM节点中都包含这两种方法,并且它们都接受3个参数:要处理的事件名.作为事件 ...
- form中onsubmit的使用
form 中的onsubmit在点submit按钮时被触发,如果return false;则结果不会被提交到action中去(也就是提交动作不会发生),如果不返回或者返回true,则执行提交动作.(& ...
- 如何在oracle中导入导出dmp数据库文件
Oracle数据导入导出imp/exp就相当于oracle数据还原与备份.exp命令可以把数据从远程数据库服务器导出到本地的dmp文件,imp命令可以把dmp文件从本地导入到远处的数据库服务器中.利用 ...
- SQLServer常见性能问题
1.对查询进行优化,应尽量避免全表扫描,首先应考虑在 where 及 order by 涉及的列上建立索引. 2.应尽量避免在 where 子句中对字段进行 null 值判断,否则将导致引擎放弃使用索 ...