hbasene(https://github.com/akkumar/hbasene)是开源项目,在hbase存储上封装使用Lucene来创建索引,代码API非常简单,熟悉lucene的朋友可以很方便地创建。



    以下为测试代码,完成读取一张hbase上记录url和用户id的表,对其创建索引并进行简单的基于url的索引的代码。当取到search的结果后,就可以拿到想要的数据了。由于分词后将原始内容进行了反向索引,所以匹配就转化为了查询,速度相当快。



    其中getDocumentFromHTable为读取一张hbase上己有的表,将url字段提取出来创建content索引。



    创建索引的实质是用了HBaseIndexWriter和HBaseIndexReader两个分别继承自IndexWriter和IndexReader的类来做索引的读取和写入。同时使用了HBaseIndexStore来做存储。



    而创建索引使用的分词等仍然是使用标准的lucene API。



    注意hbasene使用的是hbase-0.20.5,需要修改少量源代码才能运行在0.90.x以上的版本中。



    这里对创建索引表使用到的结构做下简单的说明,因为是lucene入门级水平,所以各位请尽管拍砖讨论。



    索引表由以下几个CF构成:

  • fm.sequence: 记录sequenceId,在执行createLuceneIndexTable时需要写死该CF的row为sequenceId,qulifier为qual.sequence,值为-1。可以不用理会
  • fm.doc2int: DocumentId,每个document都会有一个这样的id,如果Field.Store设置为YES,则能在索引表中查询到该id并得到完整的内容。
  • fm.termVector: 向量偏移,用于模糊查找,记录偏移量等信息
  • fm.termFrequency:分词后的关键词在每个document中出现的频率,qulifier为documentId,value为出现次数
  • fm.fields:记录了content内容,row为documentId,value为document的全文内容,它和fm.docint是相反的,后者是反向索引。
  • fm.payloads:扩展CF,目前还没有用到
  1. import java.io.IOException;
  2. import org.apache.hadoop.conf.Configuration;
  3. import org.apache.hadoop.hbase.HBaseConfiguration;
  4. import org.apache.hadoop.hbase.client.HTable;
  5. import org.apache.hadoop.hbase.client.HTablePool;
  6. import org.apache.hadoop.hbase.client.Result;
  7. import org.apache.hadoop.hbase.client.ResultScanner;
  8. import org.apache.hadoop.hbase.client.Scan;
  9. import org.apache.lucene.analysis.standard.StandardAnalyzer;
  10. import org.apache.lucene.document.Document;
  11. import org.apache.lucene.document.Field;
  12. import org.apache.lucene.document.Fieldable;
  13. import org.apache.lucene.index.IndexReader;
  14. import org.apache.lucene.index.Term;
  15. import org.apache.lucene.search.IndexSearcher;
  16. import org.apache.lucene.search.ScoreDoc;
  17. import org.apache.lucene.search.TermQuery;
  18. import org.apache.lucene.search.TopDocs;
  19. import org.apache.lucene.util.Version;
  20. import org.hbasene.index.HBaseIndexReader;
  21. import org.hbasene.index.HBaseIndexStore;
  22. import org.hbasene.index.HBaseIndexWriter;
  23. public class test{
  24. static final String indexName = "myindex";
  25. static final String dataName = "t1";
  26. public static void main(String[] args) throws IOException {
  27. try{
  28. Configuration conf = HBaseConfiguration.create(); //hbase-site.xml in the classpath
  29. conf.set("hbase.rootdir", "hdfs://192.168.0.1:9000/hbase");
  30. conf.set("hbase.zookeeper.quorum", "192.168.0.1,192.168.0.2,192.168.0.3");
  31. HTablePool tablePool = new HTablePool(conf, 10);
  32. HBaseIndexStore.createLuceneIndexTable(indexName, conf, true);
  33. //Write
  34. HBaseIndexStore hbaseIndex = new HBaseIndexStore(tablePool, conf, indexName);
  35. HBaseIndexWriter writer = new HBaseIndexWriter(hbaseIndex, "content"); //Name of the primary key field.
  36. getDocument(writer);
  37. writer.close();
  38. //Read/Search
  39. IndexReader reader = new HBaseIndexReader(tablePool, indexName, "f");
  40. IndexSearcher searcher = new IndexSearcher(reader);
  41. Term term = new Term("content", "item.taobao.com");
  42. TermQuery termQuery = new TermQuery(term);
  43. TopDocs docs = searcher.search(termQuery, 3);
  44. searcher.close();
  45. }catch(IOException e){
  46. e.printStackTrace();
  47. throw e;
  48. }
  49. }
  50. private static void getDocument(HBaseIndexWriter writer) throws IOException{
  51. Document doc = new Document();
  52. doc.add(new Field("content", "some content some dog", Field.Store.YES,
  53. Field.Index.ANALYZED));
  54. writer.addDocument(doc, new StandardAnalyzer(Version.LUCENE_30));
  55. doc = new Document();
  56. doc.add(new Field("content", "some id", Field.Store.NO, Field.Index.ANALYZED));
  57. writer.addDocument(doc, new StandardAnalyzer(Version.LUCENE_30));
  58. doc = new Document();
  59. doc.add(new Field("content", "hot dog", Field.Store.YES, Field.Index.ANALYZED, Field.TermVector.WITH_POSITIONS));
  60. writer.addDocument(doc, new StandardAnalyzer(Version.LUCENE_30));
  61. }
  62. private static void getDocumentFromHTable(HTablePool tablePool, HBaseIndexWriter writer) throws IOException  {
  63. Document doc = new Document();
  64. Scan scan = new Scan();
  65. HTable htable = (HTable)tablePool.getTable(dataName);
  66. ResultScanner results = htable.getScanner(scan);
  67. Result row;
  68. while((row = results.next()) != null){
  69. doc = new Document();
  70. String value = new String(row.getValue("test".getBytes(), null));
  71. String url = value.split("\"")[2];
  72. doc.add(new Field("content", url, Field.Store.YES, Field.Index.ANALYZED, Field.TermVector.WITH_OFFSETS));
  73. writer.addDocument(doc, new StandardAnalyzer(Version.LUCENE_30));
  74. }
  75. }
  76. }

以下为运行后查看表的中情况:

HBase中创建索引的更多相关文章

  1. elasticsearch kabana中创建索引

    在kabana中创建索引和索引类型语法 PUT clockin{ "mappings": { "time": { } }} 查询索引下的所有数据 GET clo ...

  2. Mysql 中创建索引和索引的使用问题

    在数据库中合理的使用索引是提升mysql数据库的一种高效和快捷的方式,但是在索引的使用上在我的使用中发现有很多坑,因为自己之前没有认识到,所以来总结一下 索引的介绍 索引是一种特殊的文件,其中包含着对 ...

  3. lucene中创建索引库

    package com.hope.lucene;import org.apache.commons.io.FileUtils;import org.apache.lucene.document.Doc ...

  4. 在SqlServer和Oralce中创建索引

    给表名A的字段A增加索引 SqlServer: if exists (select 1 from sysobjects where name='表名A' and type='u')and exists ...

  5. MySql SqlServer Sqlite中关于索引的创建

    最近要更新Cocon90.Db库,令其ORM创建表时实现索引的添加.因此总结下列常用Sql,供大家学习与参考. 一.SqlServer中创建索引可以这样: ) Create Table Test ( ...

  6. hive中的索引创建

    1.在hive中创建索引所在表 create table if not exists h_odse.hxy(id int,name string,hobby array<string>,a ...

  7. SQL语句-创建索引

    语法:CREATE [索引类型] INDEX 索引名称ON 表名(列名)WITH FILLFACTOR = 填充因子值0~100 GO USE 库名GO IF EXISTS (SELECT * FRO ...

  8. SQL Server创建索引(转)

    什么是索引 拿汉语字典的目录页(索引)打比方:正如汉语字典中的汉字按页存放一样,SQL Server中的数据记录也是按页存放的,每页容量一般为4K .为了加快查找的速度,汉语字(词)典一般都有按拼音. ...

  9. MySQL(五) MySQL中的索引详讲

    序言 之前写到MySQL对表的增删改查(查询最为重要)后,就感觉MySQL就差不多学完了,没有想继续学下去的心态了,原因可能是由于别人的影响,觉得对于MySQL来说,知道了一些复杂的查询,就够了,但是 ...

随机推荐

  1. 01_学习java WEB涉及到的相关技术

     http协议 Tomcat服务器 Servlet技术 JSP技术 HTML CSS Javascript JDBC技术 MySQL.Oracle SQL语言 JavaBean 常用开源组件 DO ...

  2. Android异常:android.view.ViewRootImpl$CalledFromWrongThreadException: Only the original

    Android异常:android.view.ViewRootImpl$CalledFromWrongThreadException: Only the original thread that cr ...

  3. SDL2源代码分析6:复制到渲染器(SDL_RenderCopy())

    ===================================================== SDL源代码分析系列文章列表: SDL2源代码分析1:初始化(SDL_Init()) SDL ...

  4. Mysql group by语句的优化

    默认情况下,MySQL排序所有GROUP BY col1, col2, ....,查询的方法如同在查询中指定ORDER BY  col1, col2, ....如果显式包括一个包含相同的列的ORDER ...

  5. lk中内联调用的dsb()

    lk中内联调用的dsb() 比如lk的uart_dm_init()函数就调用了dsb() /* Configure the uart clock */ clock_config_uart_dm(id) ...

  6. iOS中 蓝牙2.0详解/ios蓝牙设备详解 韩俊强的博客

    每日更新关注:http://weibo.com/hanjunqiang  新浪微博 整体布局如下:     程序结构如右图: 每日更新关注:http://weibo.com/hanjunqiang  ...

  7. iOS中 常用的mac终端指令汇总 技术分享

    通常情况下,只有高端用户才会经常用到终端应用.这并不意味着命令行非常难学,有的时候命令行可以轻松.快速的解决问题.相信所有Mac用户都尝试过命令行,今天为大家带来9个非常实用的命令行操作.一些命令行需 ...

  8. Cocos2D:塔防游戏制作之旅(六)

    现在,创建一个新的类用来表示炮塔.添加新的类文件,名称为Tower,继承于CCNode. 替换Tower.h文件为如下内容: #import "cocos2d.h" #import ...

  9. Bias and Variance 偏置和方差

    偏置和方差 参考资料:http://scott.fortmann-roe.com/docs/BiasVariance.html http://www.cnblogs.com/kemaswill/ Bi ...

  10. JSP编译成Servlet(二)语法树的遍历——访问者模式

    语法树可以理解成是一种数据结构,假如某些语句已经被解析成一棵语法树,那么接下来就是要对此语法树进行处理,但考虑到不将处理操作与数据结构混合在一块,我们需要一种方法将其分离.其实对于语法树的处理最典型的 ...