Lucene的学习
一,什么是全文检索

1.数据的分类

  1.结构化数据

    格式固定,长度固定,数据类型固定。

    例如:数据库中的数据;

  2.非结构化数据

    word文档,pdf文档,邮件,html,txt

    格式不固定,长度不固定,数据类型也不固定

2.数据的查询

  1,结构化数据的查询

    Sql语句,查询结构化数据的方法。简单,速度快。

  2.非结构化数据的查询

    例如:从文本文件中找出包含spring的单词的文件

    1.目测

    2.使用程序代码来实现,把文件读取到内存中,匹配字符串,顺序扫描。

    3.把结构化数据变成结构化数据

      (先根据空格进行字符串拆分,得到一个单词列表,基于单词列表创建一个索引 )  

       索引:一个为了提高查询速度,创建某种数据结构的集合

       然后 查询索引,根据单词和文档对应关系找到文档列表,这个过程就叫全文检索

3.全文检索

  先创建索引,然后查询索引的过程,就叫做全文检索。(创建索引时间较长,但是一次创建可以多次使用,平均每次查询的速度就提高了速度)

二,全文搜索的应用场景

1,搜索引擎

    百度,360搜索,谷歌,搜狗

2,站内搜索

    论坛搜索,微博搜索,文章搜索

3,电商搜索

    淘宝搜索,京东搜索

4,只要是有搜索的地方,就可以使用到全文检索技术

三,什么是Lucene

  Lucene是一个基于java开发的全文检索工具包,java开发中Lucene首选。

四,Lucene实现全文检索的流程。

1,创建索引

    1)获得文档

        原始文档:要基于那些数据来进行搜索,那么这些数据就是原始文档

        搜索引擎:使用爬虫获得原始文档

        站内搜索:数据库中的数据。使用jdbc到数据库中取

        案列:直接使用io流读取磁盘上的文件。

    2)构建文档对象

        对应每个原始文档,来创建Document对象。

        每个Document对象中包含多个域(Field)

        域中保持原始文档的数据。

           域的名称;域的值;

           每个文档都有一个文档的编号,就是文档id

    3)分析文档

        就是分词的过程

        1.根据空格进行拆分,得到一个单词列表

        2.把单词统一转化成大写或者小写

        3.去掉标点符号

        4.去掉停用词(停用词:无意义的词;如:and)

        每个关键词都封装成一个Term对象中,Term中包含两部分内容:关键词包含的域;关键词本身;(不同的域中拆分出来的关键词是不同的Term)

    4)创建索引

        基于关键词列表来创建一个索引,保存到磁盘中,保存到索引库中。

        索引库中包含:

              索引

              Document对象

              关键词和文档的对应关系

        通过词语找文档,这种索引的结构就叫倒排索引结构

2,查询索引 

    1)用户查询接口

        用户输入查询条件的地方

        例如:百度的搜索框

    2)把关键词封装成一个查询对象

        要查询的域

        要搜索的关键词

    3)执行查询

        根据要查询的关键词到对应的域中进行搜索

        找到关键词,根据关键词来找到对应的文档

    4)渲染结果

        根据文档的id找到文档的对象

        对关键词进行高亮显示

        分页显示

        最终展示出给用户展示
五,入门程序
  1,创建索引
      环境:
        需要下载Lucene
        http://lucene.apache.org/
        目前的版本lucene-7.4.0
        最低要求jdk1.8版本
    工程搭建:
        创建一个java工程
        添加jar:
        lucene-analyzers-common-7.4.0.jar
        lucene-cone-7.4.0.jar
        commons-io.jar
      步骤:
        1,创建一个Directory对象,指定索引保存的位置
        2,基于一个IndexReader对象
        3,读取磁盘上的文件,对应每个文件创建一个文档对象
        4,向文档对象中添加域
        5,把文档对象写入索引库
        6,关闭indexWriter对象

public void createIndex() throws Exception {
    //1、创建一个Director对象,指定索引库保存的位置。
    //把索引库保存在内存中
    //Directory directory = new RAMDirectory();
    //把索引库保存在磁盘
  Directory directory = FSDirectory.open(new File("C:\\temp\\index").toPath());
    //2、基于Directory对象创建一个IndexWriter对象
  IndexWriterConfig config = new IndexWriterConfig(new IKAnalyzer());
  IndexWriter indexWriter = new IndexWriter(directory, config);
    //3、读取磁盘上的文件,对应每个文件创建一个文档对象。
  File dir = new File("C:\\A0.lucene2018\\05.参考资料\\searchsource");
  File[] files = dir.listFiles();
      for (File f :files) {
    //取文件名
  String fileName = f.getName();
    //文件的路径
  String filePath = f.getPath();
    //文件的内容
  String fileContent = FileUtils.readFileToString(f, "utf-8");
    //文件的大小
  long fileSize = FileUtils.sizeOf(f);
    //创建Field
    //参数1:域的名称,参数2:域的内容,参数3:是否存储
  Field fieldName = new TextField("name", fileName, Field.Store.YES);
    //Field fieldPath = new TextField("path", filePath, Field.Store.YES);
  Field fieldPath = new StoredField("path", filePath);
  Field fieldContent = new TextField("content", fileContent, Field.Store.YES);
    //Field fieldSize = new TextField("size", fileSize + "", Field.Store.YES);
  Field fieldSizeValue = new LongPoint("size", fileSize);
  Field fieldSizeStore = new StoredField("size", fileSize);
    //创建文档对象
  Document document = new Document();
    //向文档对象中添加域
    document.add(fieldName);
    document.add(fieldPath);
    document.add(fieldContent);
    //document.add(fieldSize);
    document.add(fieldSizeValue);
    document.add(fieldSizeStore);
      //5、把文档对象写入索引库
    indexWriter.addDocument(document);
}
    //6、关闭indexwriter对象
    indexWriter.close();
}

  

2,使用luke查看索引库中的内容(luke的使用对jdk版本有要求)
        版本:luke-7.4.0(要求版本在jdk1.9)
3,查询索引库
      步骤:
        1,创建一个Directory对象,指定索引库的位置
        2,创建一个IndexReader
        3,创建一个IndexSearcher对象,构造方法中的参数indexReader对象
        4,一个Query对象,TremQuery对象
        5,执行查询,得到一个TopDocs对象
        6,取查询结果的总记录数
        7,取文档列表
        8,打印文档中的内容
        9,关闭IndexReader对象

public void searchIndex() throws Exception {
      //1、创建一个Director对象,指定索引库的位置
  Directory directory = FSDirectory.open(new File("C:\\temp\\index").toPath());
      //2、创建一个IndexReader对象
  IndexReader indexReader = DirectoryReader.open(directory);
      //3、创建一个IndexSearcher对象,构造方法中的参数indexReader对象。
  IndexSearcher indexSearcher = new IndexSearcher(indexReader);
      //4、创建一个Query对象,TermQuery
  Query query = new TermQuery(new Term("name", "spring"));
      //5、执行查询,得到一个TopDocs对象
      //参数1:查询对象 参数2:查询结果返回的最大记录数
  TopDocs topDocs = indexSearcher.search(query, 10);
      //6、取查询结果的总记录数
  System.out.println("查询总记录数:" + topDocs.totalHits);
      //7、取文档列表
  ScoreDoc[] scoreDocs = topDocs.scoreDocs;
      //8、打印文档中的内容
  for (ScoreDoc doc : scoreDocs) {
      //取文档id
  int docId = doc.doc;
      //根据id取文档对象
  Document document = indexSearcher.doc(docId);
  System.out.println(document.get("name"));
  System.out.println(document.get("path"));
  System.out.println(document.get("size"));
    //System.out.println(document.get("content"));
  System.out.println("-----------------寂寞的分割线");
  }
    //9、关闭IndexReader对象
  indexReader.close();
}

 

六,分析器
默认使用的是标准分析器StandardAnalyzer
    1,查看分析器的分析效果
    使用Analyzer对象的tokenS他ream方法返回一个TokenStream对象,词对象包含最终分词结果
      实现步骤:
        1)创建一个Analyzer对象,StandrdAnalyzer对象
        2)使用分析器对象的tokenStream方法获取一个TokenStream对象
        3)向TokenStream对象中设置一个引用,相当于设置一个指针
        4)调用TokenStream对象中的rest方法,如果不调用抛异常
        5)使用while循环遍历TokenStream对象
        6)关闭TokenStream对象

public void testTokenStream() throws Exception {
    //1)创建一个Analyzer对象,StandardAnalyzer对象
    // Analyzer analyzer = new StandardAnalyzer();
  Analyzer analyzer = new IKAnalyzer();
    //2)使用分析器对象的tokenStream方法获得一个TokenStream对象
  TokenStream tokenStream = analyzer.tokenStream("", "公安局Lucene是一款高性能的、可扩展的信息检索(IR)工具库。信息检索是指文档搜索、文档内信息搜索或者文档相关的元数据搜索等操作。");
    //3)向TokenStream对象中设置一个引用,相当于数一个指针
  CharTermAttribute charTermAttribute = tokenStream.addAttribute(CharTermAttribute.class);
    //4)调用TokenStream对象的rest方法。如果不调用抛异常
  tokenStream.reset();
    //5)使用while循环遍历TokenStream对象
  while(tokenStream.incrementToken()) {
  System.out.println(charTermAttribute.toString());
  }
    //6)关闭TokenStream对象
  tokenStream.close();
}

  

2,IKAnalyze的使用方法
    1)把IKAnalyze的jar包添加到工程中去
    2)把配置文件和扩展词典添加到工程的classpath下
    注意:扩展词典严禁使用windows记事本编辑,必须扩展词典的编码格式是utf-8
    扩展词典:添加一些新词
    停用词词典:无意义的词或者敏感词汇

public void createIndex() throws Exception {
    //1、创建一个Director对象,指定索引库保存的位置。
    //把索引库保存在内存中
    //Directory directory = new RAMDirectory();
    //把索引库保存在磁盘
  Directory directory = FSDirectory.open(new File("C:\\temp\\index").toPath());
    //2、基于Directory对象创建一个IndexWriter对象
  IndexWriterConfig config = new IndexWriterConfig(new IKAnalyzer());
  IndexWriter indexWriter = new IndexWriter(directory, config);
    //3、读取磁盘上的文件,对应每个文件创建一个文档对象。
  File dir = new File("C:\\A0.lucene2018\\05.参考资料\\searchsource");
  File[] files = dir.listFiles();
  for (File f : files) {
  //取文件名
  String fileName = f.getName();
    //文件的路径
  String filePath = f.getPath();
    //文件的内容
  String fileContent = FileUtils.readFileToString(f, "utf-8");
    //文件的大小
  long fileSize = FileUtils.sizeOf(f);
    //创建Field
    //参数1:域的名称,参数2:域的内容,参数3:是否存储
  Field fieldName = new TextField("name", fileName, Field.Store.YES);
    //Field fieldPath = new TextField("path", filePath, Field.Store.YES);
  Field fieldPath = new StoredField("path", filePath);
  Field fieldContent = new TextField("content", fileContent, Field.Store.YES);
    //Field fieldSize = new TextField("size", fileSize + "", Field.Store.YES);
    Field fieldSizeValue = new LongPoint("size", fileSize);
  Field fieldSizeStore = new StoredField("size", fileSize);
    //创建文档对象
  Document document = new Document();
    //向文档对象中添加域
  document.add(fieldName);
  document.add(fieldPath);
  document.add(fieldContent);
    //document.add(fieldSize);
  document.add(fieldSizeValue);
  document.add(fieldSizeStore);
    //5、把文档对象写入索引库
  indexWriter.addDocument(document);
}
    //6、关闭indexwriter对象
  indexWriter.close();
}

  

七,索引库的维护
1,添加文档

private IndexWriter indexWriter;

  @Before
public void init() throws Exception {
    //创建一个IndexWriter对象,需要使用IKAnalyzer作为分析器
  indexWriter =
    new IndexWriter(FSDirectory.open(new File("C:\\temp\\index").toPath()),
    new IndexWriterConfig(new IKAnalyzer()));
}   @Test
public void addDocument() throws Exception {
    //创建一个IndexWriter对象,需要使用IKAnalyzer作为分析器
  IndexWriter indexWriter =
  new IndexWriter(FSDirectory.open(new File("C:\\temp\\index").toPath()),
  new IndexWriterConfig(new IKAnalyzer()));
    //创建一个Document对象
  Document document = new Document();
    //向document对象中添加域
  document.add(new TextField("name", "新添加的文件", Field.Store.YES));
  document.add(new TextField("content", "新添加的文件内容", Field.Store.NO));
  document.add(new StoredField("path", "c:/temp/helo"));
    // 把文档写入索引库
  indexWriter.addDocument(document);
    //关闭索引库
  indexWriter.close();
}   @Test
public void deleteAllDocument() throws Exception {
    //删除全部文档
  indexWriter.deleteAll();
    //关闭索引库
  indexWriter.close();
}   @Test
public void deleteDocumentByQuery() throws Exception {
  indexWriter.deleteDocuments(new Term("name", "apache"));
  indexWriter.close();
}

  

2,删除文档
1)删除全部

  @Test
public void deleteAllDocument() throws Exception {
    //删除全部文档
  indexWriter.deleteAll();
    //关闭索引库
  indexWriter.close();
}

  

2)根据查询,关键词删除文档

  @Test
public void deleteDocumentByQuery() throws Exception {
    indexWriter.deleteDocuments(new Term("name", "apache"));
  indexWriter.close();
}

  

3,修改文档
  修改的原理是先删除后添加

  @Test
public void updateDocument() throws Exception {
    //创建一个新的文档对象
Document document = new Document();
    //向文档对象中添加域
  document.add(new TextField("name", "更新之后的文档", Field.Store.YES));
  document.add(new TextField("name1", "更新之后的文档2", Field.Store.YES));
  document.add(new TextField("name2", "更新之后的文档3", Field.Store.YES));
    //更新操作
  indexWriter.updateDocument(new Term("name", "spring"), document);
    //关闭索引库
  indexWriter.close();
}

  

八,索引库查询
    1,使用Query的子类
      1)TermQuery
        根据关键词进行查询
        需要指定查询的域以及要查询的关键字

      2)RangeQuery
范围查询

    private IndexReader indexReader;
    private IndexSearcher indexSearcher;
    @Before
public void init() throws Exception {
    indexReader = DirectoryReader.open(FSDirectory.open(new File("C:\\temp\\index").toPath()));
    indexSearcher = new IndexSearcher(indexReader);
}   @Test
public void testRangeQuery() throws Exception {
      //创建一个Query对象
    Query query = LongPoint.newRangeQuery("size", 0l, 100l);
    printResult(query);
}     private void printResult(Query query) throws Exception {
      //执行查询
    TopDocs topDocs = indexSearcher.search(query, 10);
    System.out.println("总记录数:" + topDocs.totalHits);
    ScoreDoc[] scoreDocs = topDocs.scoreDocs;
    for (ScoreDoc doc:scoreDocs){
      //取文档id
    int docId = doc.doc;
      //根据id取文档对象
    Document document = indexSearcher.doc(docId);
    System.out.println(document.get("name"));
    System.out.println(document.get("path"));
    System.out.println(document.get("size"));
      //System.out.println(document.get("content"));
    System.out.println("-----------------寂寞的分割线");
}
    indexReader.close();
}

  

2,使用QueryPaser进行查询
      可以要对查询的内容先分词,然后基于分词的结果进行扫描
      添加一个jar包
      luncene-queryparser-7.4.0.jar

    @Test
public void testQueryParser() throws Exception {
    //创建一个QueryPaser对象,两个参数
  QueryParser queryParser = new QueryParser("name", new IKAnalyzer());
    //参数1:默认搜索域,参数2:分析器对象
    //使用QueryPaser对象创建一个Query对象
  Query query = queryParser.parse("lucene是一个Java开发的全文检索工具包");
    //执行查询
  printResult(query);
}

  

Lucene的初步了解和学习的更多相关文章

  1. Lucene.net(4.8.0) 学习问题记录五: JIEba分词和Lucene的结合,以及对分词器的思考

    前言:目前自己在做使用Lucene.net和PanGu分词实现全文检索的工作,不过自己是把别人做好的项目进行迁移.因为项目整体要迁移到ASP.NET Core 2.0版本,而Lucene使用的版本是3 ...

  2. Lucene.net(4.8.0) 学习问题记录六:Lucene 的索引系统和搜索过程分析

    前言:目前自己在做使用Lucene.net和PanGu分词实现全文检索的工作,不过自己是把别人做好的项目进行迁移.因为项目整体要迁移到ASP.NET Core 2.0版本,而Lucene使用的版本是3 ...

  3. Appium原理初步--Android自动化测试学习历程

    章节:自动化基础篇——Appium原理初步(第七讲) 本期关键词: Appium.跨语言跨平台.Bootstrap 主要讲解内容及笔记: 一.what is appium 一种封装了uiautomat ...

  4. Selenium原理初步--Android自动化测试学习历程

    章节:自动化基础篇——Selenium原理初步(第五讲) 注:其实所有的东西都是应该先去用,但是工具基本都一样,底层都是用的最基础的内容实现的,测试应该做的是: (1)熟练使用工具,了解各个工具的利弊 ...

  5. python初步(附学习思维导图)

    python,原意为蟒蛇,至于它的发展史,度娘应该比我讲述的更为专业/偷笑.这里我们要梳理的是整个学习的脉络,当然,今后的随笔也会从基础部分说起,希望能给进门python的小伙伴一些建议. 一.环境的 ...

  6. Lucene.net(4.8.0) 学习问题记录三: 索引的创建 IndexWriter 和索引速度的优化

    前言:目前自己在做使用Lucene.net和PanGu分词实现全文检索的工作,不过自己是把别人做好的项目进行迁移.因为项目整体要迁移到ASP.NET Core 2.0版本,而Lucene使用的版本是3 ...

  7. Lucene.net(4.8.0) 学习问题记录二: 分词器Analyzer中的TokenStream和AttributeSource

    前言:目前自己在做使用Lucene.net和PanGu分词实现全文检索的工作,不过自己是把别人做好的项目进行迁移.因为项目整体要迁移到ASP.NET Core 2.0版本,而Lucene使用的版本是3 ...

  8. Lucene.net(4.8.0) 学习问题记录四: IndexWriter 索引的优化以及思考

    前言:目前自己在做使用Lucene.net和PanGu分词实现全文检索的工作,不过自己是把别人做好的项目进行迁移.因为项目整体要迁移到ASP.NET Core 2.0版本,而Lucene使用的版本是3 ...

  9. Lucene 01 - 初步认识全文检索和Lucene

    目录 1 搜索简介 1.1 搜索实现方案 1.2 数据查询方法 1.2.1 顺序扫描法 1.2.2 倒排索引法(反向索引) 1.3 搜索技术应用场景 2 Lucene简介 2.1 Lucene是什么 ...

随机推荐

  1. Bugku-CTF之前女友(SKCTF)

    Day35    前女友(SKCTF) http://123.206.31.85:49162/ flag格式:SKCTF{xxxxxxxxxxxxxxxxxx}  

  2. 【visio】数据可视化 - 数据展示

    本章讲解如何将形状数据展示成数据图像,也就是将添加的属性,展示在图形上 1.数据图形控制面板 选中图形>右键>数据>编辑数据图形 2.新建数据图形 数据字段:也就是图形的属性 显示为 ...

  3. 概率dp light1038

    题意:问一个数一步步除以他的除数,最后转移到1,所需要的期望步数. 思路,概率dp问题,从结果逆推,本题是从1开始往后推,怎么个推法呢.参考一下别人的博客: 求操作次数的期望时,先设定第i个因子给期望 ...

  4. maven 配置 阿里云仓库

    随便记录下,以后方便查询 <mirror> <id>nexus-aliyun</id> <mirrorOf>*</mirrorOf> < ...

  5. VMware下Linux虚拟机访问本地Win共享文件夹

    VMware下Linux虚拟机访问本地Win共享文件夹 : 访问共享文件夹的步骤如下: 1.先在本地Win创建一个需要共享到虚拟机中的共享目录,如  F:\share. 2.打开你的VMware,选择 ...

  6. python pip 安装常用库如何使用国内镜像源

    最近通过python安装一些常用库发现下载速度特别慢,而且还会出现无法安装等错误,尝试找了一些国内的镜像源,发现阿里云的速度很快,这里做个记录,并分享给大家. 国内镜像源 阿里云:http://mir ...

  7. robotframe常用的类库、对应的方法和属性

    robotframe常用的类库.对应的方法和属性

  8. oracle 密码过期问题

     密码过期问题: ALTER PROFILE DEFAULT LIMIT PASSWORD_LIFE_TIME UNLIMITED;

  9. 基于SILVACO ATLAS的a-IGZO薄膜晶体管二维器件仿真(03)

    今天逛ResearchGate的时候发现了一个不错的Atlas入门教程:Step by step with ATLAS Silvaco点击链接免费下载.. Atlas代码结构 当然可能有一点太基础了. ...

  10. HDU 1241 Oil Deposits(经典DFS)

    嗯... 题目链接:http://acm.hdu.edu.cn/showproblem.php?pid=1241 很经典的一道dfs,但是注意每次查到一个@之后,都要把它变成“ * ”,然后继续dfs ...