Lucene.net入门学习(结合盘古分词)

 

Lucene简介

Lucene是apache软件基金会4 jakarta项目组的一个子项目,是一个开放源代码的全文检索引擎工具包,即它不是一个完整的全文检索引擎,而是一个全文检索引擎的架构,提供了完整的查询引擎和索引引擎,部分文本分析引擎(英文与德文两种西方语言)。Lucene的目的是为软件开发人员提供一个简单易用的工具包,以方便的在目标系统中实现全文检索的功能,或者是以此为基础建立起完整的全文检索引擎。

Lucene.net简介

Lucene.net是Lucene的.net移植版本,是一个开源的全文检索引擎开发包,即它不是一个完整的全文检索引擎,而是一个全文检索引擎的架构,提供了完整的查询引擎和索引引擎。开发人员可以基于Lucene.net实现全文检索的功能。

Lucene.net工作原理

Lucene.net提供的服务需要两部分:索引文件的写入和索引文件的读取。

1写入流程
源数据字符串经过analyzer处理,将源中需要搜索的信息加入Document的各个字段中,并把需要索引的字段起来并存储。
将索引写入存储器,存储器可以是内存或磁盘。

2读出流程
用户提供搜索关键词,经过analyzer处理。(我们下面代码采用的是盘古分词 ,其相关分词原理 可以再它的官网上可以看到 http://pangusegment.codeplex.com/
对处理后的关键词搜索索引找出对应的Document,用户根据需要从找到的Document中提取需要的Field。

Lucene.net安装

大家可以去官网看下:https://www.nuget.org/packages/Lucene.Net/3.0.3

盘古分词安装

盘古分词主页:http://pangusegment.codeplex.com/

下载:http://pangusegment.codeplex.com/downloads/get/144143

Lucene.net结合盘古分词使用

http://pangusegment.codeplex.com/downloads/get/144145

大家可以看到相关使用的案列

Lucene.net创建索引(结合盘古分词)

    /*code 释迦苦僧*/
class Program
{
static void Main(string[] args)
{
Stopwatch sw = new Stopwatch();//加入时间统计
//获取 数据列表
PostBll bll = new PostBll();
IList<PostInfo> posts = bll.GetAllPost();
Console.WriteLine(posts.Count);
//创建Lucene索引文件
string IndexDic = @"D:\Lucene\post\";
sw.Start();
IndexWriter writer = new IndexWriter(FSDirectory.Open(IndexDic), new PanGuAnalyzer(), true, IndexWriter.MaxFieldLength.LIMITED);
foreach (PostInfo item in posts)
{
Document doc = new Document();
Field postid = new Field("PostId", item.PostId.ToString(), Field.Store.YES, Field.Index.ANALYZED, Field.TermVector.NO);
Field title = new Field("Title", item.Title.ToString(), Field.Store.YES, Field.Index.ANALYZED, Field.TermVector.NO);
Field postscore = new Field("PostScore", item.PostScore.ToString(), Field.Store.YES, Field.Index.ANALYZED, Field.TermVector.NO);
doc.Add(postid);
doc.Add(title);
doc.Add(postscore);
writer.AddDocument(doc);
}
writer.Optimize();
writer.Commit();
sw.Stop();
Console.Write("建立" + posts.Count + "索引,花费: " + sw.Elapsed);
Console.ReadLine();
}
}

如代码所示:
D:\Lucene\post\ 存储Lucene.net生成的索引文件,如下图

这些索引存储文件存储了PostInfo表中 PostId,Title,PostScore 三个字段信息。

需要注意的是:使用盘古分词操作时,需要将PanGu.xml和盘古分词自带的分词文件放入项目中,如下图:

Lucene.net执行搜索(结合盘古分词)

namespace LuceneNetStudy.Search
{
/*code 释迦苦僧*/
public partial class MainForm : Form
{
private string IndexDic = @"D:\Lucene\post\"; public MainForm()
{
InitializeComponent();
} private void btnSearch_Click(object sender, EventArgs e)
{
/*开启搜索用的后台线程*/
BackgroundWorker backWorker = new BackgroundWorker();
backWorker.DoWork += new DoWorkEventHandler(backWorker_DoWork);
backWorker.RunWorkerAsync(txtKey.Text.Trim());
} void backWorker_DoWork(object sender, DoWorkEventArgs e)
{
string key = e.Argument as string; List<PostInfo> result = new List<PostInfo>();
/*加入时间统计*/
Stopwatch sw = new Stopwatch();
sw.Start(); /*创建 Lucene.net 搜索实例*/
IndexSearcher search = new IndexSearcher(FSDirectory.Open(IndexDic), true); /*为搜索实例 加入搜索分词规则 来源 盘古分词*/
key = GetKeyWordsSplitBySpace(key, new PanGuTokenizer());
BooleanQuery bq = new BooleanQuery();
if (!string.IsNullOrEmpty(key))
{
/*如果搜索关键字不为空 知道关键字搜索列为Title*/
QueryParser queryParser = new MultiFieldQueryParser(Lucene.Net.Util.Version.LUCENE_30, new string[] { "Title" }, new PanGuAnalyzer());
Query query = queryParser.Parse(key);
bq.Add(query, Occur.MUST);
} /*指定排序方式 按 PostScore 字段来排序*/
List<SortField> sorts = new List<SortField>();
SortField sf = new SortField("PostScore", SortField.DOUBLE, true);
sorts.Add(sf);
Sort sort = new Sort(sorts.ToArray());
TopFieldDocs docs = search.Search(bq, null, search.MaxDoc, sort);
int allCount = docs.TotalHits;
/*获取匹配的前10条*/
ScoreDoc[] hits = TopDocs(0, 10, docs);
foreach (ScoreDoc sd in hits)//遍历搜索到的结果
{
try
{
Document doc = search.Doc(sd.Doc);
var model = new PostInfo();
model.PostId = Guid.Parse(doc.Get("PostId"));
model.PostScore = double.Parse(doc.Get("PostScore"));
model.Title = doc.Get("Title");
result.Add(model);
}
catch
{ }
}
search.Close();
search.Dispose();
sw.Stop();
if (result != null)
{
Invoke(new MethodInvoker(delegate()
{
lblRunTime.Text = "花费: " + sw.Elapsed; txtResult.Text = "";
foreach (PostInfo info in result)//遍历搜索到的结果
{
txtResult.Text += info.PostScore + "\t" + info.Title + "\r\n";
}
}));
}
} public static ScoreDoc[] TopDocs(int start, int limit, TopFieldDocs docs)
{
int endIndex = 0;
int hc = docs.TotalHits;
if (hc - start > limit)
{
endIndex = start + limit;
}
else
{
endIndex = hc;
} List<ScoreDoc> dl = new List<ScoreDoc>();
var da = docs.ScoreDocs;
for (int i = start; i < endIndex; i++)
{
dl.Add(da[i]);
}
return dl.ToArray();
} static public string GetKeyWordsSplitBySpace(string keywords, PanGuTokenizer ktTokenizer)
{
StringBuilder result = new StringBuilder();
/*执行分词操作 一个关键字可以拆分为多个次和单个字*/
ICollection<WordInfo> words = ktTokenizer.SegmentToWordInfos(keywords); foreach (WordInfo word in words)
{
if (word == null)
{
continue;
} result.AppendFormat("{0} ", word.Word);
} return result.ToString().Trim();
}
}
}

这是咱这两天的学习成果,研究还不是很透彻,希望能给大家带来些了解,点个赞吧。

作者:释迦苦僧  出处:http://www.cnblogs.com/woxpp/p/3972233.html  本文版权归作者和博客园共有,欢迎转载,但未经作者同意必须保留此段声明,且在文章页面明显位置给出原文连接。

Lucene.net入门学习的更多相关文章

  1. Lucene.net入门学习系列(2)

    Lucene.net入门学习系列(2) Lucene.net入门学习系列(1)-分词 Lucene.net入门学习系列(2)-创建索引 Lucene.net入门学习系列(3)-全文检索 在使用Luce ...

  2. Lucene.net入门学习系列(1)

    Lucene.net入门学习系列(1)   Lucene.net入门学习系列(1)-分词 Lucene.net入门学习系列(2)-创建索引 Lucene.net入门学习系列(3)-全文检索 这几天在公 ...

  3. Lucene.net入门学习(结合盘古分词)

    Lucene简介 Lucene是apache软件基金会4 jakarta项目组的一个子项目,是一个开放源代码的全文检索引擎工具包,即它不是一个完整的全文检索引擎,而是一个全文检索引擎的架构,提供了完整 ...

  4. Lucene.net入门学习(结合盘古分词)(转载)

    作者:释迦苦僧  出处:http://www.cnblogs.com/woxpp/p/3972233.html  本文版权归作者和博客园共有,欢迎转载,但未经作者同意必须保留此段声明,且在文章页面明显 ...

  5. 【转载】Lucene.Net入门教程及示例

    本人看到这篇非常不错的Lucene.Net入门基础教程,就转载分享一下给大家来学习,希望大家在工作实践中可以用到. 一.简单的例子 //索引Private void Index(){    Index ...

  6. Elasticsearch7.X 入门学习第五课笔记---- - Mapping设定介绍

    原文:Elasticsearch7.X 入门学习第五课笔记---- - Mapping设定介绍 版权声明:本文为博主原创文章,遵循CC 4.0 BY-SA版权协议,转载请附上原文出处链接和本声明. 本 ...

  7. Elasticsearch7.X 入门学习第一课笔记----基本概念

    原文:Elasticsearch7.X 入门学习第一课笔记----基本概念 版权声明:本文为博主原创文章,遵循CC 4.0 BY-SA版权协议,转载请附上原文出处链接和本声明. 本文链接:https: ...

  8. vue入门学习(基础篇)

    vue入门学习总结: vue的一个组件包括三部分:template.style.script. vue的数据在data中定义使用. 数据渲染指令:v-text.v-html.{{}}. 隐藏未编译的标 ...

  9. Hadoop入门学习笔记---part4

    紧接着<Hadoop入门学习笔记---part3>中的继续了解如何用java在程序中操作HDFS. 众所周知,对文件的操作无非是创建,查看,下载,删除.下面我们就开始应用java程序进行操 ...

随机推荐

  1. 每天收获一点点------Hadoop概述

    一.Hadoop来历 Hadoop的思想来源于Google在做搜索引擎的时候出现一个很大的问题就是这么多网页我如何才能以最快的速度来搜索到,由于这个问题Google发明了倒排索引算法,通过加入了Map ...

  2. python 导入库问题

    最终解决如下面:我不知道有没有多余的空间 from django.conf import settings from sys import path path.extend(['/home/zoues ...

  3. 正则获取URL参数

    一 获取指定URL参数 function getUrlParams(name) { var reg = new RegExp("(^|&)" + name + " ...

  4. nginx做反向负载均衡,后端服务器获取真实客户端ip(转)

    首先,在前端nginx上需要做如下配置: location / proxy_set_hearder host                $host; proxy_set_header X-forw ...

  5. ES6 扫盲

    原文地址:ECMAScript 6 扫盲--小胡子 1. let.const 和 block 作用域 let 允许创建块级作用域,ES6 推荐在函数中使用 let 定义变量,而非 var: var a ...

  6. 编译器神vim改头换面

    我相信,农民听到两件神器码,首先emacs,首先vim.大家都知道e党和v党总是吵架.竟,这无助于嘈杂.只是每个人都有自己的道理也适用.在接触vim,同时联系emacs.对于作家,我认为vim更适合. ...

  7. 浅谈javascript中的call()和apply()方法

    话说在js中,每个函数都包含两个非继承而来的放方法,apply()和call(),使得我们能在特定的作用域中调用函数. 官方定义: 语法:       fun.call(thisArg[, arg1[ ...

  8. 关于SelectedItems的问题

    在做俄罗斯方块的时候写了以下一段代码: private void listView1_SelectedIndexChanged(object sender, EventArgs e)        { ...

  9. 我的MYSQL学习心得(九)

    原文:我的MYSQL学习心得(九) 我的MYSQL学习心得(九) 我的MYSQL学习心得(一) 我的MYSQL学习心得(二) 我的MYSQL学习心得(三) 我的MYSQL学习心得(四) 我的MYSQL ...

  10. IOS中 init和initialize

    一.init和initialize 1.方法类型 1> init属于对象方法,-开头 2> initialize属于类方法,+开头 2.调用时刻 1> init:每个对象初始化的时候 ...