一)分词 1)正向/逆向最大匹配算法 典型:IKAnalyzer采用的是正向迭代最细粒度切分算法 IKAnalyzer源码简单分析: http://www.cnblogs.com/huangfox/p/3282003.html 2)字典树(trieTree) trieTree实现 http://www.cnblogs.com/huangfox/archive/2012/04/27/2474185.html 中文分词遇到的问题: a)标准trieTree节点采用数组存储指针,如果是英文a-z用26

package com.mylucene; import java.io.File; import java.io.FileReader; import java.io.IOException; import java.io.Reader; import java.nio.CharBuffer; import java.util.ArrayList; import java.util.List; import org.apache.lucene.LucenePackage; import org

Lucene做站内搜索的时候经常会遇到实时搜索的应用场景,比如用户搜索的功能.实现实时搜索,最普通的做法是,添加新的document之后,调用 IndexWriter 的 Commit 方法把内存中的索引提交到硬盘:然后重新打开IndexReader,进行搜索.但是索引一般存储在硬盘上,而且当索引文件比较大的时候,Commit操作和重新打开IndexReader效率比较低. 于是就想,可否一份索引的IndexWriter始终打开,当需要添加或删除Document时,直接调用该IndexWrite

了解lucene的基本概念 这一部分可以参考我以前写的博客: http://www.cnblogs.com/skyme/tag/lucene/ lucene是什么 下图是一个很好的说明: 1.lucene是构建索引.查询.高亮.拼写检查的类库. 2.它不是一个爬虫. 3.不提供分布式的索引. lucene全文搜索处理流程 lucene的索引和查询 这是用4.6版本构建的lucene构建索引和查询的示例: public static void main(String[] args) throws

最近项目需要全文检索,所以找了几个开源的.NET检索项目,如:Lucene.net,Sphinx,Hubble.net.最后选择使用Lucene.ne来实现全文检索.至于原因嘛,可以参考下面几点: 1)     Sphinx性能非常好,而且和Mysql结合的也非常好,但是,我们目前使用的是SqlServer,这个优势我们也就用不着了,关键问题在于,Sphinx需要把整个索引吃到内存中,当索引比较大时,内存会不够,关键是这个问题没有找到合适的解决方案,最后只能舍弃. 2)     Hubble.n

马云说:大家还没搞清PC时代的时候,移动互联网来了,还没搞清移动互联网的时候,大数据时代来了. 然而,我看到的是:在PC时代搞PC的,移动互联网时代搞移动互联网的,大数据时代搞大数据的,都是同一伙儿人. 我就是一个做业务方向的,而回忆起真正做技术的时光,也就是大数据时代刚来临的时候做搜索了. 搜索用的是solr框架,solr就是包装了lucene实现了近实时索引.所以源头还是lucene.而且lucene是java写的全文检索库,源码是一定要研究一下的. 刚才提到全文检索,要说它的概念先来谈谈数

lucene是一个开源的全文检索引擎工具包,但它不是一个成型的搜索引擎,它的功能就是负责将文本数据按照某种分词算法进行分词,分词后的结果存储在索引库中,然后根据关键字从索引库检检索. 那么应该如何使用呢? 1. 从官网下载http://lucene.apache.org/并解压缩 2.我们可以从官网给的示例中学习如何使用,并且官网还提供了说明文档,可以随时查阅http://lucene.apache.org/core/4_10_2/core/index.html 下面简要展示如何运行示例: 示例

前言:目前自己在做使用Lucene.net和PanGu分词实现全文检索的工作,不过自己是把别人做好的项目进行迁移.因为项目整体要迁移到ASP.NET Core 2.0版本,而Lucene使用的版本是3.6.0 ,PanGu分词也是对应Lucene3.6.0版本的.不过好在Lucene.net 已经有了Core 2.0版本(4.8.0 bate版),而PanGu分词,目前有人正在做,貌似已经做完,只是还没有测试~,Lucene升级的改变我都会加粗表示. Lucene.net 4.8.0 https

Lucene:全文检索工具:这是一种思想,使用的是C语言写出来的 1.Lucene就是apache下的一个全文检索工具,一堆的jar包,我们可以使用lucene做一个谷歌和百度一样的搜索引擎系统 2.Lucene是由Doug Cutting  2000年开发出的第一个版本,后捐给apache基金会,doug Cutting是Lucene , Hadoop(大数据领域)等项目的发起人 3.常用的搜索:solr,ES 常见的应用场景: 百度,谷歌,必应 站内的搜索:京东,淘宝,站内贴吧 为什么学习L

Lucene是一种功能强大且被广泛使用的搜索引擎,以下列出了8种基于Lucene的搜索引擎,你可以想象它们有多么强大. 1. Apache Solr Solr 是一个高性能,采用Java5开发,基于Lucene的全文搜索服务器.文档通过Http利用XML加到一个搜索集合中.查询该集合也是通过 http收到一个XML/JSON响应来实现.它的主要特性包括:高效.灵活的缓存功能,垂直搜索功能,高亮显示搜索结果,通过索引复制来提高可用性,提 供一套强大Data Schema来定义字段,类型和设置文本分

从零开始,跟我一起做jblog项目(一)引言 想做一个java版的blog,源自一个很久之前的想法 当时刚学习JAVA的web编程 想买自己的域名,自己的VPS,安装自己的WEB服务 用google analysis分析blog的流量(貌似现在国内已经用不了了,用CNZZ或者百度统计吧) 用SSH框架,用lucene做检索,用freemarker写模板,用ZK做后台 在blog里写代码,写文章,写算法,或者写ACM的解题报告,又或者设计页面布局 JAVA的开源blog不多,大多blog都是php

Lucene是一个优秀的开源搜索库,Solr是在Lucene上封装的完善的搜索引擎.通俗地说,如果Solr是汽车,那么Lucene就是发动机,没有发动机,汽车就没法运转,但对于用户来说只可开车,不能开发动机.Lucene做一些小规模

Lucene的基本概念 Lucene是什么? Lucene是一款高性能.可扩展的信息检索工具库.信息检索是指文档搜索.文档内信息搜索或者文档相关的元数据搜索等操作. 信息检索流程如下: 1. 将即将检索的资源集合放到本地,并使用某种特定的结构存储,称为索引,这个索引的集合称为索引库.由于索引库的结构按照专门为快速查询设计的,所以查询的速度非常的快: 2. 搜索操作时都是在本地的索引库中进行查找: 所以对于全文检索功能的开发,要做两方面:索引库管理(维护索引库中的数据).在索引库中进行搜索.而Lu

http://stackoverflow.com/questions/185697/the-most-efficient-way-to-find-top-k-frequent-words-in-a-big-word-sequence http://www.geeksforgeeks.org/find-the-k-most-frequent-words-from-a-file/ http://cs.stackexchange.com/questions/26427/word-frequency-w

ES是在Lucene的基础上实现的 1.Lucene全文检索 lucene是一个全文搜索框架,而不是应用产品.因此它并不像http://www.baidu.com/或goolge Destop 那么拿来就用,它只是提供了一种工具让你能实现这些产品 1.lucene能做什么呢 要回答这个问题,先要了解lucene的本质.实际上lucene的功能很单一,说到底,就是你给它若干个字符串,然后它为你提供一个全文搜索服务,告诉你你要搜索的关键词出现在哪里.知道了这个本质,你就可以发挥想象做任何符合这个条件

Lucene 在了解Lucene之前,我们先了解下全文数据查询. 全文数据查询 我们的数据一般分为两种:结构化数据和非结构化数据 结构化数据:有固定格式或有限长度的数据,如数据库中的数据.元数据 非结构化数据:又叫全文数据,指不定长或无固定格式的数据,如邮件.word文档 数据库适合结构化数据的精确查询,而不适合半结构化.非结构化数据的模糊查询及灵活搜索(特别是数据量大时),无法提供想要的实时性. 全文数据查询 顺序扫描法 所谓顺序扫描,就是要找内容包含一个字符串的文件,就是一个文档一个文档的看

Solr高亮 原理 做搜索时,高亮是很常见的需求,那么Solr肯定也为高亮提供了支持.先解释下Solr高亮的原理,在我们设置了需要高亮显示的Field之后,查询得到的返回结果会多出来下面的内容: "highlighting": { "519": { "Artist_Name": [ "<em>周杰伦</em>" ] } } 其实就是多了highlighting的字段,并没有改变原来返回的字段内容. Js

Solr高亮与Field权重   Solr高亮 原理 做搜索时,高亮是很常见的需求,那么Solr肯定也为高亮提供了支持.先解释下Solr高亮的原理,在我们设置了需要高亮显示的Field之后,查询得到的返回结果会多出来下面的内容: "highlighting": { "519": { "Artist_Name": [ "<em>周杰伦</em>" ] } } 其实就是多了highlighting的字段,并

1:solr简介 solr是一个开源的搜索引擎,是对lucene做了封装,对外提供类似于webservice接口, 可以使用http请求的方式对solr进行操作. lucene.solr.elasticsearch是java领域比较常用的搜索工具. lucene比较底层. solr对lucene做了封装,可以简单的实现一个站内搜索功能,solr4.0之后 出现了solrcloud,也支持分布式存储和搜索. elasticsearch对lucene做了封装,并且elasticsearch是天生支持

块,每块个点,(12*64=768采样)即AEC-PC仅能处理48ms的单声道16kHz延迟的数据,而 - 加载编译好的NS模块动态库 接下来只需要按照 此文 的描述在 android 的JAVA代码中使用刚才编译好的 webrtc_ns.so 动态库便大功告成. Step 5 - 几大模块的使用及注意事项 前四步已经完成了几大音频处理模块在android上的单独编译过程,并分别生成了 webrtc_ns.so.webrtc_vad.so.webrtc_aecm.so 以及 webrtc_agc

ElasticSearch 2 (9) - 在ElasticSearch之下(图解搜索的故事) 摘要 先自上而下,后自底向上的介绍ElasticSearch的底层工作原理,试图回答以下问题: 为什么我的搜索 *foo-bar* 无法匹配 foo-bar ? 为什么增加更多的文件会压缩索引(Index)? 为什么ElasticSearch占用很多内存? 版本 elasticsearch版本: elasticsearch-2.2.0 内容 图解ElasticSearch 云上的集群 集群里的盒子 云