长期以来,我们一直有一个深分页问题.如果直接跳到很靠后的页数,查询速度会比较慢.这是因为Solr的需要为查询从开始遍历所有数据.直到Solr的4.7这个问题一直没有一个很好的解决方案.与最近发布的Solr的版本中,Solr使用了所谓的游标大幅度提高深翻页的性能. 问题 深分页的问题是很清楚.Solr必须为返回的搜索结果准备一个列表,并返回它的一部分.如果该部分来源于该列表的前面并不难.但如果我们想返回第10000页(每页20条记录)的数据,Solr需要准备一个包含大小为200000(10000

代码如下: import java.io.IOException; import java.util.*; import org.apache.solr.client.solrj.SolrClient; import org.apache.solr.client.solrj.SolrQuery; import org.apache.solr.client.solrj.SolrRequest; import org.apache.solr.client.solrj.SolrServerExcept

具体代码如下: import java.io.IOException; import java.util.*; import org.apache.solr.client.solrj.SolrClient; import org.apache.solr.client.solrj.SolrQuery; import org.apache.solr.client.solrj.SolrRequest; import org.apache.solr.client.solrj.SolrServerExce

package YouBiao; import java.sql.Connection; import java.sql.PreparedStatement; import java.sql.ResultSet; public class YouBiaoTest { /** * 一次只从数据库中查询最大maxCount条记录 * @param sql 传入的sql语句 * @param startNo 从哪一条记录开始 * @param maxCount 总共取多少条记录 */ public v

背景 实现网站自带的搜索功能,如淘宝中的商品搜索 全文搜索 数据分类 结构化数据:固定格式或长度有限的数据,如数据库.元数据等 非结构化数据:不定长或无固定格式的数据,如邮件.word文档等 搜索分类 结构化数据搜索:关系型数据库 非结构化数据搜索:顺序扫描(低效)/全文搜索 索引 从非结构化数据中提取出的然后重新组织的信息 非结构化数据->有一定结构的数据 对组织后的数据进行搜索 倒排索引 存储在全文搜索下某个单词在一个或一组文档中的存储位置的映射 文档检索系统中最常用的数据结构 场景 搜索的

http://docs.spring.io/spring-data/solr/ 首先介绍一下solr: Apache Solr (读音: SOLer) 是一个开源.高性能.采用Java开发.基于Lucene的全文搜索服务器,文档通过Http利用XML加到一个搜索集合中,查询该集合也是通过 http收到一个XML/JSON响应来实现.Solr 中存储的资源是以 Document 为对象进行存储的.每个文档由一系列的 Field 构成,每个 Field 表示资源的一个属性.Solr 中的每个 Doc

本文已挪至  http://www.zhoujingen.cn/blog/8535.html 明年工作主要和搜索有关,在自己学习过程中分享让更多人受益是我一贯的做法,所以我会把对Solr的学习在这里与大家分享一下,如果你也对搜索也感兴趣,也是新手,那么就和我从头开始吧. 今天我们要讲的是快速开始Solr,我们先在Window环境玩玩,做好准备了吗,我们就要开始了. Solr简介 Solr是一种开放源码的.是一个高性能,采用Java5开发,基于Lucene的全文搜索服务器.同时对其进行了扩展,提供

官网上一般只提供最新版本的下载,下面两个链接为所有历史版本的下载地址: lucene地址:archive.apache.org/dist/lucene/java/ solr地址:archive.apache.org/dist/lucene/solr/ 在Solr1.4.x的时候,Solr和Lucene是独立发布的,Solr一般会在Lucene发布新版本后跟进发布一个新的版本. 到了3.1的时候,两者代码做了合并,版本号统一了,并同时发布.

Solr In Action 笔记(2) 之评分机制(相似性计算) 1 简述 我们对搜索引擎进行查询时候,很少会有人进行翻页操作.这就要求我们对索引的内容提取具有高度的匹配性,这就搜索引擎文档的相似性计算,如何准确的选出最符合查询条件的文档. <这就是搜索引擎>里面对相似性计算进行了简单的介绍. 内容的相似性计算由搜索引擎的检索模型建模,它是搜索引擎的理论基础,为量化相关性提供了一种数学模型,否则没法计算.当然检索模型理论研究存在理想化的隐含假设,即假设用户需求已经通过查询非常清晰明确地表达出

Solr4.8.0源码分析(4)之Eclipse Solr调试环境搭建 由于公司里的Solr调试都是用远程jpda进行的,但是家里只有一台电脑所以不能jpda进行调试,这是因为jpda的端口冲突.所以只能在Eclipse 搭建Solr的环境,折腾了一小时终于完成了. 1. JDPA远程调试 搭建换完成Solr环境后,对${TOMCAT_HOME}/bin/startup.sh 最后一行进行修改,如下所示: set JPDA_ADDRESS= exec "$PRGDIR"/"$

上文写到Solr的启动过程是在SolrDispatchFilter的init()里实现,当Tomcat启动时候会自动调用init(); Solr的启动主要在 this.cores = createCoreContainer();语句中实现. /** *初始化,当tomcat启动时候开始初始化,其中主要调用createCoreContainer来实现Solr的初始化 */ public void init(FilterConfig config) throws ServletException {

package com.main.java.solr.statistics; import org.apache.lucene.document.Document; import org.apache.lucene.index.IndexReader; import org.apache.lucene.index.IndexableField; import org.apache.lucene.search.ScoreDoc; import org.slf4j.Logger; import or

学而不思则罔,思而不学则殆,总是看文档不动手效果是不好的.没有实地的从自己的数据库获取数据测试一下始终是空,总结一下自己的操作步骤吧. 第一步准备配置文件 E:\Solr\server\solr\configsets\_default\conf放置一个数据结构文件db-data-config.xml,内容如下 <dataConfig> <dataSource driver="com.microsoft.sqlserver.jdbc.SQLServerDriver" u

前言 随着用户的增多,空间和并发量越来越多,会导致一台solr服务器干不过了.这时候,就需要将solr集群以下. 集群架构 由多台服务器共同完成索引和搜索任务 实现的思路是将索引数据进行shard(分片) 拆分,每个分片由多台的服务器共同完成. 当一个索引或搜索请求过来时会分别从不同的shard的服务器中操作索引. solrCloud需要 solr基于zookeeper部署,zookeeper是一个集群管理软件,solrCloud需要由多台服务器组成.由zookeeper来进行协调管理 ,多个分

1. 使用solr的页面功能时,遇到语法错误 2. 确认原因 从lexical error分析时特殊字符的问题. 首先 solr查询有哪些特殊字符? 查找官方文档:http://lucene.apache.org/core/7_6_0/queryparser/org/apache/lucene/queryparser/classic/package-summary.html#package.description Lucene supports escaping special characte

以下来自solr in action. 包含: 词项频次.查询词项出现在当前查询文档中的次数. 反向文档频次.查询词项出现在所有文档总的次数. 此项权重. 标准化因子: 字段规范: 文档权重. 字段权重. 长度归一化.消除长文档的优势.因为长文档的词项频次一般会比较大. 协调因子.避免一个文档中出现某一个词项的次数太多导致总分值太大.目的是让结果中包含更多的是出现所有词项的文档. 具体说明见下文. 以下转载自网络.原文地址: http://tec.5lulu.com/detail/110d8n2

原文地址:http://h3x.no/2011/05/10/guide-solr-performance-tuning Introduction I have for the last year been working a lot with the Solr search engine, and figuring out how to get the best performance from a Solr instance.  And it is almost funny how much

Solr 文章集成 solr原理 solr wiki: http://wiki.apache.org/solr/ 分布式全文检索系统SolrCloud简单介绍 http://my.oschina.net/004/blog/175768 collection,shard.core,leader,replica solr组件图.http://www.solr.cc/blog/? attachment_id=106 索引组件,检索组件:solrconfig配置 流水线各组件,schema.xml配置

1.为什么要配置? 1.我们知道要使用Solr进行搜索,肯定要对词语进行分词,但是由于Solr的analysis包并没有带支持中文的包或者对中文的分词效果不好,需要自己添加中文分词器:目前呼声较高的是IKAnalyzer中文分词器,其他的还没有对比过,等以后有空了再说. 2.如何配置 1).下载IK Analyzer 2012FF_hf1.zip压缩包.下载网址:http://code.google.com/p/ik-analyzer/downloads/list 2).解压压缩包,把IKAna

Solr的主要功能是全文检索,该功能分为两个过程:创建索引和对索引进行搜索 一.心得体会 第一次写技术博客,这次写的基本上都是从网络上整理的来的,外加自己的一些实践,以后争取全部原创哈,都说写技术博客,不仅可以巩固知识理清思路,还可以促进学习.记录收获.反映成长.结交朋友.共享知识.交流看法.练习文笔.锻炼毅力.满足虚荣心.包装自己……,目前还没体会到,加油,慢慢体会吧.目前开发的项目中有使用到Solr,而且本人觉得Solr挺好用的,速度快,秒杀一切,天下武功,唯快不破嘛! 准备把“Solr的学