使用solrj操作solr索引库,solr是lucene服务器
客户端开发 Solrj
客户端开发 Solrj
Solr是搭建好的lucene服务器 当然不可能完全满足一般的业务需求 可能 要针对各种的架构和业务调整 这里就需要用到Solrj了
Solrj是Solr提供的api库 可以进行Solr 的二次开发。
主要实现原理 服务端利用httpClient发送Solr格式的HTTP请求 到Solr服务器 然后服务器根据请求去找索引( 当然你要先针对数据源创建索引)最后返回SolrDocument. 然后你再进一步处理 高亮 排序 等功能。
1. 创建连接
HttpSolrServer solrServer = SolrServiceConfiger.getInstance().getServer();
//这里创建的一个HTTP请求 用的4.1的JAR Solr3.6之前用的CommonHttpSolrServer.新版改成这个类了 创建一个单例服务。
2. 创建索引
/***
* 创建Solr索引 通过指定的实体
*/
public void create(T t) {
SolrEntityBinder binder = new SolrEntityBinder();//这里这个类是源码DocumentObjectBinder处理类 这里为了实体转换改写了里面一些判断后面会讲到 剩下没改过
SolrInputDocument doc = binder.toSolrInputDocument(t); //把你的实体对象转换成Solr输入文档对象
try {
solrServer.add(doc);//添加文档
solrServer.commit();//提交请求
} catch (SolrServerException e) {
e.printStackTrace();
} catch (IOException e) {
e.printStackTrace();
}
}
3 .删除索引
/**
* 删除指定ID的索引
*/
public void delete(PK id) {
try {
solrServer.deleteById((String)id );//直接根据ID删除 solrServer.deleteByQuery("*:*");删除所有
solrServer.commit();
} catch (SolrServerException e) {
e.printStackTrace();
} catch (IOException e) {
e.printStackTrace();
}
}
4.修改索引
直接先删除后创建
5.查询索引
public Page<Demo> luceneSearch(String content,Page<Demo> page) {
String id = null;
try {
HttpSolrServer server = SolrServiceConfiger.getInstance().getServer();// 创建服务 */
SolrQuery sQuery = new SolrQuery(); // 创建solr查询对象
String para="";
if(StringUtils.isNotEmpty(content)){ // 拼接solr查询条件
para ="company:"+content;
}
if(!StringUtils.isNotEmpty(para)){
para="*:*";
}
sQuery.setQuery(para)
.setStart((page.getPageNo()-1)*page.getPageSize())
.setRows(page.getPageSize());
//设置高亮
sQuery.setHighlight(true); // 开启高亮组件
sQuery.addHighlightField("company");// 高亮字段
sQuery.setHighlightSimplePre("<font color='red'>");//标记,高亮关键字前缀
sQuery.setHighlightSimplePost("</font>");//后缀
sQuery.setHighlightSnippets(2);//结果分片数,默认为1
sQuery.setHighlightFragsize(1000);//每个分片的最大长度,默认为100
sQuery.setFacet(true).setFacetMinCount(1)
.setFacetLimit(5)//段
.addFacetField("company");//分片字段
//返回结果
QueryResponse response = server.query(sQuery);
//得到文档列表
SolrDocumentList list = response.getResults();
//得到总数 设置
Integer counts=(int) list.getNumFound();
page.setTotalCount(counts);
//得到高亮数据
Map<String,Map<String,List<String>>> highlightMap=response.getHighlighting(); //得到高亮集合
//创建对象转换对象
DocumentObjectBinder binder = new DocumentObjectBinder();
//转换对象
List<Demo> demoList= binder.getBeans(Demo.class, list);
//设置高亮结果
for(Demo d :demoList){
id = d.getId();
List<String> companyList = highlightMap.get(id).get("company");
if(companyList!=null&&companyList.size()>0){
d.setCompany(companyList.get(0));
}
}
//返回结果
page.setResult(demoList);
} catch (Exception e) {
e.printStackTrace();
}
return page;
}
常见问题
1. org.apache.solr.client.solrj.SolrServerException:
Timeout occured while waiting response from server at: http://localhost/solr请求超时
解决方法:设置setConnectionTimeout和setSoTimeout为1分钟
2. org.apache.solr.common.SolrException: undefined field text
解决方法: 设置solrConfig.xml <str name="df">id</str> 默认是text
3. org.apache.solr.common.SolrException: Invalid Date String时间格式化问题
主要是Solr使用的是标准的格林威治(GMT)时间 这种(yyyy-MM-dd'T'HH:mm:ss.SSS'Z')北京在东八区 默认时间会-8小时
所以为了满足他这个减8 我的做法是在创建索引格式化日期类型的时候 判断下 把它时间+8 。
所以重新创建一个SolrEntityBinder类 此类是完全copy的DocumentObjectBinder. 只修改了一处。
修改了类中toSolrInputDocument方法
//判断是否是日期-------------///
if(field.type==Date.class){
Date d = (Date)field.get(obj);
Calendar cal = Calendar.getInstance();
cal.setTimeInMillis(d.getTime());
cal.add(Calendar.HOUR, 8);
d = cal.getTime();
doc.setField(field.name,d,1.0f);
}else{
doc.setField(field.name, field.get(obj), 1.0f);
}
--------------------------------------------
(solrj)初次使用solr的开发人员总是很郁闷,不知道如何去操作solr索引库,以为只能用《五分钟solr4.5教程(搭建、运行)》中讲到的用xml文件的形式提交数据到索引库,其实没有那么麻烦,solr配套有好多的客户端用于操作索引库,下面我们来讲如何用solrj去操作solr索引库。
一、认识solrj
solrj是solr的java客户端,用于访问solr索引库。它提供了添加、删除、查询、优化等功能。
二、下载
百度、google以下solrj下载,你会发现根本就没有,那么我们该到哪儿下载呢?其实,它是集成到solr压缩包里的,解压文件后,有个目录/dist/solrj-lib,里面就存放了solrj所用到的jar,你把这些jar都添加到你的classpath就ok。
如果你是使用Maven来构建项目,添加以下代码到你的pom.xml配置文件中:
<dependency>
<artifactId>solr-solrj</artifactId>
<groupId>org.apache.solr</groupId>
<version>1.4.0</version>
<type>jar</type>
<scope>compile</scope>
</dependency>
<dependency>
<groupId>org.slf4j</groupId>
<artifactId>slf4j-simple</artifactId>
<version>1.5.6</version>
</dependency>
三、创建SolrServer
1、HttpSolrServer
solrj是采用http请求的方式去访问solr索引库的,首先我们得先创建一个HttpSolrServer,如下:
String url = "http://localhost:8983/solr";//8983是web服务器的端口号,需要根据情况进行调整
SolrServer server = new HttpSolrServer( url );
以上使用默认的方式创建server,你也可以配置其他的连接参数:
String url = "http://localhost:8983/solr" ;
HttpSolrServer server = new HttpSolrServer( url ); server.setMaxRetries(1); // defaults to 0. > 1 not recommended. server.setConnectionTimeout(5000); // 5 seconds to establish TCP
// Setting the XML response parser is only required for cross
// version compatibility and only when one side is 1.4.1 or
// earlier and the other side is 3.1 or later. server.setParser(new XMLResponseParser());
// binary parser is used by default
// The following settings are provided here for completeness.
// They will not normally be required, and should only be used
// after consulting javadocs to know whether they are truly required.
server.setSoTimeout(1000); // socket read timeout
server.setDefaultMaxConnectionsPerHost(100);
server.setMaxTotalConnections(100);
server.setFollowRedirects(false); // defaults to false
// allowCompression defaults to false.
// Server side must support gzip or deflate for this to have any effect.
server.setAllowCompression(true);
2、EmbeddedSolrServer
EmbeddedSolrServer提供了和HttpSolrServer一样的接口,区别是EmbeddedSolrServer没有通过http连接。
//Note that the following property could be set through JVM level arguments too
System.setProperty("solr.solr.home", "d:/solr_home/solr"); //此处配置solr home,根据自己的情况修改
CoreContainer.Initializer initializer = new CoreContainer.Initializer();
CoreContainer coreContainer = initializer.initialize();
EmbeddedSolrServer server = new EmbeddedSolrServer(coreContainer, "");
当然实际中可能不止一个core,那么采用如下方式:
File home = new File( "d:/solr_home/solr" );//此处配置solr home,根据自己的情况修改
File f = new File( home, "solr.xml" ); CoreContainer container = new CoreContainer(); container.load( "d:/solr_home/solr", f ); EmbeddedSolrServer server = new EmbeddedSolrServer( container, "core name as defined in solr.xml" );//双引号配置你的core名字
...
在嵌入式的应用中使用solr,推荐使用EmbeddedSolrServer。
注意:EmbeddedSolrServer使用有个前提条件,需要在solrconfig.xml配置相对应的RequestHandler,如:/update对应更新操作。
四:solrj的使用
创建好server以后,我们就可以开始solrj操作索引库了!!
首先创建一个server,最好的方式是采用单例模式,不要重复去创建。
SolrServer server = new HttpSolrServer("http://HOST:8983/solr/");
1、添加文档到索引库
//创建一个文档
SolrInputDocument doc1 = new SolrInputDocument();
doc1.addField( "id", "id1", 1.0f );
doc1.addField( "name", "doc1", 1.0f );
doc1.addField( "price", 10 );
//再创建一个文档
SolrInputDocument doc2 = new SolrInputDocument();
doc2.addField( "id", "id2", 1.0f );
doc2.addField( "name", "doc2", 1.0f );
doc2.addField( "price", 20 );
//创建一个collection,把以上两个文档添加进去
Collection<SolrInputDocument> docs = new ArrayList<SolrInputDocument>();
docs.add( doc1 );
docs.add( doc2 );
//把文档添加到server中
server.add( docs );
//提交文档
server.commit();//此处只是提交到索引中,不会出现在搜索结果中;如果想立马搜索,请使用commit(boolean waitFlush, boolean waitSearcher)方法
如果你想添加到server后想快速提交(commit),可以采用如下方式:
UpdateRequest req = new UpdateRequest();
req.setAction( UpdateRequest.ACTION.COMMIT, false, false );
req.add( docs );
UpdateResponse rsp = req.process( server );
2、添加pojo到索引库
除了通过文档的形式提交以外,solrj还可以通过pojo的方式提交。使用注解@Field映射到schema.xml中定义的字段中
创建一个javaBean:
import org.apache.solr.client.solrj.beans.Field;
public class Item {
@Field
String id;
@Field("cat")//自定义字段名
String[] categories;
@Field
List<String> features; public void setId(String id) {
this.id = id;
} public void getId() {
return this.id;
} //其他get、set方法 }
创建JavaBean的实例:
Item item = new Item();
item.id = "one";
item.categories = new String[] { "aaa", "bbb", "ccc" };
添加到server中:
server.addBean(item);
提交到索引:
server.commit();
还可以同时添加多个javaBean:
List<Item> beans ;
//add Item objects to the list
server.addBeans(beans);
3、删除索引
server.deleteById(String id);
或者
deleteById(List<String> ids);
4、更新索引
solr索引库不同于数据库,没有更新的功能。如果想更新,先通过id删除对应的文档,再天新的文档。
5、查询索引
SolrQuery query = new SolrQuery();
query.setQuery( "*:*" );
query.addSortField( "price", SolrQuery.ORDER.asc );
QueryResponse rsp = server.query( query );
//文档方式读取
SolrDocumentList docs = rsp.getResults();//实际项目中如果业务比较复杂,采用这种方式显得比较灵活
//使用javaBean的方式读取
List<Item> beans = rsp.getBeans(Item.class);
6、高级使用
SolrServer server = getSolrServer();
SolrQuery solrQuery = new SolrQuery()
. setQuery("ipod")
. setFacet(true)
. setFacetMinCount(1)
. setFacetLimit(8)
. addFacetField("category")
. addFacetField("inStock");
QueryResponse rsp = server.query(solrQuery);
7、高亮显示
SolrQuery query = new SolrQuery(); query.setQuery("foo");
query.setHighlight(true).setHighlightSnippets(1);
//set other params as needed
query.setParam("hl.fl", "content");
QueryResponse queryResponse = getSolrServer().query(query);
处理高亮显示结果:
Iterator<SolrDocument> iter = queryResponse.getResults().iterator();
while (iter.hasNext()) {
SolrDocument resultDoc = iter.next();
String content = (String) resultDoc.getFieldValue("content");
String id = (String) resultDoc.getFieldValue("id"); //id is the uniqueKey field
if (queryResponse.getHighlighting().get(id) != null) {
List<String> highlightSnippets = queryResponse.getHighlighting().get(id).get("content");
}
}
本文出自luoshengsha.com,转载时请注明出处及相应链接。
使用solrj操作solr索引库,solr是lucene服务器的更多相关文章
- 使用solrj操作solr索引库
(solrj)初次使用solr的开发人员总是很郁闷,不知道如何去操作solr索引库,以为只能用<五分钟solr4.5教程(搭建.运行)>中讲到的用xml文件的形式提交数据到索引库,其实没有 ...
- 商城06——solr索引库搭建&solr搜索功能实现&图片显示问题解决
1. 课程计划 1.搜索工程的搭建 2.linux下solr服务的搭建 3.Solrj使用测试 4.把数据库中的数据导入索引库 5.搜索功能的实现 2. 搜索工程搭建 要实现搜索功能,需要搭建 ...
- 如何在分布式环境中同步solr索引库和缓存信息
天气依旧很好,主要是凉快.老习惯,我在北京向各位问好. 搜索无处不在,相信各位每天都免不了与它的亲密接触,那么我想你确实有必要来了解一下它们,就上周在公司实现的一个小需求来给各位分享一下:如何在分布式 ...
- 将数据库的数据导入solr索引库中
在solr与tomcat整合文章中,我用的索引库是mycore,现在就以这个为例. 首先要准备jar包:solr-dataimporthandler-4.8.1.jar.solr-dataimport ...
- solr索引库的创建
solr索引库的创建 一.找到你安装的[solrhome]目录(我的是这个) 二.进入该目录 三.选择其中任意一个索引库复制一份到该目录下并更名为要创建的索引库名称 四.进入[myindex]目录下, ...
- 维护solr索引库
一 2)solrcore 一个solr下可以有多个solrcore,每个solrcore就是一个独立的索引库3)solrconfig.xml lib:配置solr的扩展包的位置,不指定路径 ...
- Solr 14 - SolrJ操作SolrCloud集群 (Solr的Java API)
目录 1 pom.xml文件的配置 2 SolrJ操作SolrCloud 1 pom.xml文件的配置 项目的pom.xml依赖信息请参照: Solr 09 - SolrJ操作Solr单机服务 (So ...
- solr 索引库的维护
一.配置中文分析器:IK-analyzer,在FieldType中指定中文分析器:1 复制IK-analyzer到你的服务器指定目录中.2 在该目录中,我们需要的东西有:IKAnalyzer的jar包 ...
- 数据添加到solr索引库后前台如何搜索
主要结构: 查询 Dao: package com.taotao.search.dao.impl; import java.util.ArrayList; import java.util.List; ...
随机推荐
- MYSQL数据库备份与恢复【转】
mysqldump -h主机名 -P端口 -u用户名 -p密码 (–database) 数据库名 > 文件名.sql 在window上需要通过CMD进入mysql安装目录下的bin目录下执行 ...
- REST内容协商注解
@Produces注解: 用于定义方法的响应实体的数据类型.可以定义一个或多个,同时可以为每种类型定义质量因素,质量因素取值范围从0--1的小数值,默认为1. 示例: @Path("conn ...
- SEVERE: Error listenerStart
转载:http://blog.sina.com.cn/s/blog_43eb83b90102e2k6.html# 今天启动Tomcat启动不了,报以下错:org.apache.catalina.cor ...
- 15 个响应式的 jQuery 图像滑块插件
设计师和开发人员总是试图使用新技术让网站更智能,而我们发现在许多网站上 jQuery 的图像滑块插件是非常受欢迎的.本文继续介绍 15 个 jQuery 图像滑块插件以供您选择. ELASTISLID ...
- 李洪强漫谈iOS开发[C语言-031]-逻辑短路
- BOM的来源是不可能出现的字符,GB2312双字节高位都是1,Unicode理论的根本缺陷导致UTF8的诞生
Unicode字符编码规范 http://www.aoxiang.org 2006-4-2 10:48:02Unicode是一种字符编码规范 . 先从ASCII说起.ASCII是用来表示英文字符的 ...
- HNOI2008 and ZJOI2006 排名系统
1056: [HAOI2008]排名系统 Time Limit: 10 Sec Memory Limit: 162 MBSubmit: 1311 Solved: 337[Submit][Statu ...
- wifi测试相关(iwconfig,WPA Supplicant用法)
iwconfig用法 1.打开无线网卡电源 iwconfig wlan0 txpower no 2.列出区域内的无线网络 iwconfig wlan0 scan 3.假设要连接到网络myhome(即e ...
- 常用SQL语句(增删查改、合并统计、模糊搜索)
转自:http://www.cnblogs.com/ljianhui/archive/2012/08/13/2695906.html 常用SQL语句 首行当然是最基本的增删查改啦,其中最重要的是查. ...
- 获取客户端IP地址 via C#
获取客户端IP地址 via C# 说明:本文中的内容是我综合博客园上的博文和MSDN讨论区的资料,再通过自己的实际测试而得来,属于自己原创的内容说实话很少,写这一篇是为了记录自己在项目中做过的事情,同 ...