【转载】solr初体验
【1】http://cxshun.iteye.com/blog/1039445
由于工作原因,这段时间接触到solr,一个基于lucene的企业级搜索引擎。不怎么了解它的童鞋可以去GOOGLE一下。
下面开始正题:
1)要开始solr的学习,首先当然是要下载它啦(这是一句废话),可以到http://www.apache.org/dyn/closer.cgi/lucene/solr/这里去下载,最新的是1.4.1。下完后当然要解压啦(这也是废话)。我们看到它的结构是这样的。
相信搞JAVA的同志们应该都大概了解对应的文件夹的意思啦,在dist里面是它的一些JAR包,当中包含了一个war包,这个是我们做例子时用到的项目。直接把它丢到tomcat的webapps里面去。
example目录里面有一些solr的索引数据,它自带了一个jetty方便运行,可以直接运行java -jar start.jar就可以运行jetty,但jetty的默认端口是8983,这个是跟tomcat不同的地方,要注意啦。
2)搞定了这些之后,那么我们应该继续来试运行一下这个东西啦。solr最重要的东西就是solr home,这个东西指定了solr建立的索引文件的存放位置。不知道是什么东西,可以先不用管它,一步步来也许就会明白了。
进到tomcat文件夹conf\Catalina\localhost这个文件夹内,建立一个solr.xml(其实名字是随便的,这里起的名字跟以后访问的项目名字一致,不过为了好找,还是跟部署的项目名一样吧),这里面的内容呢,其实很简单,就和下面类似:
- <Context docBase="D:/server/apache-tomcat-6.0.32/webapps/apache-solr-1.4.1.war" reloadable="true">
- <Environment name="solr/home" type="java.lang.String" value="E:/framework/libPack/apache-solr-1.4.1/example/solr" override="true" />
- </Context>
这个Context相信大家都知道罗,它是指定了war包的位置,当启动tomcat后它会自动被部署到webapps目录下,这也是eclipse所集成tomcat用的部署方式。而reloadable="true"则表明可以重新加载,即当这个部署内容改变时,它会自动进行加载。
下面的solr/home是重点啦,type是固定的,先不管,value指定的就是它用的索引目录。override当然就是覆盖啦,如果存在则覆盖。
这个solr/home其实在solr的下载包中已经带有一个,我们可以找到solr目录下的example/solr这个目录,下面就是我们所说的solr/home,其实当中最重要的还是config目录下的solrconfig.xml,这个是solr的主要配置文件,可以在里面找到<dataDir>${solr.data.dir:./solr/data}</dataDir>这样一句,它指定了索引记录放置的位置,我们启动tomcat后它会在我们当前的目录下生成solr/data文件夹,里面就是索引文件。如果我们从tomcat的bin启动,那么它会在bin目录下生成solr/data文件夹,可以根据自己需要进行修改,只要把./solr/data改成想让它放在目录就可以了。
这样配置完成后,我们启动tomcat之后在浏览器输入http://localhost:8080/solr/admin就可以看到solr的管理界面啦。
这样我们的配置就大功告成了。
曾经看过javaeye上一位朋友问过淘宝上的分面搜索是怎么实现的,当时有一位高人说是用solr,没想到它可以做出这么牛的东西,还有好多要学习呢。
---------------------------------------------------------------------------
【2】http://cxshun.iteye.com/blog/1040656
接着上篇http://cxshun.iteye.com/blog/1039445,我们讲了怎么初始化配置solr,并运行。问题来了,当我们配置完成后,索引当中并没有任何东西,就是说我们查询得到的结果永远是0。
现在这篇文章,我们要讲的就是如果添加数据和删除数据,并体验一下solr的基本请求参数的用法。
1)首先,我们必须知道,solr添加数据类型可以有多种格式,最常用的是XML和JSON,这两种的可读性是最好的。在solr的example/exampledocs文件夹内有自带一些XML格式的文件,便于我们进行添加数据。
首先呢,又是一些废话,当然是启动example自带的jetty啦,还是上次的命令,java -jar start.jar。
接着另外开一下cmd,进入到example/exampledocs文件夹内,运行java -jar post.jar *.xml,这里的*.xml代表文件夹内的所有XML文件,当然你也可以选择其他一个进行添加,执行后我们看到执行结果。
看到最后一句,它表明提交这次索引所有的变化。这个提交的设置我们在后面会看到它的用法。
2)这里我们再进入到solr的管理页面,http://localhost:8983/solr/admin,我们直接搜索solr,看到页面大概如下:
我们进行搜索的结果默认是用XML格式显示,当然我们可以让它用JSON格式来显示,只要加上wt=json即可,加上后我们看到的结果为:
可以看到正确的结果。
http://localhost:8983/solr/select/?q=solr&version=2.2&start=0&rows=10&indent=on&wt=json下面我们分析一下这个链接中参数的意义,q当然是搜索的内容啦,version暂时可以不管,用处不在,start和rows与hibernate中的分页参数类似,指开始的记录位置和查询的条数,indent指返回代码的缩进,可以试一下不加这个和加这个的区别,wt则是返回的结果格式。
3)上面是我们用的它自带的XML文件提交的结果,下面我们自己来写一个。为了方便,我们就参照它的救命文件写一个。我们找到schema.xml可以看到:
这个是它允许我们提交的field的名称,我们就参照这些字段写几个试试吧。我把这个文件命名为test.xml
- <add>
- <doc>
- <field name="id">Donnie Yen</field>
- <field name="text">Great</field>
- </doc>
- </add>
接着我们用java -jar post.jar test.xml出现下面的结果:
这表明我们的数据已经提交成功,我们可以搜索一下:
http://localhost:8983/solr/select/?q=text:great&version=2.2&start=0&rows=10&indent=on
这表明我们提交的数据已经成功更新到索引了。
4)说了添加,现在也该来删除一些东西了,我们想删除我们刚才添加的那条记录,我们可以发送命令java -Ddata=args -jar post.jar "<delete><id>Donnie Yen</id></delete>"(这个命令中的-Ddata=args表明数据是中参数中获取),出现
则我们删除成功,不确定?那么我们再去查一下:
没了吧,证明我们删除成功了。
这些东西不难吧。solr用得比较多的东西就是分面浏览,也就是facet navigation。下面我们来学习一下。
5)分面浏览指的是像淘宝的功能一样,我们搜索一种产品,它会在上面再根据类别分出好多小类,直接看图:
我们看到它又分出了好多类,这种效果就叫分面浏览。
solr可以轻松做到分面浏览,比如我们在浏览器输入http://localhost:8983/solr/select/?q=solr&version=2.2&start=0&rows=10&indent=on&facet=true&facet.field=name&facet.query=price:[300%20TO%20400],我们可以看到:
这就是分面浏览的结果,它根据每个值再重新统计,统计出该类别下有多少个值。分面浏览的参数比较多,大家可以上WIKi上面看看http://wiki.apache.org/solr/SimpleFacetParameters。
--------------------------------------------------------------------------------------------------------------
【3】http://cxshun.iteye.com/blog/1041742
前两天,学习了solr的基本用法,接下来我们就开始真正来学习一下solr。学习一下它的文件结构,配置文件等。
以我们现在学习的阶段,最重要的文件夹就是example文件夹,这个里面包含了许多我们要学习的东西。
我们再来看一下该文件夹结构
我们看到这样的文件结构,文件夹的意思大家肯定都看得懂,这里只介绍两个文件夹,multicore和solr。
multicore是多个solr实例时才需要用到,现在我们暂时没用,先不管它。solr是自带的一个solr.home,这个是我们此次介绍的重点。
进入此文件夹,我们可以看到如下的结构:
bin文件夹为我们有额外的处理脚本时,需要放在这里,这里暂时没用到,我们先跳过。
conf是solr的配置文件所在,这里是重点。
data为索引目录。
由于我以为运行过,所以有这个data.bak目录,这具是以前的备份。
我们主要来看一下conf文件夹内的配置文件:
这里带副本的是我的备份文件。最主要的文件是schema.xml和solrconfig.xml,其余的如stopwords.txt为停顿词,当索引和查询时遇到这些词会自动忽略,其他文件,我们暂时不用,先不讲了。
打开solrconfig.xml我们可以看到<dataDir>这个标签,默认情况下是这样的
<dataDir>${solr.data.dir:./solr/data}</dataDir>
它默认在当前目录下的solr目录下创建data目录来存放索引。这就是为什么当我们把solr.home设置成这个时,在tomcat的bin文件夹内启动时会生成solr/data文件夹。因为我们启动tomat时的当前目录为bin。
当然这个不是solr配置错误,对于它自带的jetty服务器来说,它是正确的,因为当前目录,正好是solr的目录。
这个文件我们需要配置的东西不多,先讲到这里,以后用到时再慢慢讲解。
接下来我们看一下重点的schema.xml,这个文件是对我们索引字段的说明,我们可以索引什么field都在这里进行了说明。
我们可以看到里面有一大堆注释,其实看里面的注释,大部分都是可以理解的。这个文件的配置跟我们以后需要进行的中文分词的集成有很大关系,所以这个文件要多看看。
我们看到types标签,而在它里面有一大堆fieldType,里面也有一大堆属性,这里大概介绍一下:
fieldType是定义索引的field类型,它有好几个属性,最主要的是name和class:
name是类型的名称,class是相应的solr中的类。还有两个属性看英文注释可能比较难理解,是sortMissingLast和sortMissingFirst,这两个属性是指当查找出来的内容为空时,它被排在哪里,当sortMissingLast为true时,表示放在最后,sortMissingFirst为true时,表示放在最前。为false时相反。
注意,我们看到后面时发现有fieldType里面有<Analyzer>标签,这个是用于配置分词器的,这个我们以后再说。
接着是<fields>标签和在它里面的<field>,field当然就是我们在索引的内容啦。
它有属性indexed和stored分别对应是否索引和保存,另外还有一个multiValued表示是否允许多值。
这里我们看到features有好几个值,而我们看到配置文件中配置的features也是这样的:
- <field name="features" type="text" indexed="true" stored="true" multiValued="true"/>
它表示我们索引的field有多个值,如果这里没配置,在发送数据的时候会报错。
这里的type是对应我们前面配置的fieldType。
另外有一个<dynamicField>这是一个动态匹配的域,
- <dynamicField name="*_i" type="int" indexed="true" stored="true"/>
我们看到它的name指定了通配符,它指的是可以匹配所有以_i结尾的名称的field,如果我们指定
- <dynamicField name="*"/>
那我们就可以匹配所有的field。
接下来,我们看到:
- <uniqueKey>id</uniqueKey>
- <defaultSearchField>text</defaultSearchField>
- <solrQueryParser defaultOperator="OR"/>
- <copyField source="cat" dest="text"/>
这里应该看英文就可以看明白了,最主要是最下面的copyField,它是指复制field,它会把在source field里的值拷贝到text field里面,这样方便进行索引。注意,这里一般也只有对多值的才会这样做,也即是配置了multiValued为true的field才用copyField.
--------------------------------------------------------------------------------------------------------------
【4】http://cxshun.iteye.com/blog/1043200
前几次我们讲到了solr的基本用法和配置文件,接下来就开始进入我们真正的代码之旅啦。
1)首先以一个简单的程序来开头:
- public static void main(String[] args) throws SolrServerException, IOException, ParserConfigurationException, SAXException{
- //设置solr.home,注意这时通过环境变量是solr.solr.home
- System.setProperty("solr.solr.home","E:\\solr");
- //初始化容器,让它加载solr.home的配置文件
- CoreContainer.Initializer initializer = new CoreContainer.Initializer();
- CoreContainer coreContainer = initializer.initialize();
- EmbeddedSolrServer solrServer = new EmbeddedSolrServer(coreContainer,"");
- //构造参数列表
- SolrQuery solrQuery = new SolrQuery();
- Map<String,String> map = new HashMap<String,String>();
- map.put(FacetParams.FACET_DATE, "manufacturedate_dt");
- map.put(FacetParams.FACET_DATE_START,"2004-01-01T00:00:00Z");
- map.put(FacetParams.FACET_DATE_END,"2010-01-01T00:00:00Z");
- map.put(FacetParams.FACET_DATE_GAP,"+1YEAR");
- map.put("indent","on");
- map.put("wt","xml");
- map.put("hl.fl","name");
- SolrParams params = new MapSolrParams(map);
- solrQuery.add(params);
- solrQuery.setFacet(true);
- solrQuery.setFields("name,price,score");
- solrQuery.setQuery("solr");
- solrQuery.setSortField("price",SolrQuery.ORDER.asc);
- solrQuery.setHighlight(true);
- System.out.println(solrQuery.toString());
- QueryResponse queryResponse = solrServer.query(solrQuery);
- System.out.println(queryResponse.toString());
- System.out.println("共找到:"+queryResponse.getResults().getNumFound()+"个结果");
- //解析返回的参数
- SolrDocumentList sdl = (SolrDocumentList)queryResponse.getResponse().get("response");
- for (int i = 0; i< sdl.size(); i++){
- Object obj = sdl.get(i).get("manufacturedate_dt");
- String date = "";
- if (obj!= null){
- date = new SimpleDateFormat("yyyy-MM-dd").format((Date)obj);
- }
- System.out.println(((SolrDocument)sdl.get(i)).get("name")+":"+date+":"+(sdl.get(i).get("price")));
- }
- }
这时我们所用到的是EmbeddedSolrServer,它是用于嵌入式地solr服务,这里我们不需要向外提供服务,所以我们就用到这个。另外有一个
CommonsHttpSolrServer这个类是用于发送指令的服务,例如我们需要发送HTTP命令来查询,就可以用这个。
下面我们分析一下代码,首先,我们设置了一个环境变量的名称为solr.solr.home,是这个,你没看错,确实是要这样。接下来我们初始化容器,让它加载solr.home的配置文件等。接下来的一系统代码就是构造参数列表。
我们构造完成后的参数列表是这样的:facet.date.start=2004-01-01T00%3A00%3A00Z&indent=on&facet.date=manufacturedate_dt&hl.fl=name&facet.date.gap=%2B1YEAR&wt=xml&facet.date.end=2010-01-01T00%3A00%3A00Z&facet=true&fl=name%2Cprice%2Cscore&q=solr&sort=price+asc&hl=true
跟我们直接在浏览器输入的不太一样,因为它是进行过编码的。构造完成后我们就可以用solrServer进行查询了。
查询得到的结果是JSON格式的,注意,通过程序来查询得到的都是JSON格式,而不是XML格式,不过这样更好,方便我们进行接下来的解析。
接下来的代码就是解析内容啦,应该很容易看懂的。
2)接下来的我们就尝试自己写一个程序来进行索引,而不用post.jar。
程序代码如下:
- public static void main(String[] args) throws IOException, ParserConfigurationException, SAXException{
- System.setProperty("solr.solr.home","e:\\solrIndex");
- //这下面三行代码主要是用于加载配置文件
- SolrConfig solrConfig = new SolrConfig("E:\\solrIndex\\conf\\solrconfig.xml");
- FileInputStream fis = new FileInputStream("E:\\solrIndex\\conf\\schema.xml");
- IndexSchema indexSchema = new IndexSchema(solrConfig,"solrconfig",fis);
- SolrIndexWriter siw = new SolrIndexWriter("solrIndex","E:\\solrIndex",new StandardDirectoryFactory()
- ,true,indexSchema);
- Document document = new Document();
- document.add(new Field("text","测试一下而已",Field.Store.YES,Field.Index.ANALYZED,Field.TermVector.WITH_POSITIONS_OFFSETS));
- document.add(new Field("test_t","再测试一下而已",Field.Store.YES,Field.Index.ANALYZED,Field.TermVector.WITH_POSITIONS_OFFSETS));
- siw.addDocument(document);
- siw.commit();
- siw.close();
- SolrCore solrCore = new SolrCore("E:\\solrIndex",indexSchema);
- SolrIndexSearcher sis = new SolrIndexSearcher(solrCore,indexSchema,"solrIndex",
- new StandardDirectoryFactory().open("E:\\solrIndex"),true);
- TopDocs docs = sis.search(new TermQuery(new Term("test_t","再")),1);
- System.out.println("找到"+docs.totalHits+"个结果 ");
- for (int i = 0; i < docs.scoreDocs.length; i++) {
- System.out.println(sis.doc(docs.scoreDocs[i].doc).get("test_t"));
- }
- }
代码不难理解,所以就没写注释了。主要是那段加载配置文件的代码。接下来是添加索引,然后是查询索引,删除的比较简单,直接一句代码
- solrServer.solrServer.deleteById("SOLR1000");
或者
- solrServer.deleteByQuery()
都比较简单。
3)接下来我们讲一下,很可能会在项目中用到的,就是中文分词,中文分词有蛮多的,有IK,Paoding,mmseg4j,还有另外一些中科院什么地方的。但个人建议用IK或者mmseg4j,这两个有solr都有比较直接的支持,paoding也可以,但可能需要自己写类继承BaseTokenizerFactory然后再进行配置,不难。
上面的例子就是用到中文分词了,如果你发现找不到结果,那很正常,因为还没添加中文分词,你可以把中文改成英文,再查一下,就可以查出来了。
需要添加中文分词,我们要在schema.xml中做文章。找到types标签,在里面找到你想要进行中文分词的类型,比如text类型,我们想要让它的内容用中文分词来进行分析,可以进行配置:
- <analyzer type="index">
- <tokenizer class="org.wltea.analyzer.solr.IKTokenizerFactory"/>
- <filter class="solr.StopFilterFactory"
- ignoreCase="true"
- words="stopwords.txt"
- enablePositionIncrements="true"
- />
- <filter class="solr.WordDelimiterFilterFactory" generateWordParts="1" generateNumberParts="1" catenateWords="1" catenateNumbers="1" catenateAll="0" splitOnCaseChange="1"/>
- <filter class="solr.LowerCaseFilterFactory"/>
- <filter class="solr.SnowballPorterFilterFactory" language="English" protected="protwords.txt"/>
- </analyzer>
- <analyzer type="query">
- <tokenizer class="org.wltea.analyzer.solr.IKTokenizerFactory"/>
- <filter class="solr.SynonymFilterFactory" synonyms="synonyms.txt" ignoreCase="true" expand="true"/>
- <filter class="solr.StopFilterFactory"
- ignoreCase="true"
- words="stopwords.txt"
- enablePositionIncrements="true"
- />
- <filter class="solr.WordDelimiterFilterFactory" generateWordParts="1" generateNumberParts="1" catenateWords="0" catenateNumbers="0" catenateAll="0" splitOnCaseChange="1"/>
- <filter class="solr.LowerCaseFilterFactory"/>
- <filter class="solr.SnowballPorterFilterFactory" language="English" protected="protwords.txt"/>
- </analyzer>
你可以先不理解filter的那些东西,但你一定要理解tokenizer这些地方的配置,它配置了你想要应用的分词器,它必须继承于BaseTokenizerFactory。我们看到analyzer有一个type属性,它表示你要在哪个阶段运用此分词器,如果索引和查询都要用,我们可以不写type,这样solr就会在索引和查询时都使用此分词器,这样配置完成后就可以进行中文分词的测试啦。我们重新把上面的例子添加中文进行索引,然后查询出来,看有没有问题。我的运行结果如下:
我们找到了结果,证明我们的中文分词已经没问题了。
【转载】solr初体验的更多相关文章
- 【腾讯Bugly干货分享】基于 Webpack & Vue & Vue-Router 的 SPA 初体验
本文来自于腾讯bugly开发者社区,非经作者同意,请勿转载,原文地址:http://dev.qq.com/topic/57d13a57132ff21c38110186 导语 最近这几年的前端圈子,由于 ...
- 【Knockout.js 学习体验之旅】(1)ko初体验
前言 什么,你现在还在看knockout.js?这货都已经落后主流一千年了!赶紧去学Angular.React啊,再不赶紧的话,他们也要变out了哦.身旁的90后小伙伴,嘴里还塞着山东的狗不理大蒜包, ...
- 在同一个硬盘上安装多个 Linux 发行版及 Fedora 21 、Fedora 22 初体验
在同一个硬盘上安装多个 Linux 发行版 以前对多个 Linux 发行版的折腾主要是在虚拟机上完成.我的桌面电脑性能比较强大,玩玩虚拟机没啥问题,但是笔记本电脑就不行了.要在我的笔记本电脑上折腾多个 ...
- 【尝新】微信小程序初体验
文档地址:https://mp.weixin.qq.com/debug/wxadoc/dev/?t=1474644089434 根据文档地址中下载微信开发工具后,按照文档指引可以创建一个快速体验的小d ...
- Java8初体验(一)lambda表达式语法
感谢同事[天锦]的投稿.投稿请联系 tengfei@ifeve.com 本文主要记录自己学习Java8的历程,方便大家一起探讨和自己的备忘.因为本人也是刚刚开始学习Java8,所以文中肯定有错误和理解 ...
- Java8初体验(二)Stream语法详解
感谢同事[天锦]的投稿.投稿请联系 tengfei@ifeve.com 上篇文章Java8初体验(一)lambda表达式语法比 较详细的介绍了lambda表达式的方方面面,细心的读者会发现那篇文章的例 ...
- iOS7初体验(3)——图像资源Images Assets
开始之前,首先回顾一下iOS7初体验(1)——第一个应用程序HelloWorld中的一张图,如下所示: 本文便分享一下Images.xcassets的体验~_~ 1. 打开此前使用过的HelloWor ...
- node.js 初体验
node.js 初体验 2011-10-31 22:56 by 聂微东, 174545 阅读, 118 评论, 收藏, 编辑 PS: ~ 此篇文章的进阶内容在为<Nodejs初阶之express ...
- iOS7初体验(1)——第一个应用程序HelloWorld
iOS7 Beta已经发布了,迫不及待地下载了iOS 7及Xcode 5并体验了一下.先做一个简单的Hello World看看都有哪些变化吧. 1. 启动Xcode5-DP: 2. 从菜单选择File ...
随机推荐
- paip.字符串操作uapi java php python总结..
paip.字符串操作uapi java php python总结.. java and php 相互转换.. import strUtil>>> requiry(strUtil.p ...
- NodeJS-图片上传(Express)
文件上传是每个网站不可避免的,最近需要做些上传图片的功能,主要解决两个问题,一个是文件上传样式和服务端路径保存,功能很简单,做起来倒是没那么简单,先从最简单的页面的上传页面的样式开始. 页面样式 Ht ...
- Leetcode 118 Pascal's Triangle 数论递推
杨辉三角,即组合数 递推 class Solution { vector<vector<int>> v; public: Solution() { ; i < ; ++i ...
- Android MultiDex兼容包怎么使用?
在Android系统中安装应用的时候,需要对Dex进行优化,但由于其处理工具DexOpt的限制,导致其id的数目不能够超过65536个.而MultiDex兼容包的出现,就很好的解决了这个问题,它可以配 ...
- iOS开发Swift篇(02) NSThread线程相关简单说明
iOS开发Swift篇(02) NSThread线程相关简单说明 一 说明 1)关于多线程部分的理论知识和OC实现,在之前的博文中已经写明,所以这里不再说明. 2)该文仅仅简单讲解NSThread在s ...
- iPhone屏幕尺寸、分辨率及适配
转:http://blog.csdn.net/phunxm/article/details/42174937 目录(?)[+] 1.iPhone尺寸规格 设备 iPhone 宽 Width 高 H ...
- Language
TODO Java(jdk8),Scala,Spring,Spark,Python,Linux,C,Netty,HttpClient,Hadoop YARN,RaspberryPi Jetty,Tom ...
- GO語言視頻教程
第1课:https://github.com/Unknwon/go-fundamental-programming/blob/master/lectures/lecture1.md Go开发环境搭建h ...
- RFID 读写器 Reader Writer Cloner
RFID读写器的工作原理 RFID的数据采集以读写器为主导,RFID读写器是一种通过无线通信,实现对标签识别和内存数据的读出和写入操作的装置. 读写器又称为阅读器或读头(Reader).查询器(Int ...
- 从零开始--系统深入学习IOS(使用Swift---带链接)
这是一篇面向IOS新手的文档.同时提供一些系统知识的链接,让你系统学习IOS.它提供一些信息帮助你采用技术和编程接口来开发苹果软件产品,本人不保证会在将来更新.学习它,需要你掌握一些基本的编程知识 1 ...