【1】http://cxshun.iteye.com/blog/1039445

由于工作原因,这段时间接触到solr,一个基于lucene的企业级搜索引擎。不怎么了解它的童鞋可以去GOOGLE一下。

下面开始正题:

1)要开始solr的学习,首先当然是要下载它啦(这是一句废话),可以到http://www.apache.org/dyn/closer.cgi/lucene/solr/这里去下载,最新的是1.4.1。下完后当然要解压啦(这也是废话)。我们看到它的结构是这样的。

相信搞JAVA的同志们应该都大概了解对应的文件夹的意思啦,在dist里面是它的一些JAR包,当中包含了一个war包,这个是我们做例子时用到的项目。直接把它丢到tomcat的webapps里面去。

example目录里面有一些solr的索引数据,它自带了一个jetty方便运行,可以直接运行java -jar start.jar就可以运行jetty,但jetty的默认端口是8983,这个是跟tomcat不同的地方,要注意啦。

2)搞定了这些之后,那么我们应该继续来试运行一下这个东西啦。solr最重要的东西就是solr home,这个东西指定了solr建立的索引文件的存放位置。不知道是什么东西,可以先不用管它,一步步来也许就会明白了。

进到tomcat文件夹conf\Catalina\localhost这个文件夹内,建立一个solr.xml(其实名字是随便的,这里起的名字跟以后访问的项目名字一致,不过为了好找,还是跟部署的项目名一样吧),这里面的内容呢,其实很简单,就和下面类似:

  1. <Context docBase="D:/server/apache-tomcat-6.0.32/webapps/apache-solr-1.4.1.war" reloadable="true">
  2. <Environment name="solr/home" type="java.lang.String" value="E:/framework/libPack/apache-solr-1.4.1/example/solr" override="true" />
  3. </Context>

这个Context相信大家都知道罗,它是指定了war包的位置,当启动tomcat后它会自动被部署到webapps目录下,这也是eclipse所集成tomcat用的部署方式。而reloadable="true"则表明可以重新加载,即当这个部署内容改变时,它会自动进行加载。

下面的solr/home是重点啦,type是固定的,先不管,value指定的就是它用的索引目录。override当然就是覆盖啦,如果存在则覆盖。

这个solr/home其实在solr的下载包中已经带有一个,我们可以找到solr目录下的example/solr这个目录,下面就是我们所说的solr/home,其实当中最重要的还是config目录下的solrconfig.xml,这个是solr的主要配置文件,可以在里面找到<dataDir>${solr.data.dir:./solr/data}</dataDir>这样一句,它指定了索引记录放置的位置,我们启动tomcat后它会在我们当前的目录下生成solr/data文件夹,里面就是索引文件。如果我们从tomcat的bin启动,那么它会在bin目录下生成solr/data文件夹,可以根据自己需要进行修改,只要把./solr/data改成想让它放在目录就可以了。

这样配置完成后,我们启动tomcat之后在浏览器输入http://localhost:8080/solr/admin就可以看到solr的管理界面啦。


 这样我们的配置就大功告成了。

曾经看过javaeye上一位朋友问过淘宝上的分面搜索是怎么实现的,当时有一位高人说是用solr,没想到它可以做出这么牛的东西,还有好多要学习呢。

---------------------------------------------------------------------------

【2】http://cxshun.iteye.com/blog/1040656

接着上篇http://cxshun.iteye.com/blog/1039445,我们讲了怎么初始化配置solr,并运行。问题来了,当我们配置完成后,索引当中并没有任何东西,就是说我们查询得到的结果永远是0。

现在这篇文章,我们要讲的就是如果添加数据和删除数据,并体验一下solr的基本请求参数的用法。

1)首先,我们必须知道,solr添加数据类型可以有多种格式,最常用的是XML和JSON,这两种的可读性是最好的。在solr的example/exampledocs文件夹内有自带一些XML格式的文件,便于我们进行添加数据。

首先呢,又是一些废话,当然是启动example自带的jetty啦,还是上次的命令,java -jar start.jar。

接着另外开一下cmd,进入到example/exampledocs文件夹内,运行java -jar post.jar *.xml,这里的*.xml代表文件夹内的所有XML文件,当然你也可以选择其他一个进行添加,执行后我们看到执行结果。

看到最后一句,它表明提交这次索引所有的变化。这个提交的设置我们在后面会看到它的用法。

2)这里我们再进入到solr的管理页面,http://localhost:8983/solr/admin,我们直接搜索solr,看到页面大概如下:


 我们进行搜索的结果默认是用XML格式显示,当然我们可以让它用JSON格式来显示,只要加上wt=json即可,加上后我们看到的结果为:


  可以看到正确的结果。

http://localhost:8983/solr/select/?q=solr&version=2.2&start=0&rows=10&indent=on&wt=json下面我们分析一下这个链接中参数的意义,q当然是搜索的内容啦,version暂时可以不管,用处不在,start和rows与hibernate中的分页参数类似,指开始的记录位置和查询的条数,indent指返回代码的缩进,可以试一下不加这个和加这个的区别,wt则是返回的结果格式。

3)上面是我们用的它自带的XML文件提交的结果,下面我们自己来写一个。为了方便,我们就参照它的救命文件写一个。我们找到schema.xml可以看到:


  这个是它允许我们提交的field的名称,我们就参照这些字段写几个试试吧。我把这个文件命名为test.xml

  1. <add>
  2. <doc>
  3. <field name="id">Donnie Yen</field>
  4. <field name="text">Great</field>
  5. </doc>
  6. </add>

接着我们用java -jar post.jar test.xml出现下面的结果:

这表明我们的数据已经提交成功,我们可以搜索一下:

http://localhost:8983/solr/select/?q=text:great&version=2.2&start=0&rows=10&indent=on

这表明我们提交的数据已经成功更新到索引了。

4)说了添加,现在也该来删除一些东西了,我们想删除我们刚才添加的那条记录,我们可以发送命令java -Ddata=args -jar post.jar "<delete><id>Donnie Yen</id></delete>"(这个命令中的-Ddata=args表明数据是中参数中获取),出现

则我们删除成功,不确定?那么我们再去查一下:

没了吧,证明我们删除成功了。

这些东西不难吧。solr用得比较多的东西就是分面浏览,也就是facet navigation。下面我们来学习一下。

5)分面浏览指的是像淘宝的功能一样,我们搜索一种产品,它会在上面再根据类别分出好多小类,直接看图:


  我们看到它又分出了好多类,这种效果就叫分面浏览。

solr可以轻松做到分面浏览,比如我们在浏览器输入http://localhost:8983/solr/select/?q=solr&version=2.2&start=0&rows=10&indent=on&facet=true&facet.field=name&facet.query=price:[300%20TO%20400],我们可以看到:


  这就是分面浏览的结果,它根据每个值再重新统计,统计出该类别下有多少个值。分面浏览的参数比较多,大家可以上WIKi上面看看http://wiki.apache.org/solr/SimpleFacetParameters

--------------------------------------------------------------------------------------------------------------

【3】http://cxshun.iteye.com/blog/1041742

前两天,学习了solr的基本用法,接下来我们就开始真正来学习一下solr。学习一下它的文件结构,配置文件等。

以我们现在学习的阶段,最重要的文件夹就是example文件夹,这个里面包含了许多我们要学习的东西。

我们再来看一下该文件夹结构

我们看到这样的文件结构,文件夹的意思大家肯定都看得懂,这里只介绍两个文件夹,multicore和solr。

multicore是多个solr实例时才需要用到,现在我们暂时没用,先不管它。solr是自带的一个solr.home,这个是我们此次介绍的重点。

进入此文件夹,我们可以看到如下的结构:

bin文件夹为我们有额外的处理脚本时,需要放在这里,这里暂时没用到,我们先跳过。

conf是solr的配置文件所在,这里是重点。

data为索引目录。

由于我以为运行过,所以有这个data.bak目录,这具是以前的备份。

我们主要来看一下conf文件夹内的配置文件:

这里带副本的是我的备份文件。最主要的文件是schema.xml和solrconfig.xml,其余的如stopwords.txt为停顿词,当索引和查询时遇到这些词会自动忽略,其他文件,我们暂时不用,先不讲了。

打开solrconfig.xml我们可以看到<dataDir>这个标签,默认情况下是这样的

<dataDir>${solr.data.dir:./solr/data}</dataDir>

它默认在当前目录下的solr目录下创建data目录来存放索引。这就是为什么当我们把solr.home设置成这个时,在tomcat的bin文件夹内启动时会生成solr/data文件夹。因为我们启动tomat时的当前目录为bin。

当然这个不是solr配置错误,对于它自带的jetty服务器来说,它是正确的,因为当前目录,正好是solr的目录。

这个文件我们需要配置的东西不多,先讲到这里,以后用到时再慢慢讲解。

接下来我们看一下重点的schema.xml,这个文件是对我们索引字段的说明,我们可以索引什么field都在这里进行了说明。

我们可以看到里面有一大堆注释,其实看里面的注释,大部分都是可以理解的。这个文件的配置跟我们以后需要进行的中文分词的集成有很大关系,所以这个文件要多看看。

我们看到types标签,而在它里面有一大堆fieldType,里面也有一大堆属性,这里大概介绍一下:

fieldType是定义索引的field类型,它有好几个属性,最主要的是name和class:

name是类型的名称,class是相应的solr中的类。还有两个属性看英文注释可能比较难理解,是sortMissingLast和sortMissingFirst,这两个属性是指当查找出来的内容为空时,它被排在哪里,当sortMissingLast为true时,表示放在最后,sortMissingFirst为true时,表示放在最前。为false时相反。

注意,我们看到后面时发现有fieldType里面有<Analyzer>标签,这个是用于配置分词器的,这个我们以后再说。

接着是<fields>标签和在它里面的<field>,field当然就是我们在索引的内容啦。

它有属性indexed和stored分别对应是否索引和保存,另外还有一个multiValued表示是否允许多值。

这里我们看到features有好几个值,而我们看到配置文件中配置的features也是这样的:

  1. <field name="features" type="text" indexed="true" stored="true" multiValued="true"/>

它表示我们索引的field有多个值,如果这里没配置,在发送数据的时候会报错。

这里的type是对应我们前面配置的fieldType。

另外有一个<dynamicField>这是一个动态匹配的域,

  1. <dynamicField name="*_i"  type="int"    indexed="true"  stored="true"/>

我们看到它的name指定了通配符,它指的是可以匹配所有以_i结尾的名称的field,如果我们指定

  1. <dynamicField name="*"/>

那我们就可以匹配所有的field。

接下来,我们看到:

  1. <uniqueKey>id</uniqueKey>
  1. <defaultSearchField>text</defaultSearchField>
  1. <solrQueryParser defaultOperator="OR"/>
  2. <copyField source="cat" dest="text"/>

这里应该看英文就可以看明白了,最主要是最下面的copyField,它是指复制field,它会把在source field里的值拷贝到text field里面,这样方便进行索引。注意,这里一般也只有对多值的才会这样做,也即是配置了multiValued为true的field才用copyField.

--------------------------------------------------------------------------------------------------------------

【4】http://cxshun.iteye.com/blog/1043200

前几次我们讲到了solr的基本用法和配置文件,接下来就开始进入我们真正的代码之旅啦。

1)首先以一个简单的程序来开头:

  1. public static void main(String[] args) throws SolrServerException, IOException, ParserConfigurationException, SAXException{
  2. //设置solr.home,注意这时通过环境变量是solr.solr.home
  3. System.setProperty("solr.solr.home","E:\\solr");
  4. //初始化容器,让它加载solr.home的配置文件
  5. CoreContainer.Initializer initializer = new CoreContainer.Initializer();
  6. CoreContainer coreContainer = initializer.initialize();
  7. EmbeddedSolrServer solrServer = new EmbeddedSolrServer(coreContainer,"");
  8. //构造参数列表
  9. SolrQuery solrQuery = new SolrQuery();
  10. Map<String,String> map = new HashMap<String,String>();
  11. map.put(FacetParams.FACET_DATE, "manufacturedate_dt");
  12. map.put(FacetParams.FACET_DATE_START,"2004-01-01T00:00:00Z");
  13. map.put(FacetParams.FACET_DATE_END,"2010-01-01T00:00:00Z");
  14. map.put(FacetParams.FACET_DATE_GAP,"+1YEAR");
  15. map.put("indent","on");
  16. map.put("wt","xml");
  17. map.put("hl.fl","name");
  18. SolrParams params = new MapSolrParams(map);
  19. solrQuery.add(params);
  20. solrQuery.setFacet(true);
  21. solrQuery.setFields("name,price,score");
  22. solrQuery.setQuery("solr");
  23. solrQuery.setSortField("price",SolrQuery.ORDER.asc);
  24. solrQuery.setHighlight(true);
  25. System.out.println(solrQuery.toString());
  26. QueryResponse queryResponse = solrServer.query(solrQuery);
  27. System.out.println(queryResponse.toString());
  28. System.out.println("共找到:"+queryResponse.getResults().getNumFound()+"个结果");
  29. //解析返回的参数
  30. SolrDocumentList sdl = (SolrDocumentList)queryResponse.getResponse().get("response");
  31. for (int i = 0; i< sdl.size(); i++){
  32. Object obj = sdl.get(i).get("manufacturedate_dt");
  33. String date = "";
  34. if (obj!= null){
  35. date = new SimpleDateFormat("yyyy-MM-dd").format((Date)obj);
  36. }
  37. System.out.println(((SolrDocument)sdl.get(i)).get("name")+":"+date+":"+(sdl.get(i).get("price")));
  38. }
  39. }

这时我们所用到的是EmbeddedSolrServer,它是用于嵌入式地solr服务,这里我们不需要向外提供服务,所以我们就用到这个。另外有一个

CommonsHttpSolrServer这个类是用于发送指令的服务,例如我们需要发送HTTP命令来查询,就可以用这个。

下面我们分析一下代码,首先,我们设置了一个环境变量的名称为solr.solr.home,是这个,你没看错,确实是要这样。接下来我们初始化容器,让它加载solr.home的配置文件等。接下来的一系统代码就是构造参数列表。

我们构造完成后的参数列表是这样的:facet.date.start=2004-01-01T00%3A00%3A00Z&indent=on&facet.date=manufacturedate_dt&hl.fl=name&facet.date.gap=%2B1YEAR&wt=xml&facet.date.end=2010-01-01T00%3A00%3A00Z&facet=true&fl=name%2Cprice%2Cscore&q=solr&sort=price+asc&hl=true

跟我们直接在浏览器输入的不太一样,因为它是进行过编码的。构造完成后我们就可以用solrServer进行查询了。

查询得到的结果是JSON格式的,注意,通过程序来查询得到的都是JSON格式,而不是XML格式,不过这样更好,方便我们进行接下来的解析。

接下来的代码就是解析内容啦,应该很容易看懂的。

2)接下来的我们就尝试自己写一个程序来进行索引,而不用post.jar。

程序代码如下:

  1. public static void main(String[] args) throws IOException, ParserConfigurationException, SAXException{
  2. System.setProperty("solr.solr.home","e:\\solrIndex");
  3. //这下面三行代码主要是用于加载配置文件
  4. SolrConfig solrConfig = new SolrConfig("E:\\solrIndex\\conf\\solrconfig.xml");
  5. FileInputStream fis = new FileInputStream("E:\\solrIndex\\conf\\schema.xml");
  6. IndexSchema indexSchema = new IndexSchema(solrConfig,"solrconfig",fis);
  7. SolrIndexWriter siw = new SolrIndexWriter("solrIndex","E:\\solrIndex",new StandardDirectoryFactory()
  8. ,true,indexSchema);
  9. Document document = new Document();
  10. document.add(new Field("text","测试一下而已",Field.Store.YES,Field.Index.ANALYZED,Field.TermVector.WITH_POSITIONS_OFFSETS));
  11. document.add(new Field("test_t","再测试一下而已",Field.Store.YES,Field.Index.ANALYZED,Field.TermVector.WITH_POSITIONS_OFFSETS));
  12. siw.addDocument(document);
  13. siw.commit();
  14. siw.close();
  15. SolrCore solrCore = new SolrCore("E:\\solrIndex",indexSchema);
  16. SolrIndexSearcher sis = new SolrIndexSearcher(solrCore,indexSchema,"solrIndex",
  17. new StandardDirectoryFactory().open("E:\\solrIndex"),true);
  18. TopDocs docs = sis.search(new TermQuery(new Term("test_t","再")),1);
  19. System.out.println("找到"+docs.totalHits+"个结果 ");
  20. for (int i = 0; i < docs.scoreDocs.length; i++) {
  21. System.out.println(sis.doc(docs.scoreDocs[i].doc).get("test_t"));
  22. }
  23. }

代码不难理解,所以就没写注释了。主要是那段加载配置文件的代码。接下来是添加索引,然后是查询索引,删除的比较简单,直接一句代码

  1. solrServer.solrServer.deleteById("SOLR1000");

或者

  1. solrServer.deleteByQuery()

都比较简单。

3)接下来我们讲一下,很可能会在项目中用到的,就是中文分词,中文分词有蛮多的,有IK,Paoding,mmseg4j,还有另外一些中科院什么地方的。但个人建议用IK或者mmseg4j,这两个有solr都有比较直接的支持,paoding也可以,但可能需要自己写类继承BaseTokenizerFactory然后再进行配置,不难。

上面的例子就是用到中文分词了,如果你发现找不到结果,那很正常,因为还没添加中文分词,你可以把中文改成英文,再查一下,就可以查出来了。

需要添加中文分词,我们要在schema.xml中做文章。找到types标签,在里面找到你想要进行中文分词的类型,比如text类型,我们想要让它的内容用中文分词来进行分析,可以进行配置:

  1. <analyzer type="index">
  2. <tokenizer class="org.wltea.analyzer.solr.IKTokenizerFactory"/>
  3. <filter class="solr.StopFilterFactory"
  4. ignoreCase="true"
  5. words="stopwords.txt"
  6. enablePositionIncrements="true"
  7. />
  8. <filter class="solr.WordDelimiterFilterFactory" generateWordParts="1" generateNumberParts="1" catenateWords="1" catenateNumbers="1" catenateAll="0" splitOnCaseChange="1"/>
  9. <filter class="solr.LowerCaseFilterFactory"/>
  10. <filter class="solr.SnowballPorterFilterFactory" language="English" protected="protwords.txt"/>
  11. </analyzer>
  12. <analyzer type="query">
  13. <tokenizer class="org.wltea.analyzer.solr.IKTokenizerFactory"/>
  14. <filter class="solr.SynonymFilterFactory" synonyms="synonyms.txt" ignoreCase="true" expand="true"/>
  15. <filter class="solr.StopFilterFactory"
  16. ignoreCase="true"
  17. words="stopwords.txt"
  18. enablePositionIncrements="true"
  19. />
  20. <filter class="solr.WordDelimiterFilterFactory" generateWordParts="1" generateNumberParts="1" catenateWords="0" catenateNumbers="0" catenateAll="0" splitOnCaseChange="1"/>
  21. <filter class="solr.LowerCaseFilterFactory"/>
  22. <filter class="solr.SnowballPorterFilterFactory" language="English" protected="protwords.txt"/>
  23. </analyzer>

你可以先不理解filter的那些东西,但你一定要理解tokenizer这些地方的配置,它配置了你想要应用的分词器,它必须继承于BaseTokenizerFactory。我们看到analyzer有一个type属性,它表示你要在哪个阶段运用此分词器,如果索引和查询都要用,我们可以不写type,这样solr就会在索引和查询时都使用此分词器,这样配置完成后就可以进行中文分词的测试啦。我们重新把上面的例子添加中文进行索引,然后查询出来,看有没有问题。我的运行结果如下:


  我们找到了结果,证明我们的中文分词已经没问题了。

【转载】solr初体验的更多相关文章

  1. 【腾讯Bugly干货分享】基于 Webpack & Vue & Vue-Router 的 SPA 初体验

    本文来自于腾讯bugly开发者社区,非经作者同意,请勿转载,原文地址:http://dev.qq.com/topic/57d13a57132ff21c38110186 导语 最近这几年的前端圈子,由于 ...

  2. 【Knockout.js 学习体验之旅】(1)ko初体验

    前言 什么,你现在还在看knockout.js?这货都已经落后主流一千年了!赶紧去学Angular.React啊,再不赶紧的话,他们也要变out了哦.身旁的90后小伙伴,嘴里还塞着山东的狗不理大蒜包, ...

  3. 在同一个硬盘上安装多个 Linux 发行版及 Fedora 21 、Fedora 22 初体验

    在同一个硬盘上安装多个 Linux 发行版 以前对多个 Linux 发行版的折腾主要是在虚拟机上完成.我的桌面电脑性能比较强大,玩玩虚拟机没啥问题,但是笔记本电脑就不行了.要在我的笔记本电脑上折腾多个 ...

  4. 【尝新】微信小程序初体验

    文档地址:https://mp.weixin.qq.com/debug/wxadoc/dev/?t=1474644089434 根据文档地址中下载微信开发工具后,按照文档指引可以创建一个快速体验的小d ...

  5. Java8初体验(一)lambda表达式语法

    感谢同事[天锦]的投稿.投稿请联系 tengfei@ifeve.com 本文主要记录自己学习Java8的历程,方便大家一起探讨和自己的备忘.因为本人也是刚刚开始学习Java8,所以文中肯定有错误和理解 ...

  6. Java8初体验(二)Stream语法详解

    感谢同事[天锦]的投稿.投稿请联系 tengfei@ifeve.com 上篇文章Java8初体验(一)lambda表达式语法比 较详细的介绍了lambda表达式的方方面面,细心的读者会发现那篇文章的例 ...

  7. iOS7初体验(3)——图像资源Images Assets

    开始之前,首先回顾一下iOS7初体验(1)——第一个应用程序HelloWorld中的一张图,如下所示: 本文便分享一下Images.xcassets的体验~_~ 1. 打开此前使用过的HelloWor ...

  8. node.js 初体验

    node.js 初体验 2011-10-31 22:56 by 聂微东, 174545 阅读, 118 评论, 收藏, 编辑 PS: ~ 此篇文章的进阶内容在为<Nodejs初阶之express ...

  9. iOS7初体验(1)——第一个应用程序HelloWorld

    iOS7 Beta已经发布了,迫不及待地下载了iOS 7及Xcode 5并体验了一下.先做一个简单的Hello World看看都有哪些变化吧. 1. 启动Xcode5-DP: 2. 从菜单选择File ...

随机推荐

  1. 旋转V字俄罗斯方块

    实现效果如图,也就是一个图像的旋转.注意,旋转后的文字是相对应的,而且文字还是立起的.第一次点击时显示,第二次点击时开始旋转.下面是我做这个效果的记录,方法这么差,我也就不说什么了. 先上HTML/C ...

  2. Linux初学 - 安装及网络配置

    安装版本 CentOS-6.4 虚拟机  vmware workstation 12 配置 网络配置 检查网络设置是否成功 如果网络配置文件检查没有问题,配置完成后网络仍然ping不同 1.检查虚拟机 ...

  3. javaweb学习总结(二十三)——jsp自定义标签开发入门

    一.自定义标签的作用 自定义标签主要用于移除Jsp页面中的java代码. 二.自定义标签开发和使用 2.1.自定义标签开发步骤 1.编写一个实现Tag接口的Java类(标签处理器类) 1 packag ...

  4. GCD的同步异步串行并行、NSOperation和NSOperationQueue一级用dispatch_once实现单例

    转:http://www.tuicool.com/articles/NVVnMn (1)GCD实现的同步异步.串行并行. ——同步sync应用场景:用户登录,利用阻塞 ——串行异步应用场景:下载等耗时 ...

  5. 使用Reveal查看任意App的技巧

    转:http://www.jianshu.com/p/4dc8f94ca27c 前言 Reveal(http://revealapp.com)是一个很强大的iOS View Hierarchy工具,与 ...

  6. sqlserver内存释放心得

    SQL Server 2008 或者R2的默认内存分配是2147483647MB, 差不多算是无穷大,对于系统内存的管理策略是有多少占多少.SQLserver会把所有处理过的SQL操作缓存在内存里,这 ...

  7. 求二叉树的深度和宽度[Java]

    这个是常见的对二叉树的操作.总结一下: 设节点的数据结构,如下: class TreeNode { char val; TreeNode left = null; TreeNode right = n ...

  8. RecyclerView的使用

    什么是RecyclerView         RecyclerView是Android 5.0 materials design中的组件之一,相应的还有CardView.Palette等.看名字我们 ...

  9. php生成UUID

    UUID含义是 通用唯一识别码 (Universally Unique Identifier),这 是一个软件建构的标准,也是被开源软件基金会 (Open Software Foundation, O ...

  10. RPC 135端口