Solr 6.7学习笔记（04）-- Suggest

当我们使用baidu或者Google时，你输入很少的字符，就会自动跳出来一些建议选项，在Solr里，我们称之为Suggest，在solrconfig.xml里做一些简单的配置，即可实现这一功能。配置如下：

<searchComponent name="suggest" class="solr.SuggestComponent">
    <lst name="suggester">
      <str name="name">mySuggester</str>
      <str name="lookupImpl">FuzzyLookupFactory</str>
      <str name="dictionaryImpl">DocumentDictionaryFactory</str>
      <str name="field">cat</str>
      <str name="weightField">price</str>
      <str name="suggestAnalyzerFieldType">string</str>
      <str name="buildOnStartup">false</str>
    </lst>
  </searchComponent>

  <requestHandler name="/suggest" class="solr.SearchHandler" startup="lazy" >
    <lst name="defaults">
      <str name="suggest">true</str>
      <str name="suggest.count">10</str>
    </lst>
    <arr name="components">
      <str>suggest</str>
    </arr>
  </requestHandler>

元素 <searchComponent> 的属性说明：

name：指定searchComponent的名字。可以定义多个<searchComponent>，只要名字不一样。在<requestHandler> --> <arr name="components"> --> <str> 里的值是指用哪个<searchComponent>。

<lst name="suggester"> 的一些属性

属性	描述
name	suggest的名字，用于区分多个suggest。在请求参数中加入suggest.dictionary=mySuggester来指定使用哪个suggester
lookupImpl	查询实现类，表示如何在Suggestions 字典中找到分词（Term）
dictionaryImpl	字典实现类，表示分词（Term）是如何存储Suggestion字典的
field	表示suggestion的内容是基于哪个字段的。这里设置的field的stored属性必须是True。这可以设置为一个copyField，这样suggetion 就可台基于多个字段了。
sourceLocation	当dictionaryImpl为 FileDictionaryFactory时，指定此值，表示字典文件的路径
storeDir	存储字典文件的位置
buildOnCommit	默认值false。表示仅当请求的URL中包含suggest.build=true 时，才会创建 lookup的data。 为true时，表示lookup的data将在soft-commit后重新创建。 当索引比较大，尤其soft-commit很频繁时，建议设置为FALSE。此时应该手动地在请求中加上suggest.build=true 去触发构建lookup data的动作
buildOnOptimize	同上。区别是上面是soft-commit时，这里是索引优化时
buildOnStartup	设置为true,表示Solr启动或者Core重新加载时，构建suggestions的data。如果没有指定参数（文档中并没有说是设置为false），如果在磁盘上找不 到lookup data，则suggester将会构建它。通常建议设置成false，通过buildOnCommit中提到的方法去构建lookup data。

在同一个<searchComponent>里面，可以定义多个suggester （name 必须不一样）。如：

<searchComponent name="suggest" class="solr.SuggestComponent">
    <lst name="suggester">
      <str name="name">fuzzySuggester</str>
      <str name="lookupImpl">FuzzyLookupFactory</str>
      <str name="dictionaryImpl">DocumentDictionaryFactory</str>
      <str name="field">cat</str>
      <str name="weightField">price</str>
      <str name="suggestAnalyzerFieldType">string</str>
      <str name="buildOnStartup">false</str>
    </lst>
    <lst name="suggester">
      <str name="name">freeTextSuggester</str>
      <str name="lookupImpl">FreeTextLookupFactory</str>
      <str name="dictionaryImpl">DocumentDictionaryFactory</str>
      <str name="field">cat</str>
      <str name="weightField">price</str>
      <str name="suggestAnalyzerFieldType">string</str>
      <str name="buildOnStartup">false</str>
    </lst>
  </searchComponent>

定义多个Suggester后，我们可以在

1. <requestHandler>中指定使用哪个（或哪些）Suggester。如：

<requestHandler name="/suggest" class="solr.SearchHandler" startup="lazy" >
    <lst name="defaults">
      <str name="suggest">true</str>
      <str name="suggest.count">10</str>
      <str name="suggest.dictionary">freeTextSuggester</str>
      <str name="suggest.dictionary">fuzzySuggester</str>
    </lst>
    <arr name="components">
      <str>suggest</str>
    </arr>
  </requestHandler>

2. 使用Solrj 去连接Solr进行"/suggest" 查询时，可以指定如下参数：

SolrQuery params = new SolrQuery();
params.set("qt", "/suggest");
params.set("suggest", "true"); //启用Suggest
params.set("suggest.build", "true");
params.set("suggest.dictionary", "fuzzySuggester");
params.set("suggest.dictionary", "freeTextSuggester");

...

3. 自己使用http去Get 时：

http://localhost:8983/solr/techproducts/suggest?suggest=true&suggest.dictionary=fuzzySuggester&suggest.dictionary=freeTextSuggester&wt=json&suggest.q=elec

在<requestHandler name="/suggest">中的<lst name="defaults">里可以设置如下一些suggest的默认属性，其值可被URL中相同的参数覆盖

参数	描述
suggest	肯定设置为true
suggest.dictionary	suggester 的名字，可能过上面3种方法设置
suggest.q	在页面上输入的值。
suggest.count	Solr返回的建议的分词的数量
suggest.cfq	用于过滤suggestion的基于context field的 Context Filter Query。仅AnalyzingInfixLookupFactory 和 BlendedInfixLooupFactory 支持此属性，并且dictionaryImpl 必须是 Document*Dictionary
suggest.build	如果为 true, 则会构建lookup data。通常不可能每次请求都去构建。使用情境见上面的buildOnCommit
suggest.reload	为true时，重新加载 suggester index
suggest.buildAll	为true时, 创建所有的suggester index。不明白和suggest.build有什么区别
suggest.reloadAll	为true时，重新加载所有suggester index。不明白和 reload有什么区别

在程序员的世界里，学习任何语言或者技术，光看书是没有用的。看的时候感觉都懂。实际做的时候就这也不会那也不会。还是得靠实践。于是自己动手做了一个文件及其内容搜索的小程序，以此来加强对Solr的认识。设置了一些field：filename, filetype, filesize, content。这些用来存储文件相关的信息，还有一个名为text的copyField，用于存储所有值，以便查询时只需指定一个field。定义如下：

<field name="filename" type="string" index="true" stored="true"  />
<field name="filetype" type="string" index="true" stored="true"  />
<field name="filepath" type="decent_path" index="true" stored="true"  />
<field name="filetsize" type="tint" index="true" stored="true"  />
<field name="content" type="text_general" index="false" stored="true" multiValues="true" />
<field name="text" type="text_general" index="true" stored="false" multiValues="true" />

<copyField source="filename" dest="text" />
<copyField source="filetype" dest="text" />
<copyField source="filesize" dest="text" />
<copyField source="filepath" dest="text" />
<copyField source="content" dest="text" />

使用suggester的时候遇到的一些问题：

1. 一开始，suggester的 field 设置的是 "text"，我本想是让所有的信息都可以做为建议项。用的是FuzzyLoopupFactory，可是发现建议项一直是空。不知道是哪边出了问题，以为是copyField的问题，但是文档写了可以用copyField的。尝试把field设置成"filename"，可以出现建议项了。又仔细读了一次文档，发现原来“text”的stored属性是false。改成true后，就成功了。

2. 另外，期间我也有把field 改成"content"，它的stored值是true，indexed值是false。可是还是不能成功得到建议项。把indexed的值改成true，这时，content这个field的属性和"text"是一样的了，但是建议项一直为空！！上网搜了一下，网上也都是抄抄官方文档的内容，找不到原因。突然发现suggester里面有一个suggestAnalyzerFieldType的属性，其值为string （见本篇最开始部分的配置），再查了一下文档，发现这是AnalyzingLookupFactory里的一个属性，而FuzzyLookupFactory是继承AnalyzingLookupFactory的，这个属性指定的是查询和创建suggest时，字段的类型。“content”的字段类型是text_general，而我配置的是string，所以找不到建议项。改成text_general后 -- 纳尼？还是查不到建议项。看了一下我的程序的日志，发现是有建议项的，只不过建议的内容是整个文件的内容，太长了。可能是前端jQuery的suggest组件会把过长的建议项删除。因此UI 上看不到。但是后台确实是有建议项的。注意：输入的内容必须是整个文件内容的开始字符。

3. 期间我也不小心索引了一个图片文件，不是文本的文件。结果查询时，抛了下面的exception。去掉这个图片的索引后就好了。

Caused by: java.lang.StackOverflowError

at org.apache.lucene.util.automaton.Operations.topoSortStatesRecurse(Operations.java:1288)
  at org.apache.lucene.util.automaton.Operations.topoSortStatesRecurse(Operations.java:1293)
  at org.apache.lucene.util.automaton.Operations.topoSortStatesRecurse(Operations.java:1293)

其实我想实现的Suggest是：如果有下面的一段文本，我在页面的搜索框里输入：man，会自动列出 manager，management和mana三个选项。

The manager of this management company is Mana.

但是上面配置的FuzzyLookupFactory，并不能实现这一需求。把suggester改成FreeTextLookupFactory，可以实现此需求。

<searchComponent name="suggest" class="solr.SuggestComponent">
    <lst name="suggester">
      <str name="name">mySuggester</str>
      <str name="lookupImpl">FreeTextLookupFactory</str>
      <str name="dictionaryImpl">DocumentDictionaryFactory</str>
      <str name="field">content</str>
      <str name="weightField">content</str>
      <str name="suggestFreeTextAnalyzerFieldType">text-general</str>
      <str name="buildOnStartup">false</str>
      <str name="buildOnCommit">true</str>
    </lst>
  </searchComponent>

上一篇：

Solr 6.7学习笔记（02）-- 配置文件 managed-schema (schema.xml) -- 样例（6）