The schema.xml file contains all of the details about which fields your documents can contain, and how those fields should be dealt with when adding documents to the index, or when querying those fields.

schema.xml位于solr/conf/目录下,类似于数据表配置文件,定义了加入索引的数据的数据类型,主要包括type、fields和其他的一些缺省设置。

Data Types

The <types> section allows you to define a list of <fieldtype> declarations you wish to use in your schema, along with the underlying Solr class that should be used for that type, as well as the default options you want for fields that use that type.

types节点,这里面定义FieldType子节点,包括name,class,positionIncrementGap等一些参数。

  • name:就是这个FieldType的名称。
  • class:指向org.apache.solr.analysis包里面对应的class名称,用来定义这个类型的行为。
  1. <schema name="example" version="1.2">
  2. <types>
  3. <fieldType name="string" class="solr.StrField" sortMissingLast="true" omitNorms="true"/>
  4. <fieldType name="boolean" class="solr.BoolField" sortMissingLast="true" omitNorms="true"/>
  5. <fieldtype name="binary" class="solr.BinaryField"/>
  6. <fieldType name="int" class="solr.TrieIntField" precisionStep="0" omitNorms="true"
  7. positionIncrementGap="0"/>
  8. <fieldType name="float" class="solr.TrieFloatField" precisionStep="0" omitNorms="true"
  9. positionIncrementGap="0"/>
  10. <fieldType name="long" class="solr.TrieLongField" precisionStep="0" omitNorms="true"
  11. positionIncrementGap="0"/>
  12. <fieldType name="double" class="solr.TrieDoubleField" precisionStep="0" omitNorms="true"
  13. positionIncrementGap="0"/>
  14. ...
  15. </types>
  16. ...
  17. </schema>

必要的时候fieldType还需要自己定义这个类型的数据在建立索引和进行查询的时候要使用的分析器analyzer,包括分词和过滤,如下:

  1. <fieldType name="text_ws" class="solr.TextField" positionIncrementGap="100">
  2. <analyzer>
  3. <tokenizer class="solr.WhitespaceTokenizerFactory"/>
  4. </analyzer>
  5. </fieldType>
  6. <fieldType name="text" class="solr.TextField" positionIncrementGap="100">
  7. <analyzer type="index">
  8. <!--这个分词包是空格分词,在向索引库添加text类型的索引时,Solr会首先用空格进行分词
  9. 然后把分词结果依次使用指定的过滤器进行过滤,最后剩下的结果,才会加入到索引库中以备查询。
  10. 注意:Solr的analysis包并没有带支持中文的包,需要自己添加中文分词器,google下。
  11. -->
  12. <tokenizer class="solr.WhitespaceTokenizerFactory"/>
  13. <!-- in this example, we will only use synonyms at query time
  14. <filter class="solr.SynonymFilterFactory" synonyms="index_synonyms.txt"
  15. ignoreCase="true" expand="false"/>
  16. -->
  17. <!-- Case insensitive stop word removal.
  18. add enablePositionIncrements=true in both the index and query
  19. analyzers to leave a 'gap' for more accurate phrase queries.
  20. -->
  21. <filter class="solr.StopFilterFactory"
  22. ignoreCase="true"
  23. words="stopwords.txt"
  24. enablePositionIncrements="true"
  25. />
  26. <filter class="solr.WordDelimiterFilterFactory" generateWordParts="1"
  27. generateNumberParts="1" catenateWords="1" catenateNumbers="1"
  28. catenateAll="0" splitOnCaseChange="1"/>
  29. <filter class="solr.LowerCaseFilterFactory"/>
  30. <filter class="solr.SnowballPorterFilterFactory" language="English"
  31. protected="protwords.txt"/>
  32. </analyzer>
  33. <analyzer type="query">
  34. <tokenizer class="solr.WhitespaceTokenizerFactory"/>
  35. <filter class="solr.SynonymFilterFactory" synonyms="synonyms.txt" ignoreCase="true"
  36. expand="true"/>
  37. <filter class="solr.StopFilterFactory"
  38. ignoreCase="true"
  39. words="stopwords.txt"
  40. enablePositionIncrements="true"
  41. />
  42. <filter class="solr.WordDelimiterFilterFactory" generateWordParts="1"
  43. generateNumberParts="1" catenateWords="0" catenateNumbers="0"
  44. catenateAll="0" splitOnCaseChange="1"/>
  45. <filter class="solr.LowerCaseFilterFactory"/>
  46. <filter class="solr.SnowballPorterFilterFactory" language="English"
  47. protected="protwords.txt"/>
  48. </analyzer>
  49. </fieldType>

Fields

The <fields> section is where you list the individual <field> declarations you wish to use in your documents. Each <field> has a name that you will use to reference it when adding documents or executing searches, and an associated type which identifies the name of the fieldtype you wish to use for this field. There are various field options that apply to a field. These can be set in the field type declarations, and can also be overridden at an individual field's declaration.

fields节点内定义具体的字段(类似数据库的字段),含有以下属性:

  • name:字段名
  • type:之前定义过的各种FieldType
  • indexed:是否被索引
  • stored:是否被存储(如果不需要存储相应字段值,尽量设为false)
  • multiValued:是否有多个值(对可能存在多值的字段尽量设置为true,避免建索引时抛出错误)
  1. <fields>
  2. <field name="id" type="integer" indexed="true" stored="true" required="true" />
  3. <field name="name" type="text" indexed="true" stored="true" />
  4. <field name="summary" type="text" indexed="true" stored="true" />
  5. <field name="author" type="string" indexed="true" stored="true" />
  6. <field name="date" type="date" indexed="false" stored="true" />
  7. <field name="content" type="text" indexed="true" stored="false" />
  8. <field name="keywords" type="keyword_text" indexed="true" stored="false" multiValued="true" />
  9. <!--拷贝字段-->
  10. <field name="all" type="text" indexed="true" stored="false" multiValued="true"/>
  11. </fields>

Copy Fields

建议建立一个拷贝字段,将所有的 全文本 字段复制到一个字段中,以便进行统一的检索:

以下是拷贝设置:

  1. <copyField source="name" dest="all"/>
  2. <copyField source="summary" dest="all"/>

以下为一个完整的copyfield定义:

  1. <schema name="eshequn.post.db_post.0" version="1.1"
  2. xmlns:xi="http://www.w3.org/2001/XInclude">
  3. <fields>
  4. <!-- for title -->
  5. <field name="t" type="text" indexed="true" stored="false" />
  6. <!-- for abstract -->
  7. <field name="a" type="text" indexed="true" stored="false" />
  8. <!-- for title and abstract -->
  9. <field name="ta" type="text" indexed="true" stored="false" multiValued="true"/>
  10. </fields>
  11. <copyField source="t" dest="ta" />
  12. <copyField source="a" dest="ta" />
  13. </schema>Copy Fields

字段t是文章的标题,字段a是文章的摘要,字段ta是文章标题和摘要的联合。添加索引文档时,只需要传入t和a字段的内容,solr会自动索引ta字段。

Dynamic fields

One of the powerful features of Lucene is that you don't have to pre-define every field when you first create your index. Even though Solr provides strong datatyping for fields, it still preserves that flexibility using "Dynamic Fields". Using <dynamicField> declarations, you can create field rules that Solr will use to understand what datatype should be used whenever it is given a field name that is not explicitly defined, but matches a prefix or suffix used in a dynamicField.

For example the following dynamic field declaration tells Solr that whenever it sees a field name ending in "_i" which is not an explicitly defined field, then it should dynamically create an integer field with that name...

  1. <dynamicField name="*_i"  type="integer"  indexed="true"  stored="true"/>

The Unique Key Field

The <uniqueKey> declaration can be used to inform Solr that there is a field in your index which should be unique for all documents. If a document is added that contains the same value for this field as an existing document, the old document will be deleted. It is not mandatory for a schema to have a uniqueKey field.

schema.xml文档注释中的信息:

1、为了改进性能,可以采取以下几种措施:

  • 将所有只用于搜索的,而不需要作为结果的field(特别是一些比较大的field)的stored设置为false
  • 将不需要被用于搜索的,而只是作为结果返回的field的indexed设置为false
  • 删除所有不必要的copyField声明
  • 为了索引字段的最小化和搜索的效率,将所有的 text fields的index都设置成field,然后使用copyField将他们都复制到一个总的 text field上,然后对他进行搜索。
  • 为了最大化搜索效率,使用java编写的客户端与solr交互(使用流通信)
  • 在服务器端运行JVM(省去网络通信),使用尽可能高的Log输出等级,减少日志量。

2、< schema name =" example " version =" 1.2 " >

  • name:标识这个schema的名字
  • version:现在版本是1.2

3、filedType

< fieldType name =" string " class =" solr.StrField " sortMissingLast =" true " omitNorms =" true " />

  • name:标识名称,定义fields节点时field的type属性指定该值
  • class和其他属性决定了这个fieldType的实际行为。(class以solr开始的,都是在org.appache.solr.analysis包下)

可选的属性:

  • sortMissingLast和sortMissingFirst两个属性是用在可以内在使用String排序的类型上(包括:string,boolean,sint,slong,sfloat,sdouble,pdate)。
  • sortMissingLast="true",没有该field的数据排在有该field的数据之后,而不管请求时的排序规则。
  • sortMissingFirst="true",跟上面倒过来呗。
  • 2个值默认是设置成false

StrField类型不被分析,而是被逐字地索引/存储。

StrField和TextField都有一个可选的属性“compressThreshold”,保证压缩到不小于一个大小(单位:char)

< fieldType name =" text " class =" solr.TextField " positionIncrementGap =" 100 " >

solr.TextField 允许用户通过分析器来定制索引和查询,分析器包括 一个分词器(tokenizer)和多个过滤器(filter)

positionIncrementGap:可选属性,定义在同一个文档中此类型数据的空白间隔,避免短语匹配错误。

< tokenizer class =" solr.WhitespaceTokenizerFactory " />

空格分词,精确匹配。

< filter class =" solr.WordDelimiterFilterFactory " generateWordParts =" 1 " generateNumberParts =" 1 "catenateWords =" 1 " catenateNumbers =" 1 " catenateAll =" 0 " splitOnCaseChange =" 1 " />

在分词和匹配时,考虑 "-"连字符,字母数字的界限,非字母数字字符,这样 "wifi"或"wi fi"都能匹配"Wi-Fi"。

< filter class =" solr.SynonymFilterFactory " synonyms =" synonyms.txt " ignoreCase =" true " expand ="true " />

同义词

< filter class =" solr.StopFilterFactory " ignoreCase =" true " words =" stopwords.txt "enablePositionIncrements =" true " />

在禁用字(stopword)删除后,在短语间增加间隔

stopword:即在建立索引过程中(建立索引和搜索)被忽略的词,比如is this等常用词。在conf/stopwords.txt维护。

4、fields

< field name =" id " type =" string " indexed =" true " stored =" true " required =" true " />

  • name:标识名称。
  • type:先前定义的类型。
  • indexed:是否被用来建立索引(关系到搜索和排序)
  • stored:是否储存
  • compressed:[false],是否使用gzip压缩(只有TextField和StrField可以压缩)
  • mutiValued:是否包含多个值
  • omitNorms:是否忽略掉Norm,可以节省内存空间,只有全文本field和need an index-time boost的field需要norm。(具体没看懂,注释里有矛盾)
  • termVectors:[false],当设置true,会存储 term vector。当使用MoreLikeThis,用来作为相似词的field应该存储起来。
  • termPositions:存储 term vector中的地址信息,会消耗存储开销。
  • termOffsets:存储 term vector 的偏移量,会消耗存储开销。
  • default:如果没有属性需要修改,就可以用这个标识下。

< field name =" text " type =" text " indexed =" true " stored =" false " multiValued =" true " />

包罗万象(有点夸张)的field,包含所有可搜索的text fields,通过copyField实现。

< copyField source =" cat " dest =" text " />

  < copyField source =" name " dest =" text " />
  < copyField source =" manu " dest =" text " />
  < copyField source =" features " dest =" text " />
  < copyField source =" includes " dest =" text " />

在添加索引时,将所有被拷贝field(如cat)中的数据拷贝到text field中

作用:

  • 将多个field的数据放在一起同时搜索,提供速度
  • 将一个field的数据拷贝到另一个,可以用2种不同的方式来建立索引。

< dynamicField name =" *_i " type =" int " indexed =" true " stored =" true " />

如果一个field的名字没有匹配到,那么就会用动态field试图匹配定义的各种模式。

  • "*"只能出现在模式的最前和最后
  • 较长的模式会被先去做匹配
  • 如果2个模式同时匹配上,最先定义的优先

< dynamicField name =" * " type =" ignored " multiValued=" true " />

如果通过上面的匹配都没找到,可以定义这个,然后定义个type,当String处理。(一般不会发生)但若不定义,找不到匹配会报错。

5、其他一些标签

< uniqueKey > id </ uniqueKey >

文档的唯一标识, 必须填写这个field(除非该field被标记required="false"),否则solr建立索引报错。(跟wiki里说的It is not mandatory for a schema to have a uniqueKey field. 相反)

< defaultSearchField > text </ defaultSearchField >

如果搜索参数中没有指定具体的field,那么这是默认的域。

< solrQueryParser defaultOperator =" OR " />

配置搜索参数短语间的逻辑,可以是"AND|OR"。

Solr SchemaXml 一些解读的更多相关文章

  1. solr源码解读(转)

    solr源码解读(转)原文地址:http://blog.csdn.net/duck_genuine/article/details/6962624 配置 solr 对一个搜索请求的的流程 在solrc ...

  2. Solr搭建大数据查询平台

    参考文章:http://www.freebuf.com/articles/database/100423.html 对上面链接的补充: solr-5.5.0版本已被删除,新url:http://mir ...

  3. 我与solr(五)--关于schema.xml中的相关配置的详解

    先把文件的代码贴上来: <?xml version="1.0" encoding="UTF-8" ?> <!-- 版权说明... --> ...

  4. Solr:Schema设计

    本文已挪至  http://www.zhoujingen.cn/blog/8546.html Solr将数据以结构化的方式存入系统中,存储的过程中可以对数据建立索引,这个结构的定义就是通过schema ...

  5. Solr中Schema.xml中文版

    <?xml version="1.0" encoding="UTF-8" ?> <!-- Licensed to the Apache Sof ...

  6. solr可用于集群的搜索 【转】

    一. SOLR搭建企业搜索平台 运行环境: 运行容器:Tomcat6.0.20 Solr版本:apache-solr-1.4.0 分词器:mmseg4j-1.6.2  词库:sogou-dic 准备工 ...

  7. solr官方文档翻译系列之schema.xml配置介绍

    常见的元素 <field name="weight" type="float" indexed="true" stored=" ...

  8. .Net程序员 Solr-5.3之旅 (三)Solr 从MSSQ导入索引数据

    阅读目录 引言 准备工作 data-config.xml schema.xml 导入数据 结尾 附件下载 引言 Other men live to eat, while I eat to live.- ...

  9. solr 从零学习开始

    2010-10 目 录 1 1.1 1.2 1.2.1 1.2.2 1.2.3 1.2.4 1.2.5 1.2.6 1.2.7 1.3 1.3.1 1.3.2 1.4 1.4.1 1.4.2 1.4. ...

随机推荐

  1. iOS 证书 设置指南

    点击这里跳转到改链接:http://docs.jpush.cn/pages/viewpage.action?pageId=1343727

  2. Android 引入外部模块编译选择

    /********************************************************************************* * Android 引入外部模块编 ...

  3. 小程序api请求层封装(Loading全局配置)

    前言 小程序开发,没有vue中的axios那么好使,请求层的封装需要自己来搞. 当然请求层的配置少不了loading,这里索性也就将loading做一个配置,避免以后重复造轮子 请求封装 小程序中有封 ...

  4. hdu1166 敌兵布阵 树状数组/线段树

    数列的单点修改.区间求和 树状数组或线段树入门题 #include<stdio.h> #include<string.h> ],N; void add(int x,int a) ...

  5. js代码中碰到的函数

    第一个--->字符串的截取substring()方法 substring(a,b)--->[a,b)区间截取字符.下标从0开始.从a下标开始,截取到b下标的前一个字符.返回一个新的字符串 ...

  6. Start Developing iOS Apps (Swift) 开始开发iOS应用(Swift)

    http://www.cnblogs.com/tianjian/category/704953.html 构建基础的用户界面 Build a Basic UI http://www.cnblogs.c ...

  7. drill 集成开源s3 存储minio

    drill 支持s3数据的查询,同时新版的通过简单配置就可以实现minio 的集成 测试使用docker 运行drill 参考 https://www.cnblogs.com/rongfenglian ...

  8. smarty学习——编写扩展

    在进行了以上的开发环境的配置之后就是,进行进一步的学习,为了开发的方便我们一般会使用oop的编程思想,进行方便的处理 如下: 1.smartyUser 的创建 <?php require_onc ...

  9. Drupal 7 建站学习手记(五):QuickTabs模块内的元素无法溢出的问题

    背景 项目要求站点首页放Views生成的区块,而且要求有很多其它链接. Views生成的区块默认的很多其它链接仅仅能选在列表上方和下方 下图是默认在上方的样式图: 为了美观.我将很多其它链接上移了若干 ...

  10. 作为一名IT从业者,你在工作和学习中,遇到哪些问题

    版权声明:襄阳雷哥的版权声明 https://blog.csdn.net/FansUnion/article/details/28448975 大家都是IT从业者,遇到的问题多少与类似. 假设能把这些 ...