Elasticsearch--更好的搜索_加权得分,脚本,同义词
Apache Lucene评分
计算文档的评分属性时,考虑如下因素:
- 文档加权:对文档建立索引时,对文档的加权值
- 字段加权:查询和索引时,对字段的加权
- 协调:基于文档条数的协调因子。对包含更多查询词条的文档,它提供更大的值
- 逆文档频率:基于词条的因子,它告诉评分公式,给定词条出现的频率有多低。逆文档频率越高,词条越罕见
- 长度规范:基于字段的规范化因子,它基于给定字段包含的词条数目。字段越长,该因子给的加权值越小。这基本意味着更短的文档更受分数的青睐
- 词频:基于词条的因子, 描述给定词条在文档中出现的次数,词频越高,文档的得分越高。
- 查询规范:基于查询的规范化因子,由每个查询词条比重的平方和计算而成。查询规范用于查询之间的得分比较。
从上述讨论中得到:
- 匹配的词条越罕见,得分越高
- 文档字段越小,得分越高
- 字段加权越高,得分越高
- 文档匹配的查询词条数目越高,字段越少,分数越高
Elasticsearch的脚本功能
elasticsearch使用脚本执行的任何请求中,一些可能使用到的相似的属性:
- script:包含实际执行的脚本
- lang:脚本的语言信息
- params:包含参数和值,每个定义的参数都可以在脚本中使用,由于缓存,使用参数的脚本比嵌入常数的代码执行更快
脚本执行过程中可以使用的对象
- _doc: 它是org.elasticsearch.search.lookup.DocLookup对象的实例。通过它可以访问当前找到的文档,附带计算的得分和字段的值
- _source:是org.elasticsearch.search.lookup.SourceLookup对象的实例,通过它可以访问当前文档的_source
- _fields:是org.elasticsearch.search.lookup.FieldsLookup对象的实例,通过它可以访问文档的所有字段
另一方面,在文档更新过程中,Elasticsearch只通过_source属性公开了ctx对象,通过它可以访问当前文档。
当访问文档中的字段时,上述三种方式都可以,_doc可以更快的访问到分析的字段,_souce可以更快的访问字段的原始值。
使用自定义的脚本库
小脚本应该定义成文件,放在Elasticsearch的config/scripts目录中。使用方式如下:
{
"query":{
"match_all":{
}
},
"sort":{
"_script":{
"script":"sort_script",
"type":"text",
"order":"asc"
}
}
}
script属性值直接调用我们自定义脚本的名字。
如果对脚本语言执行速度不满意,可以编写elasticsearch插件,插件应该放在lib目录下,并且使用Setting API或者在yml配置文件中注册
搜索不同语言的内容
思路:
- 使用语言检测库检测文档使用的语言,或者由用户将语言信息存放在文档的一个字段中
- 定义索引映射时,根据语言字段设置分析器
{
"mappings":{
"indextype":{
"_analyzer":{
"path":"lang"
},
"properties":{
"lang":{
"type":"keywords",
"index":"not_analyzed"
}
}
}
}
}
lang字段的值是Elasticsearch知道的分析器的名字相同的值。
使用加权影响得分
加权
加权适用于下列地方:
- query:给定查询是复杂查询的一部分,且比其他部分更重要
- field:重要字段的加权
{
"query":{
"query_string":{
"fields":[
"from^5",
"to^10",
"subject"
],
"query":"john"
}
}
}
假定一个索引含有from,to,subject三个字段,现在搜索john,以上查询将生成3个小查询,最后组合结果,to字段权重最大,from字段次之。
function_score查询
{
"query":{
"function_score":{
"query":{
},
"filter":{
},
"functions":[
{
"filter":{
},
"FUNCTION":{
}
}
],
"boost_mode":"",
"score_mode":"",
"max_boost":"",
"boost":""
}
}
}
一般来说,function_score查询中可以使用查询、过滤、函数和附加参数。每个函数可以有一个过滤器定义要应用的过滤结果。
function_score背后的逻辑是首先匹配文档基于score_mode参数计算得分,然后,文档的查询得分由函数计算所得分数结合而成,结合基于boost_mode参数。
boost_mode定义如何将函数查询所计算分数与查询分数结合起来。取值如下
- multiply:默认行为,查询得分与函数得分相乘
- replace:查询的得分忽略,只用函数得分
- sum
- avg
- max
- min
score_mode定义函数计算得分如何结合在一起,取值如下:
- multiply:默认
- sum
- avg
- first
- max
- min
function节点中的可用函数如下:
- boost_factor函数:文档得分乘以一个给定值
- script_score函数:使用脚本计算得分,函数返回得分
- random_score:通过指定seed值生成一个伪随机分数,为了模拟随性,每次都应该指定一个新的seed
- decay函数:基于一个单值得数值型字段计算而来
索引加权
查询加权尽管很强大,但是如果在建立文档的时候就知道哪些字段重要,可以在索引时加权,这样效率也更高。
索引加权既可以通过在插入数据的时候实现,也可以在定义映射的时候加权。
同义词
同义词过滤器
过滤器的类型属性(type)设置为synonym,synonyms属性包括同义词如"crime=>criminality";如果同义词是一个文件,并且在config目录下,则可以通过synonym_path设置
同义词规则
- 显式同义词:crime=>criminality
- 等效同义词:war, star wars
- 扩展同义词:a,b => c,d a或b将被扩展到c和d
Elasticsearch--更好的搜索_加权得分,脚本,同义词的更多相关文章
- ElasticSearch 2 (18) - 深入搜索系列之控制相关度
ElasticSearch 2 (18) - 深入搜索系列之控制相关度 摘要 处理结构化数据(比如:时间.数字.字符串.枚举)的数据库只需要检查一个文档(或行,在关系数据库)是否与查询匹配. 布尔是/ ...
- ElasticSearch 2 (15) - 深入搜索系列之多字段搜索
ElasticSearch 2 (15) - 深入搜索系列之多字段搜索 摘要 查询很少是简单的一句话匹配(one-clause match)查询.很多时候,我们需要用相同或不同的字符串查询1个或多个字 ...
- 转:在ElasticSearch之下(图解搜索的故事)
ElasticSearch 2 (9) - 在ElasticSearch之下(图解搜索的故事) 摘要 先自上而下,后自底向上的介绍ElasticSearch的底层工作原理,试图回答以下问题: 为什么我 ...
- Elasticsearch java api 基本搜索部分详解
文档是结合几个博客整理出来的,内容大部分为转载内容.在使用过程中,对一些疑问点进行了整理与解析. Elasticsearch java api 基本搜索部分详解 ElasticSearch 常用的查询 ...
- ElasticSearch 2 (9) - 在ElasticSearch之下(图解搜索的故事)
ElasticSearch 2 (9) - 在ElasticSearch之下(图解搜索的故事) 摘要 先自上而下,后自底向上的介绍ElasticSearch的底层工作原理,试图回答以下问题: 为什么我 ...
- ElasticSearch 2 (17) - 深入搜索系列之部分匹配
ElasticSearch 2 (17) - 深入搜索系列之部分匹配 摘要 到目前为止,我们介绍的所有查询都是基于完整术语的,为了匹配,最小的单元为单个术语,我们只能查找反向索引中存在的术语. 但是, ...
- ElasticSearch 2 (16) - 深入搜索系列之近似度匹配
ElasticSearch 2 (16) - 深入搜索系列之近似度匹配 摘要 标准的全文搜索使用TF/IDF处理文档.文档里的每个字段或一袋子词.match 查询可以告诉我们哪个袋子里面包含我们搜索的 ...
- ElasticSearch 2 (14) - 深入搜索系列之全文搜索
ElasticSearch 2 (14) - 深入搜索系列之全文搜索 摘要 在看过结构化搜索之后,我们看看怎样在全文字段中查找相关度最高的文档. 全文搜索两个最重要的方面是: 相关(relevance ...
- ElasticSearch 2 (13) - 深入搜索系列之结构化搜索
ElasticSearch 2 (13) - 深入搜索系列之结构化搜索 摘要 结构化查询指的是查询那些具有内在结构的数据,比如日期.时间.数字都是结构化的.它们都有精确的格式,我们可以对这些数据进行逻 ...
随机推荐
- Access restriction: The type 'JPEGImageWriter' is not API
报错: Access restriction: The type 'JPEGImageWriter' is not API due to restriction on required library ...
- test markdown 写博客
欢迎使用 Cmd Markdown 编辑阅读器 我们理解您需要更便捷更高效的工具记录思想,整理笔记.知识,并将其中承载的价值传播给他人,Cmd Markdown 是我们给出的答案 -- 我们为记录思想 ...
- mysql的时间戳说白了就俩问题,自动更新问题和不自动更新问题
mysql的时间戳timestamp说白了就俩问题,自动更新问题和不自动更新问题
- Jmeter执行java脚本结束时提示:The JVM should have exited but did not.
使用jmeter对dubbo进行压测时,需要使用jmeter的sampler里的java请求 使用./jmeter.sh -n -t test.jmx -l test.jmx -o -e test后台 ...
- 让你完全理解base64是怎么回事
HTTP将BASE64-编码用于基本认证和摘要认证,在几种HTTP扩展中也使用了该编码. Base-64编码保证了二进制数据的安全 Base-64编码可以将任意一组字节转换为较长的常见文本字符序列,从 ...
- NPOI2.2.0.0实例详解(十)—设置EXCEL单元格【文本格式】 NPOI 单元格 格式设为文本 HSSFDataFormat
NPOI2.2.0.0实例详解(十)—设置EXCEL单元格[文本格式] 2015年12月10日 09:55:17 阅读数:3150 using System; using System.Collect ...
- C语言之基本算法21—可逆素数
/* ================================================================== 题目:可逆素数是指一个数是素数,逆序后还是素数,如ABC是素 ...
- DirectX11 学习笔记7 - 支持自由移动的摄像机
如今将又一次制定一个camera摄像机.能够自由移动. 比方前进 后退,上游 下潜. 各个方向渲染之类的. 首先设置按键. 这个时候须要在 XWindow.h 里面 bool XWindow::fra ...
- POJ3254 状压dp
Corn ...
- YTU 2631: B1 能存各种类型数据的Store类
2631: B1 能存各种类型数据的Store类 时间限制: 1 Sec 内存限制: 128 MB 提交: 245 解决: 177 题目描述 有一种类,海纳百川,可以对任意类型的数据进行存取,造就 ...