Elasticsearch系列---常见搜索方式与聚合分析
概要
本篇主要介绍常见的6种搜索方式、聚合分析语法,基本是上机实战,可以和关系型数据库作对比,如果之前了解关系型数据库,那本篇只需要了解搜索和聚合的语法规则就可以了。
搜索响应报文
以上篇建立的music索引为例,我们先看看搜索结果的属性都有哪些
{
"took": 1,
"timed_out": false,
"_shards": {
"total": 5,
"successful": 5,
"skipped": 0,
"failed": 0
},
"hits": {
"total": 1,
"max_score": 1,
"hits": [
{
"_index": "music",
"_type": "children",
"_id": "1",
"_score": 1,
"_source": {
"name": "gymbo",
"content": "I hava a friend who loves smile, gymbo is his name",
"length": "75"
}
}
]
}
}
主要的参数说明如下:
- took:耗费时间,单位是毫秒。
- timed_out:是否超时,true有超时,false没超时。
- _shards:数据拆成了5个分片,所以对于搜索请求,会到所有的primary shard查询,或是它的某个replica shard。
- hits.total:符合查询条件的数量,1个document。
- hits.max_score:score是符合条件的document评分的最大值。
- hits.hits.score: 这个层级的score表示当前document对search条件的相关度的匹配分数,越相关,就越匹配,分数也高。
- hits.hits:包含了匹配搜索条件的document的详细数据。
搜索方式
query string search
搜索所有数据
GET /music/children/_search
带条件搜索
GET /music/children/_search?q=name:gymbo&sort=length:asc
此搜索语法的特点是所有的条件、排序全部用http请求的query string来附带的。这种语法一般是演示或curl命令行简单查询时使用,不适用构建复杂的查询条件,生产已经很少用了。
Query DSL
DSL:Domain Specified Language特定领域语言
http request body:请求体格式,body用json构建语法,可以构建各种复杂的语法。
查询所有数据
GET /music/children/_search
{
"query":{
"match_all": {}
}
}
带条件+排序:
GET /music/children/_search
{
"query":{
"match": {
"name": "gymbo"
}
},
"sort":[{"length":"desc"}]
}
分页查询,size从0开始,下面的命令取第10条到第19条数据
GET /music/children/_search
{
"query": {
"match_all":{}
},
"from": 10,
"size": 10
}
指定要查询出来的属性
GET /music/children/_search
{
"query": {
"match_all" : {}
},
"_source": ["name","content"]
}
query filter
带多个条件过滤:歌曲名称是gymbo,并且时长在65到80秒之间的
GET /music/children/_search
{
"query":{
"bool":{
"must": [
{"match": {
"name": "gymbo"
}}
],
"filter": {"range": {
"length": {
"gte": 65,
"lte": 80
}
}}
}
}
}
全文检索
GET /music/children/_search
{
"query":{
"match": {
"content":"friend smile"
}
}
}
搜索的结果是按相关度分数来排序的,搜索条件中的content field,在新增document时已经建立倒排索引,然后按匹配度最高的来排序,全文索引的原理。
短语检索
GET /music/children/_search
{
"query":{
"match_phrase": {
"content":"friend smile"
}
}
}
全文检索match会拆词,大小写不敏感,然后去倒排索引里去匹配,phrase search不分词,大小写敏感,要求搜索串完全一样才匹配。
高亮检索
GET /music/children/_search
{
"query":{
"match_phrase":{
"content":"friend smile"
}
},
"highlight": {
"fields": {
"content":{}
}
}
}
匹配的关键词会高亮显示,高亮的内容用标签达到标记效果。
聚合分析
聚合分析类似于关系型数据的分组统计,并且用的语法名称很多都与mysql类似,在这里,能看到很多熟悉的方法。
单field分组统计
需求:统计每种语言下的歌曲数量。
size为0表示不显示符合条件的document记录,只显示统计信息,不写的话默认值是10
GET /music/children/_search
{
"size": 0,
"aggs": {
"group_by_lang": {
"terms": {
"field": "language"
}
}
}
}
响应结果:
{
"took": 3,
"timed_out": false,
"_shards": {
"total": 5,
"successful": 5,
"skipped": 0,
"failed": 0
},
"hits": {
"total": 1,
"max_score": 0,
"hits": []
},
"aggregations": {
"group_by_lang": {
"doc_count_error_upper_bound": 0,
"sum_other_doc_count": 0,
"buckets": [
{
"key": "english",
"doc_count": 1
}
]
}
}
}
如果聚合查询时出现如下错误提示:
"root_cause": [
{
"type": "illegal_argument_exception",
"reason": "Fielddata is disabled on text fields by default. Set fielddata=true on [language] in order to load fielddata in memory by uninverting the inverted index. Note that this can however use significant memory. Alternatively use a keyword field instead."
}
]
需要将用于分组的字段的fielddata属性设置为true
PUT /music/_mapping/children
{
"properties": {
"language": {
"type": "text",
"fielddata": true
}
}
}
带查询条件的分组统计
需求:对歌词中出现"friend"的歌曲,计算每个语种下的歌曲数量
GET /music/children/_search
{
"size": 0,
"query": {
"match": {
"content": "friend"
}
},
"aggs": {
"all_languages": {
"terms": {
"field": "language"
}
}
}
}
求平均值
需求:计算每个语种下的歌曲,平均时长是多少
GET /music/children/_search
{
"size": 0,
"aggs": {
"group_by_languages": {
"terms": {
"field": "language"
},
"aggs": {
"avg_length": {
"avg": {
"field": "length"
}
}
}
}
}
}
分组后排序
需求:计算每个语种下的歌曲,平均时长是多少,并按平均时长降序排序
GET /music/children/_search
{
"size": 0,
"aggs": {
"group_by_languages": {
"terms": {
"field": "language",
"order": {
"avg_length": "desc"
}
},
"aggs": {
"avg_length": {
"avg": {
"field": "length"
}
}
}
}
}
}
嵌套查询,区间分组+分组统计+平均值
需求:按照指定的时长范围区间进行分组,然后在每组内再按照语种进行分组,最后再计算时长的平均值
GET /music/children/_search
{
"size": 0,
"aggs": {
"group_by_price": {
"range": {
"field": "length",
"ranges": [
{
"from": 0,
"to": 60
},
{
"from": 60,
"to": 120
},
{
"from": 120,
"to": 180
}
]
},
"aggs": {
"group_by_languages": {
"terms": {
"field": "language"
},
"aggs": {
"average_length": {
"avg": {
"field": "length"
}
}
}
}
}
}
}
}
批量查询
上面的示例请求,都是单个单个发的,Elasticsearch还有一种语法,可以合并多个请求进行批量查询,这样可以减少每个请求单独的网络开销,最基础的语法示例如下:
GET /_mget
{
"docs": [
{
"_index" : "music",
"_type" : "children",
"_id" : 1
},
{
"_index" : "music",
"_type" : "children",
"_id" : 2
}
]
}
mget下面的docs参数是一个数组,数组里面每个元素都可以定义一个文档的_index、_type和_id元数据,_index可相同也可不相同,也可以定义_source元数据指定想要的field。
响应的示例:
{
"docs": [
{
"_index": "music",
"_type": "children",
"_id": "1",
"_version": 4,
"found": true,
"_source": {
"name": "gymbo",
"content": "I hava a friend who loves smile, gymbo is his name",
"language": "english",
"length": "75",
"likes": 0
}
},
{
"_index": "music",
"_type": "children",
"_id": "2",
"_version": 13,
"found": true,
"_source": {
"name": "wake me, shark me",
"content": "don't let me sleep too late, gonna get up brightly early in the morning",
"language": "english",
"length": "55",
"likes": 9
}
}
]
}
响应同样是一个docs数组,数组长度与请求时保持一致,如果有文档不存在、未搜索到或者别的原因导致报错,不影响整体的结果,mget的http响应码仍然是200,每个文档的搜索都是独立的。
如果批量查询的文档是在同一个index下面,可以将_index元数据(_type元数据我也顺便移走)移到请求行中:
GET /music/children/_mget
{
"docs": [
{
"_id" : 1
},
{
"_id" : 2
}
]
}
或者是直接使用更简单的ids数组:
GET /music/children/_mget
{
"ids":[1,2]
}
查询结果是一样的。
mget的重要性
mget是非常重要的,在进行查询的时候,如果一次性要查询多条数据,那么一定要用batch批量操作的api,尽可能减少网络开销次数,可能可以将性能提升数倍,甚至数十倍。
小结
本篇介绍了最常用的搜索、批量查询和聚合场景的写法,包含分组统计,平均值,排序,区间分组。这是最基本的套路,基本包含了我们常见的需求,熟悉mysql的话,掌握起来非常快,熟悉一下Restful的语法,基本就OK了。
专注Java高并发、分布式架构,更多技术干货分享与心得,请关注公众号:Java架构社区
Elasticsearch系列---常见搜索方式与聚合分析的更多相关文章
- ES系列十四、ES聚合分析(聚合分析简介、指标聚合、桶聚合)
一.聚合分析简介 1. ES聚合分析是什么? 聚合分析是数据库中重要的功能特性,完成对一个查询的数据集中数据的聚合计算,如:找出某字段(或计算表达式的结果)的最大值.最小值,计算和.平均值等.ES作为 ...
- Elasticsearch学习笔记(三)聚合分析Agg
一.设置fielddata PUT /index/_mapping/type { "properties":{ "fieldName" ...
- Elasticsearch系列---初识搜索
概要 本篇主要介绍搜索的报文结构含义.搜索超时时间的处理过程,提及了一下多索引搜索和轻量搜索,最后将精确搜索与全文搜索做了简单的对比. 空搜索 搜索API最简单的形式是不指定索引和类型的空搜索,它将返 ...
- Elasticsearch系列---实战搜索语法
概要 本篇介绍Query DSL的语法案例,查询语句的调试,以及排序的相关内容. 基本语法 空查询 最简单的搜索命令,不指定索引和类型的空搜索,它将返回集群下所有索引的所有文档(默认显示10条): G ...
- ElasticSearch 简单的 搜索 聚合 分析
一. 搜索1.DSL搜索 全部数据没有任何条件 GET /shop/goods/_search { "query": { "match_all": {} } } ...
- elasticsearch系列六:聚合分析(聚合分析简介、指标聚合、桶聚合)
一.聚合分析简介 1. ES聚合分析是什么? 聚合分析是数据库中重要的功能特性,完成对一个查询的数据集中数据的聚合计算,如:找出某字段(或计算表达式的结果)的最大值.最小值,计算和.平均值等.ES作为 ...
- Elasticsearch 之聚合分析入门
本文主要介绍 Elasticsearch 的聚合功能,介绍什么是 Bucket 和 Metric 聚合,以及如何实现嵌套的聚合. 首先来看下聚合(Aggregation): 什么是 Aggregati ...
- elasticsearch系列四:搜索详解(搜索API、Query DSL)
一.搜索API 1. 搜索API 端点地址 从索引tweet里面搜索字段user为kimchy的记录 GET /twitter/_search?q=user:kimchy 从索引tweet,user里 ...
- Elasticsearch 6.x版本全文检索学习之聚合分析入门
1.什么是聚合分析? 答:聚合分析,英文为Aggregation,是es除搜索功能外提供的针对es数据做统计分析的功能.特点如下所示: a.功能丰富,提供Bucket.Metric.Pipeline等 ...
随机推荐
- opencv::形态学操作
形态学操作 开操作- open 闭操作- close 形态学梯度- Morphological Gradient 顶帽 – top hat 黑帽 – black hat 开操作- open 先腐蚀后膨 ...
- vue 页面滚动到原位置
哈哈哈,昨天登QQ的时候,意外发现有人看了我写的博客,居然还加了我,这就激起了我内心的小波澜啊 公司最近在做电商,用的前端框架依然是VUE 矩MAX(微信公众号)可以搜的到哦,安卓商店或苹果AppSt ...
- shell数组(四)
[root@ipha-dev71- exercise_shell]# cat test.sh #!/bin/bash my_array=(a b c d) echo "第一个元素为:${my ...
- OTA升级详解(一)
不积跬步,无以至千里: 不积小流,无以成江海. 出自荀子<劝学篇> 1.概念解释 OTA是何物? 英文解释为 Over The Air,既空中下载的意思,具体指远程无线方式,OTA 技术可 ...
- UIAlert
转自:https://blog.csdn.net/deng0zhaotai/article/details/53887508 通过uialertcontroller实现三种简易弹框 (一)警告类 - ...
- 2017.12.21 学习vue的新得
温故而知新,这句话说的真的有道理.每次回顾vue总会学到不一样的知识点,我就在想,我第一遍到底看了什么? 废话不多说,简要记录今天的所得: 1.v-if 与 v-show 同:都是条件渲染 异:渲染的 ...
- URL中文参数,JSON转换,PHP赋值JS
var jsonProps = { "dispMode":dispMode, "autoRun":autoRun, "clientPath" ...
- AB实验的高端玩法系列3 - AB组不随机?观测试验?Propensity Score
背景 都说随机是AB实验的核心,为什么随机这么重要呢?有人说因为随机所以AB组整体不存在差异,这样才能准确估计实验效果(ATE) \[ ATE = E(Y_t(1) - Y_c(0)) \] 那究竟随 ...
- 编译原理实验 NFA子集法构造DFA,DFA的识别 c++11实现
实验内容 将非确定性有限状态自动机通过子集法构造确定性有限状态自动机. 实验步骤 1,读入NFA状态.注意最后需要设置终止状态. 2,初始态取空,构造DFA的l0状态,将l0加入未标记状态队列que ...
- Head First设计模式——单例模式
单例模式是所有设计模式中最简单的模式,也是我们平常经常用到的,单例模式通常被我们应用于线程池.缓存操作.队列操作等等. 单例模式旨在创建一个类的实例,创建一个类的实例我们用全局静态变量或者约定也能办到 ...