前言

在上上一篇中介绍了ElasticSearch实战系列三: ElasticSearch的JAVA API使用教程,介绍了ElasticSearch Java API基础的语法,基本的增删改查(对应SQL语句), 本篇则来介绍一下ElasticSearch 聚合查询的使用JAVA API 和 DSL语句的使用 。

ElasticSearch Aggregation

聚合框架有助于基于搜索查询提供聚合数据。它基于称为聚合的简单构建块,可以进行组合以构建复杂的数据摘要。

聚合可以看作是在一组文档上建立分析信息的工作单元。执行的上下文定义此文档集是什么(例如,顶级聚合在搜索请求的已执行查询/过滤器的上下文中执行)。

有许多不同类型的聚合,每种聚合都有自己的目的和输出。为了更好地理解这些类型,通常更容易将它们分为四个主要家族:

  • Metric:

在一组文档上跟踪和计算指标的聚合。这些值通常是从文档的字段中提取的(使用字段数据),但也可以使用脚本生成。

  • Bucketing:

生成存储桶的一组聚合,其中每个存储桶都与一个键和一个文档条件相关联。执行聚合时,将对上下文中的每个文档评估所有存储桶条件,并且当条件匹配时,该文档将被视为“落入”相关存储桶。到聚合过程结束时,我们将得到一个存储桶列表-每个存储桶都有一组“属于”的文档。

  • Matrix:

操作多个字段并根据从请求的文档字段中提取的值生成矩阵结果的集合。与Metric和Bucketing不同,这个聚合不支持脚本!

  • Pipeline:

它聚合其他聚合的输出及其相关的Metric。

由于每个存储桶有效地定义了一个文档集(所有文件都属于该存储桶),因此可以潜在地在存储桶级别关联聚合,并且这些聚合将在该存储桶的上下文中执行。这就是聚合真正的力量所在:聚合可以嵌套!

存储桶聚合可以具有子聚合(存储桶或指标)。子聚合将针对其父聚合生成的存储桶进行计算。嵌套聚合的级别/深度没有硬性限制(可以将一个聚合嵌套在“父”聚合下,该“父”聚合本身是另一种更高级别的聚合的子聚合)。

聚合作用于double数据的表示形式。因此,当运行绝对值大于的多头时,结果可能是近似的2^53。

度量(Metric)聚合

数值指标聚合是一种特殊类型的指标聚合,可输出数值。一些聚合输出单个数值度量(例如avg)并被称为single-value numeric metrics aggregation,其他聚合则生成多个度量(例如stats)并被称为multi-value numeric metrics aggregation。当这些值充当某些存储桶聚合的直接子聚合(某些存储桶聚合使您可以基于每个存储桶中的数字度量对返回的存储桶进行排序)时,单值和多值数字度量聚合之间的区别将发挥作用。

度量(Metric)聚合在ElasticSearch官方文档中有很中聚合,这里我只列举我们最常用的几个聚合示例。

avg 聚合

计算的平均个从聚集的文档中提取数值。这些值可以从文档中的特定数字字段中提取,也可以由提供的脚本生成。

这里我们用一个示例来进行说明,得到一个班级的学生分数平均分数。

DSL语句示例:

POST /student/_search?size=0
{
"aggs" : {
"avg_grade" : { "avg" : { "field" : "grade" } }
}
}

注: grade 字段类型必须是整型

当然,如果成绩还包含权重(weight)的话,我们可以为其添加权重.

权重: 在计算常规平均值时,每个数据点都具有相等的``权重''...它对最终值的贡献均等。可以理解为权重值越大,就越靠前,加权公式为: ∑(value * weight) / ∑(weight).

DSL语句示例:

POST /student/_search
{
"size": 0,
"aggs" : {
"weighted_grade": {
"weighted_avg": {
"value": {
"field": "grade"
},
"weight": {
"field": "weight"
}
}
}
}
}

max/min 聚合

这里我们用一个示例来进行说明,得到班级的最高分和最低分。

DSL语句示例:

POST /student/_search?size=0
{
"aggs" : {
"max_grade" : { "max" : { "field" : "grade" } }
}
} POST /student/_search?size=0
{
"aggs" : {
"min_grade" : { "min" : { "field" : "grade" } }
}
}

sum聚合

得到某字段总和的值。

DSL语句示例:

POST /student/_search?size=0
{ "aggs" : {
"sum_grade" : { "sum" : { "field" : "grade" } }
}
}

top 聚合

一个top_hits指标聚合不断被聚合跟踪最相关的文档。该聚合器旨在用作子聚合器,以便可以按存储分区汇总最匹配的文档。该top_hits聚合器可以有效地通过某些字段经由铲斗聚合器用于将结果集。一个或多个存储桶聚合器确定将结果集切成哪些属性。

选件

  • from -与您要提取的第一个结果的偏移量。
  • size-每个存储区返回的最匹配匹配项的最大数量。默认情况下,返回前三个匹配项。

    sort-热门匹配项的排序方式。默认情况下,命中按主要查询的分数排序。

这里我们依旧通过一个示例来进行说明。

根据grade(成绩)降序取前2条数据,字段只包含grade(成绩)和name(姓名)。

DSL语句示例:

POST /student/_search?size=0
{
"aggs": {
"top_tags": {
"terms": {
"field": "grade",
"size": 2
},
"aggs": {
"top_sales_hits": {
"top_hits": {
"sort": [
{
"grade": {
"order": "desc"
}
}
],
"_source": {
"includes": [ "grade", "name" ]
},
"size" : 1
}
}
}
}
}
}

JAVA代码示例


/**
* @Author pancm
* @Description 平均聚合查询测试用例
* @Date 2019/4/1
* @Param []
* @return void
**/
private static void avgSearch() throws IOException { String buk="t_grade_avg";
//直接求平均数
AggregationBuilder aggregation = AggregationBuilders.avg(buk).field("grade");
logger.info("求班级的平均分数:");
agg(aggregation,buk); } private static void maxSearch() throws IOException{
String buk="t_grade";
AggregationBuilder aggregation = AggregationBuilders.max(buk).field("grade");
logger.info("求班级的最高分数:");
agg(aggregation,buk);
} private static void sumSearch() throws IOException{
String buk="t_grade";
AggregationBuilder aggregation = AggregationBuilders.sum(buk).field("grade");
logger.info("求班级的总分数:");
agg(aggregation,buk);
} private static SearchResponse search(AggregationBuilder aggregation) throws IOException {
SearchRequest searchRequest = new SearchRequest();
searchRequest.indices("student");
searchRequest.types("_doc");
SearchSourceBuilder searchSourceBuilder = new SearchSourceBuilder();
//不需要解释
searchSourceBuilder.explain(false);
//不需要原始数据
searchSourceBuilder.fetchSource(false);
//不需要版本号
searchSourceBuilder.version(false);
searchSourceBuilder.aggregation(aggregation);
logger.info("查询的语句:"+searchSourceBuilder.toString());
searchRequest.source(searchSourceBuilder);
// 同步查询
SearchResponse searchResponse = client.search(searchRequest, RequestOptions.DEFAULT);
return searchResponse;
} protected static void agg(AggregationBuilder aggregation, String buk) throws IOException{
SearchResponse searchResponse = search(aggregation);
if(RestStatus.OK.equals(searchResponse.status())) {
// 获取聚合结果
Aggregations aggregations = searchResponse.getAggregations(); if(buk.contains("avg")){
//取子聚合
Avg ba = aggregations.get(buk);
logger.info(buk+":" + ba.getValue());
logger.info("------------------------------------");
}else if(buk.contains("max")){
//取子聚合
Max ba = aggregations.get(buk);
logger.info(buk+":" + ba.getValue());
logger.info("------------------------------------"); }else if(buk.contains("min")){
//取子聚合
Min ba = aggregations.get(buk);
logger.info(buk+":" + ba.getValue());
logger.info("------------------------------------");
}else if(buk.contains("sum")){
//取子聚合
Sum ba = aggregations.get(buk);
logger.info(buk+":" + ba.getValue());
logger.info("------------------------------------");
}else if(buk.contains("top")){
//取子聚合TopHits
TopHits ba = aggregations.get(buk);
logger.info(buk+":" + ba.getHits().totalHits);
logger.info("------------------------------------");
} }
}

其它

参考:

https://www.elastic.co/guide/en/elasticsearch/reference/6.5/search-aggregations.html

本篇文章的代码已收录在本人的java-study项目中,若有兴趣,欢迎star、fork和issues。

项目地址:https://github.com/xuwujing/java-study

ElasticSearch实战系列:

音乐推荐

原创不易,如果感觉不错,希望给个推荐!您的支持是我写作的最大动力!

版权声明:

作者:虚无境

博客园出处:http://www.cnblogs.com/xuwujing

CSDN出处:http://blog.csdn.net/qazwsxpcm    

个人博客出处:http://www.panchengming.com

ElasticSearch实战系列五: ElasticSearch的聚合查询基础使用教程之度量(Metric)聚合的更多相关文章

  1. ElasticSearch实战系列十: ElasticSearch冷热分离架构

    前言 本文主要介绍ElasticSearch冷热分离架构以及实现. 冷热分离架构介绍 冷热分离是目前ES非常火的一个架构,它充分的利用的集群机器的优劣来实现资源的调度分配.ES集群的索引写入及查询速度 ...

  2. ElasticSearch实战系列十一: ElasticSearch错误问题解决方案

    前言 本文主要介绍ElasticSearch在使用过程中出现的各种问题解决思路和办法. ElasticSearch环境安装问题 1,max virtual memory areas vm.max_ma ...

  3. ElasticSearch实战系列二: ElasticSearch的DSL语句使用教程---图文详解

    前言 在上一篇中介绍了ElasticSearch集群和kinaba的安装教程,本篇文章就来讲解下 ElasticSearch的DSL语句使用. ElasticSearch DSL 介绍 Elastic ...

  4. ElasticSearch实战系列四: ElasticSearch理论知识介绍

    前言 在前几篇关于ElasticSearch的文章中,简单的讲了下有关ElasticSearch的一些使用,这篇文章讲一下有关 ElasticSearch的一些理论知识以及自己的一些见解. 虽然本人是 ...

  5. ElasticSearch实战系列三: ElasticSearch的JAVA API使用教程

    前言 在上一篇中介绍了ElasticSearch实战系列二: ElasticSearch的DSL语句使用教程---图文详解,本篇文章就来讲解下 ElasticSearch 6.x官方Java API的 ...

  6. ElasticSearch实战系列一: ElasticSearch集群+Kinaba安装教程

    前言 本文主要介绍的是ElasticSearch集群和kinaba的安装教程. ElasticSearch介绍 ElasticSearch是一个基于Lucene的搜索服务器,其实就是对Lucene进行 ...

  7. ElasticSearch实战系列六: Logstash快速入门和实战

    前言 本文主要介绍的是ELK日志系统中的Logstash快速入门和实战 ELK介绍 ELK是三个开源软件的缩写,分别表示:Elasticsearch , Logstash, Kibana , 它们都是 ...

  8. ElasticSearch实战系列七: Logstash实战使用-图文讲解

    前言 在上一篇中我们介绍了Logstash快速入门,本文主要介绍的是ELK日志系统中的Logstash的实战使用.实战使用我打算从以下的几个场景来进行讲解. 时区问题解决方案 在我们使用logstas ...

  9. ElasticSearch实战系列八: Filebeat快速入门和使用---图文详解

    前言 本文主要介绍的是ELK日志系统中的Filebeat快速入门教程. ELK介绍 ELK是三个开源软件的缩写,分别表示:Elasticsearch , Logstash, Kibana , 它们都是 ...

随机推荐

  1. lambda concurrent List<Map> to Map

    Object c = Stream.of( CompletableFuture.supplyAsync(() -> { Map m = new HashMap(); try { Thread.s ...

  2. vue中axios的post请求使用form表单格式发送数据

    vue使用插件qs实现 (qs 是一个增加了一些安全性的查询字符串解析和序列化字符串的库.) 在jquery中的ajax的方法已将此封装,所以不需要再次序列化 1. 安装   在项目中使用命令行工具输 ...

  3. Perl语言入门:第九章 使用正则表达式处理文本 示例程序和代码

    #! /usr/bin/perl use strict; use warnings; print "\n----------------------------------_substitu ...

  4. Metasploit详解

    title date tags layout Metasploit 详解 2018-09-25 Metasploit post 一.名词解释 exploit 测试者利用它来攻击一个系统,程序,或服务, ...

  5. mediawiki资料

    1.如何通过ip访问mediawiki --- http://blog.sina.com.cn/s/blog_3f2a2b8e01000awx.html 发布到外部网络,更改htfp.config里面 ...

  6. BaseAdapter教程(1) 最简单地使用BaseAdapter

    Adapter就是适配器,而设计模式里也有Adapter Pattern. 而BaseAdapter就是设计模式里的思维,把一些不相关的东西放进去,经过适配器,最终都会出产同一样的东西. 就像Base ...

  7. [LC] 1055. Shortest Way to Form String

    From any string, we can form a subsequence of that string by deleting some number of characters (pos ...

  8. 吴裕雄--天生自然 JAVA开发学习:集合框架

    import java.util.*; public class Test{ public static void main(String[] args) { List<String> l ...

  9. Python爬虫之爬取站内所有图片

    title date tags layut Python爬虫之爬取站内所有图片 2018-10-07 Python post 目标是 http://www.5442.com/meinv/ 如需在非li ...

  10. sqlserver中的数据导到mysql相关

    一.在sqlserver中生成数据表脚本,粘贴到记事本中,如下语法要进行替换 1.int IDENTITY (1, 1) NOT NULL——>id int unsigned NOT NULL ...