aggregation 详解3(bucket aggregation)

概述

桶分聚合不进行权值的计算,他们对文档根据聚合请求中提供的判断条件(比如:{"from":0,  "to":100})来进行分组(桶分)。

桶分聚合还会额外返回每一个桶内文档的个数。

桶分聚合可以包含子聚合——sub-aggregations(权值聚合不能包含子聚合),子聚合将会应用到由父(parent)聚合产生的每一个桶上。

桶分聚合根据聚合条件,可以只定义输出一个桶;也可以输出多个;还可以在根据聚合条件动态确定桶个数(比如:terms aggregation)。

Histogram Aggregation(multi-bucket)

直方图聚合——基于文档中的某个【数值类型】字段,通过计算来动态的分桶。

一个文档属于某个桶,计算过程大致如下:

rem = value % interval
if (rem < 0) {
    rem += interval
}
bucket_key = value - rem

配置参数

  • field:字段,必须为数值类型
  • interval:分桶间距
  • min_doc_count:最少文档数桶过滤,只有不少于这么多文档的桶才会返回
  • extended_bounds:范围扩展
  • order:对桶排序,如果 histogram 聚合有一个权值聚合类型的"直接"子聚合,那么排序可以使用子聚合中的结果
  • offset:桶边界位移,默认从0开始
  • keyed:hash结构返回,默认以数组形式返回每一个桶
  • missing:配置缺省默认值
{
    "aggs" : {
        "prices" : {
            "histogram" : {
                "field" : "price",
                "interval" : 50,
                "min_doc_count" : 1,
                "extended_bounds" : {
                    "min" : 0,
                    "max" : 500
                },
                "order" : { "_count" : "desc" },
                "keyed":true,
                "missing":0
            }
        }
    }
}

Data Histogram Aggregation(multi-bucket)

日期直方图聚合——基于日期类型,以【日期间隔】来桶分聚合。

可用的时间间隔类型为:year、quarter、month、week、day、hour、minute、second,其中,除了year、quarter 和 month,其余可用小数形式。

配置参数

  • field:
  • interval:
  • format:定义日期的格式,配置后会返回一个 key_as_string 的字符串类型日期(默认只有key)
  • time_zone:定义时区,用作时间值的调整
  • offset:
  • missing:
{
    "aggs" : {
        "articles_over_time" : {
            "date_histogram" : {
                "field" : "date",
                "interval" : "month",
                "format" : "yyyy-MM-dd",
                "time_zone": "+08:00"
            }
        }
    }
}

Range Aggregation(multi-bucket)

范围聚合——基于某个值(可以是 field 或 script),以【字段范围】来桶分聚合。

范围聚合包括 from 值,不包括 to 值(区间前闭后开)。

配置参数

  • ranges:配置区间,数组,每一个元素是一个区间。例如:[{from:0}, {from:50, to:100}, {to:200}]
  • keyed:以一个关联的唯一字符串作为键,以 HASH 形式返回,而不是默认的数组
  • script:利用 script 执行结果替代普通的 field 值进行聚合。script可以用file给出,还可以对其它 field 进行求值计算。
{
    "aggs" : {
        "price_ranges" : {
            "range" : {
                "field" : "price",
                "ranges" : [                       //包含 3 个桶
                    { "to" : 50 },
                    { "from" : 50, "to" : 100 },
                    { "from" : 100 }
                ],
                "keyed" : true
            }
        }
    }
}

Date Range Aggregation(multi-bucket)

日期范围聚合——基于日期类型的值,以【日期范围】来桶分聚合。

日期范围可以用各种 Date Math 表达式。

同样的,包括 from 的值,不包括 to 的值。

配置参数

  • format:定义日期格式,配置后会返回一个 [to/from]_as_string 的字符串类型日期,默认是 to/from 的数值表示
{
    "aggs": {
        "range": {
            "date_range": {
                "field": "date",
                "format": "MM-yyy",
                "ranges": [                            //包含 3 个桶
                    { "to": "now-10M/M" },
                    { "from": "now-10M/M" },
                    {"from":"1970-1-1", "to":"2000-1-1"}
                ]
            }
        }
    }
}

Terms Aggregation(multi-bucket)

词元聚合——基于某个field,该 field 内的每一个【唯一词元】为一个桶,并计算每个桶内文档个数。

默认返回顺序是按照文档个数多少排序。

当不返回所有 buckets 的情况,文档个数可能不准确。

配置参数

  • size:size用来定义需要返回多个 buckets(防止太多),默认会全部返回。(注意,如果只返回部分buckets,统计的文档个数不一定准确(每个分片各自的top size个)。size 越大,count 会越精确。)
  • order:排序方式
  • min_doc_count:只返回文档个数不小于该值的 buckets
  • script:用基本来生成词元
  • include:包含过滤
  • exclude:排除过滤
  • execution_hint:
  • collect_mode:
  • missing:
{
    "aggs" : {
        "genders" : {
            "terms" : {
              "field" : "gender",
              "size" : 5,
              "order" : { "_count" : "asc" },
              "min_doc_count": 10,
              "include" : ".*sport.*",
              "exclude" : "water_.*",
              "missing": "N/A"
            }
        }
    }
}

Filters Aggregation(multi-bucket)

多过滤聚合——基于多个过滤条件,来对当前文档进行【过滤】的聚合,每个过滤都包含所有满足它的文档(多个bucket中可能重复)。

配置参数

  • filters: 配置过滤条件,支持 HASH 或 数组格式
  • other_bucket: 是否计算不满足任何匹配条件的文档
  • other_bucket_key: 作为不匹配所有过滤条件的文档的 bucket 名称
{
  "aggs" : {
    "messages" : {
      "filters" : {
        "other_bucket_key": "other_messages",                //不在过滤条件范围内的文档都归属于 other_messages 桶
        "filters" : {                                        //过滤条件
          "errors" :   { "term" : { "body" : "error"   }},
          "warnings" : { "term" : { "body" : "warning" }}
        }
      },
      "aggs" : {
        "monthly" : {
          "histogram" : {
            "field" : "timestamp",
            "interval" : "1M"
          }
        }
      }
    }
  }
}

Filter Aggregation(single-bucket)

过滤聚合——基于一个条件,来对当前的文档进行过滤的聚合。

{
    "aggs" : {
        "red_products" : {
            "filter" : { "term": { "color": "red" } },
            "aggs" : {
                "avg_price" : { "avg" : { "field" : "price" } }
            }
        }
    }
}

IPv4 Range Aggregation(multi-bucket)

IP4聚合——基于一个 IPv4 字段,对文档进行【IPv4范围】的桶分聚合。

和 Range Aggregation 类似,只是应用字段必须是 IPv4 数据类型。

{
    "aggs" : {
        "ip_ranges" : {
            "ip_range" : {
                "field" : "ip",
                "ranges" : [                                //包含 3 个桶,各个桶之间可能有文档重复
                    { "to" : "10.0.0.5" },
                    { "from" : "10.0.0.5" },
                    { "from":"1.1.1.1", "to" : "10.0.0.5" },
                ]
            }
        }
    }
}

Nested Aggregation(single-bucket)

嵌套类型聚合——基于嵌套(nested)数据类型,把该【嵌套类型的信息】聚合到单个桶里,然后就可以对嵌套类型做进一步的聚合操作。

// resellers 是一个嵌套类型
{
    ...
    "product" : {
        "properties" : {
            "resellers" : {
                "type" : "nested",
                "properties" : {
                    "name" : { "type" : "string" },
                    "price" : { "type" : "double" }
                }
            }
        }
    }
}
// 对 nested 对象里面的信息做其它聚合操作
{
    "query" : {
        "match" : { "name" : "led tv" }
    },
    "aggs" : {
        "resellers" : {
            "nested" : {                           //"嵌套类型聚合"把所有嵌套信息都包含在单一的桶里,以供进一步处理
                "path" : "resellers"
            },
            "aggs" : {
                "min_price" : { "min" : { "field" : "resellers.price" } }   //对嵌套类型聚合输出的桶做进一步处理,这里是计算其 price 的 average
            }
        }
    }
}
时间: 2024-10-10 16:01:47

aggregation 详解3(bucket aggregation)的相关文章

aggregation 详解4(pipeline aggregations)

概述 管道聚合处理的对象是其它聚合的输出(桶或者桶的某些权值),而不是直接针对文档. 管道聚合的作用是为输出增加一些有用信息. 管道聚合大致分为两类: parent 此类聚合的"输入"是其[父聚合]的输出,并对其进行进一步处理.一般不生成新的桶,而是对父聚合桶信息的增强. sibling 此类聚合的输入是其[兄弟聚合]的输出.并能在同级上计算新的聚合. 管道聚合通过 buckets_path 参数指定他们要进行聚合计算的权值对象,buckets_path 参数有其自己的使用语法. 管道

aggregation 详解2(metrics aggregations)

概述 权值聚合类型从需要聚合的文档中取一个值(value)来计算文档的相应权值(比如该值在这些文档中的max.sum等). 用于计算的值(value)可以是文档的字段(field),也可以是脚本(script)生成的值. 数值权值聚合是特殊的权值聚合类型,因为它的输出权值也是数字. 数值权值聚合(注意分类只针对数值权值聚合,非数值的无此分类)输出单个权值的,叫做 single-value numeric metrics,其它生成多个权值(比如:stats)的被叫做 multi-value num

Storm概念、原理详解及其应用(一)BaseStorm

本文借鉴官文,添加了一些解释和看法,其中有些理解,写的比较粗糙,有问题的地方希望大家指出.写这篇文章,是想把一些官文和资料中基础.重点拿出来,能总结出便于大家理解的话语.与大多数"wordcount"代码不同的是,并不会有如何运行第一storm代码等内容,只有在运行完代码后,发现需要明白:"知其然,并知其所以然". Storm是什么?为什么要用Storm?为什么不用Spark? 第一个问题,以下概念足以解释: Storm是基于数据流的实时处理系统,提供了大吞吐量的实

【转】UML类图与类的关系详解

UML类图与类的关系详解   2011-04-21 来源:网络   在画类图的时候,理清类和类之间的关系是重点.类的关系有泛化(Generalization).实现(Realization).依赖(Dependency)和关联(Association).其中关联又分为一般关联关系和聚合关系(Aggregation),合成关系(Composition).下面我们结合实例理解这些关系. 基本概念 类图(Class Diagram): 类图是面向对象系统建模中最常用和最重要的图,是定义其它图的基础.类

【深度学习&amp;分布式】Parameter Server 详解

Parameter Server 详解 本博客仅为作者记录笔记之用,不免有很多细节不对之处. 还望各位看官能够见谅,欢迎批评指正. 更多相关博客请猛戳:http://blog.csdn.net/cyh_24 如需转载,请附上本文链接:http://blog.csdn.net/cyh_24/article/details/50545780 MXNet 是李沐(李少帅)和陈天奇等各路英雄豪杰打造的开源深度学习框架(最近不能更火了),其中最吸引我的是它的分布式训练的特性:而提供支持其分布式训练特性的正

UML类图与类的关系详解--转

http://www.uml.org.cn/oobject/201104212.asp 原文地址 UML类图与类的关系详解   2011-04-21 来源:网络   在画类图的时候,理清类和类之间的关系是重点.类的关系有泛化(Generalization).实现(Realization).依赖(Dependency)和关联(Association).其中关联又分为一般关联关系和聚合关系(Aggregation),合成关系(Composition).下面我们结合实例理解这些关系. 基本概念 类图(

计算机网路中CDP,LLDP,STP的详解

CDP,LLDP,STP知识详解 (1) CDP CDP(Cisco Discovery Protoco:Cisco发现协议)是Cisco专有的用来发现邻接点的协议 ,所有的Cisco产品都支持CDP.CDP只显示直接相连的邻居信息,如果中间隔了一个其他设备,也就是跨设备的话,CDP是不能发现的,所以CDP的目的是获取直接相邻设备的信息.CDP非常有助于验证一台路由器是否连在它邻居的适当端口. 要运行CDP协议,物理介质必须支持SNAP协议(SubNetwork Access Protocol:

详解Kafka: 大数据开发最火的核心技术

详解Kafka: 大数据开发最火的核心技术 架构师技术联盟 2019-06-10 09:23:51 本文共3268个字,预计阅读需要9分钟. 广告 大数据时代来临,如果你还不知道Kafka那你就真的out了(快速掌握Kafka请参考文章:如何全方位掌握Kafka核心技术)!据统计,有三分之一的世界财富500强企业正在使用Kafka,包括所有TOP10旅游公司,7家TOP10银行,8家TOP10保险公司,9家TOP10电信公司等等. LinkedIn.Microsoft和Netflix每天都用Ka

H3C三层交换机之IRF虚拟化技术详解及配置

博文大纲: 一.IRF是什么? 二.IRF技术的优点 三.IRF的相关基本概念 四.IRF的运行模式与配置方式 五.IRF的角色选举 六.IRF技术的配置详解 七.IRF及MAD配置的显示及维护命令 一.IRF是什么? 目前,网络中主要存在两种结构的通信设备,固定盒式设备和模块框式分布式设备.固定盒式设备成本低廉,但没有高可用性支持:模块框式分布式设备具有高可用性.高性能.高端口密度的优点,但投入成本高.针对盒式设备和模块框式分布式设备的这些特点,一种结合了两种设备优点的IRF虚拟化技术应运而生