Elasticsearch中关于transform的一个问题?
背景:现在有一个业务,派件业务,业务员今天去派件(扫描产生一条派件记录),派件可能会有重复派件的情况,第二天再派送(记录被更新,以最新的派件操作为准)。现在需要分业务员按天统计每天的派件数量。
es版本:7.15.1
1、创建索引:
PUT t_test_001
{
"settings": {
"number_of_shards": 1,
"number_of_replicas": 1
},
"mappings": {
"properties": {
"city_id": {
"type": "long"
},
"city_name": {
"type": "keyword"
},
"create_time": {
"type": "date"
},
"push_date": {
"type": "date"
},
"update_time": {
"type": "date"
}
}
}
}
2、插入测试数据
POST /t_test_001/_bulk
{ "index": {}}
{ "order_no" : 1,"employee":"张三", "create_time" : "2021-12-06T08:00:00.000Z", "push_date" : "2021-12-06T08:00:00.000Z", "update_time" : "2021-12-06T08:00:00.000Z"}
{ "index": {}}
{ "order_no" : 2,"employee":"张三", "create_time" : "2021-12-06T08:00:00.000Z", "push_date" : "2021-12-06T08:00:00.000Z", "update_time" : "2021-12-06T08:00:00.000Z"}
{ "index": {}}
{ "order_no" : 3,"employee":"张三", "create_time" : "2021-12-07T00:00:00.000Z", "push_date" : "2021-12-07T00:00:00.000Z", "update_time" : "2021-12-07T00:00:00.000Z"}
{ "index": {}}
{ "order_no" : 4,"employee":"张三", "create_time" : "2021-12-07T00:00:00.000Z", "push_date" : "2021-12-07T00:00:00.000Z", "update_time" : "2021-12-07T00:00:00.000Z"}
{ "index": {}}
{ "order_no" : 5,"employee":"王五", "create_time" : "2021-12-06T08:00:00.000Z", "push_date" : "2021-12-06T08:00:00.000Z", "update_time" : "2021-12-06T08:00:00.000Z"}
{ "index": {}}
{ "order_no" : 6,"employee":"王五", "create_time" : "2021-12-06T08:00:00.000Z", "push_date" : "2021-12-06T08:00:00.000Z", "update_time" : "2021-12-06T08:00:00.000Z"}
{ "index": {}}
{ "order_no" : 7,"employee":"王五", "create_time" : "2021-12-07T00:00:00.000Z", "push_date" : "2021-12-07T00:00:00.000Z", "update_time" : "2021-12-07T00:00:00.000Z"}
{ "index": {}}
{ "order_no" : 8,"employee":"王五", "create_time" : "2021-12-07T00:00:00.000Z", "push_date" : "2021-12-07T00:00:00.000Z", "update_time" : "2021-12-07T00:00:00.000Z"}
3、查询一下看看
GET /t_test_001/_search
{
"size": 10
}
结果:
{
"took" : 0,
"timed_out" : false,
"_shards" : {
"total" : 1,
"successful" : 1,
"skipped" : 0,
"failed" : 0
},
"hits" : {
"total" : {
"value" : 8,
"relation" : "eq"
},
"max_score" : 1.0,
"hits" : [
{
"_index" : "t_test_001",
"_type" : "_doc",
"_id" : "GLztkn0BDKE3xmcewwIG",
"_score" : 1.0,
"_source" : {
"order_no" : 1,
"employee" : "张三",
"create_time" : "2021-12-06T08:00:00.000Z",
"push_date" : "2021-12-06T08:00:00.000Z",
"update_time" : "2021-12-06T08:00:00.000Z"
}
},
{
"_index" : "t_test_001",
"_type" : "_doc",
"_id" : "Gbztkn0BDKE3xmcewwIG",
"_score" : 1.0,
"_source" : {
"order_no" : 2,
"employee" : "张三",
"create_time" : "2021-12-06T08:00:00.000Z",
"push_date" : "2021-12-06T08:00:00.000Z",
"update_time" : "2021-12-06T08:00:00.000Z"
}
},
{
"_index" : "t_test_001",
"_type" : "_doc",
"_id" : "Grztkn0BDKE3xmcewwIG",
"_score" : 1.0,
"_source" : {
"order_no" : 3,
"employee" : "张三",
"create_time" : "2021-12-07T00:00:00.000Z",
"push_date" : "2021-12-07T00:00:00.000Z",
"update_time" : "2021-12-07T00:00:00.000Z"
}
},
{
"_index" : "t_test_001",
"_type" : "_doc",
"_id" : "G7ztkn0BDKE3xmcewwIG",
"_score" : 1.0,
"_source" : {
"order_no" : 4,
"employee" : "张三",
"create_time" : "2021-12-07T00:00:00.000Z",
"push_date" : "2021-12-07T00:00:00.000Z",
"update_time" : "2021-12-07T00:00:00.000Z"
}
},
{
"_index" : "t_test_001",
"_type" : "_doc",
"_id" : "HLztkn0BDKE3xmcewwIG",
"_score" : 1.0,
"_source" : {
"order_no" : 5,
"employee" : "王五",
"create_time" : "2021-12-06T08:00:00.000Z",
"push_date" : "2021-12-06T08:00:00.000Z",
"update_time" : "2021-12-06T08:00:00.000Z"
}
},
{
"_index" : "t_test_001",
"_type" : "_doc",
"_id" : "Hbztkn0BDKE3xmcewwIG",
"_score" : 1.0,
"_source" : {
"order_no" : 6,
"employee" : "王五",
"create_time" : "2021-12-06T08:00:00.000Z",
"push_date" : "2021-12-06T08:00:00.000Z",
"update_time" : "2021-12-06T08:00:00.000Z"
}
},
{
"_index" : "t_test_001",
"_type" : "_doc",
"_id" : "Hrztkn0BDKE3xmcewwIG",
"_score" : 1.0,
"_source" : {
"order_no" : 7,
"employee" : "王五",
"create_time" : "2021-12-07T00:00:00.000Z",
"push_date" : "2021-12-07T00:00:00.000Z",
"update_time" : "2021-12-07T00:00:00.000Z"
}
},
{
"_index" : "t_test_001",
"_type" : "_doc",
"_id" : "H7ztkn0BDKE3xmcewwIG",
"_score" : 1.0,
"_source" : {
"order_no" : 8,
"employee" : "王五",
"create_time" : "2021-12-07T00:00:00.000Z",
"push_date" : "2021-12-07T00:00:00.000Z",
"update_time" : "2021-12-07T00:00:00.000Z"
}
}
]
}
}
4、创建一个transform,将数据按天、业务员 聚合
PUT _transform/t_test_transform
{
"id": "t_test_transform",
"source": {
"index": [
"t_test_001"
]
},
"dest": {
"index": "t_test_x"
},
"frequency": "60s",
"sync": {
"time": {
"field": "update_time",
"delay": "60s"
}
},
"pivot": {
"group_by": {
"employee": {
"terms": {
"field": "employee"
}
},
"push_date": {
"date_histogram": {
"field": "push_date",
"calendar_interval": "1d"
}
}
},
"aggregations": {
"sum_all": {
"value_count": {
"field": "_id"
}
}
}
}
}
5、开启transform
POST _transform/t_test_transform/_start
6、查看transform转换的索引结果
GET /t_test_x/_search
{}
结果:如图,张三2021-12-06和07号各派送两单:
7、12月7号,订单order_no = 1的单子再次被张三派送;数据被更新
POST /t_test_001/_update/GLztkn0BDKE3xmcewwIG
{
"doc": {
"push_date": "2021-12-07T03:27:12.000Z",
"update_time": "2021-12-07T03:27:12.000Z"
}
}
注意模拟操作数据的真实性,更新时间在上一个检查点之后!
8、预期transfrom转换的结果是:张三12-6号的派单统计数据由2减少为1;12-7号的派单数据从2增加到3。
9、查询transform转换的索引结果
GET /t_test_x/_search
{}
结果:张三12-6号的派单统计数据为2没有减少,不符合预期;12-7号的派单数据为3,符合预期。
10,再查询一下原始数据:
GET /t_test_001/_search
{}
11、再统计一下数据:
GET /t_test_001/_search
{
"size": 0,
"aggs": {
"employee": {
"terms": {
"field": "employee"
},
"aggs": {
"push_date": {
"date_histogram": {
"field": "push_date",
"calendar_interval": "1d"
}
}
}
}
}
}
结果很显然:张三 12-06号配送量为1,12-07号配送量为3!!!而transform统计的结果,此时就错了!!!这个怎么理解呢?是他es的transform不支持这种场景数据变化的聚合,还是说这是一个bug呢?我理解,可能是因为考虑到性能的原因,es的transform在这种场景下是有这种问题的。
若有错误之处,望大家指正。谢谢。
Elasticsearch中关于transform的一个问题?的更多相关文章
- ELASTICSEARCH 中暂时移除一个节点
ELASTICSEARCH 中暂时移除一个节点 版权声明 本站原创文章 由 萌叔 发表 转载请注明 萌叔 | http://vearne.cc 前言 在维护ES集群的过程中,我们会经常遇到将某个ES实 ...
- 使用Hive或Impala执行SQL语句,对存储在Elasticsearch中的数据操作(二)
CSSDesk body { background-color: #2574b0; } /*! zybuluo */ article,aside,details,figcaption,figure,f ...
- 在Elasticsearch中查询Term Vectors词条向量信息
这篇文章有点深度,可能需要一些Lucene或者全文检索的背景.由于我也很久没有看过Lucene了,有些地方理解的不对还请多多指正. 更多内容还请参考整理的ELK教程 关于Term Vectors 额, ...
- 使用Hive或Impala执行SQL语句,对存储在Elasticsearch中的数据操作
http://www.cnblogs.com/wgp13x/p/4934521.html 内容一样,样式好的版本. 使用Hive或Impala执行SQL语句,对存储在Elasticsearch中的数据 ...
- 一文带您了解 Elasticsearch 中,如何进行索引管理(图文教程)
欢迎关注笔者的公众号: 小哈学Java, 每日推送 Java 领域干货文章,关注即免费无套路附送 100G 海量学习.面试资源哟!! 个人网站: https://www.exception.site/ ...
- Elasticsearch中使用groovy脚本处理boolean字段的一个问题
Elasticsearch中使用groovy脚本获取文档的bool字段值时,得到的值是字符的 'T' 或者 'F' ,而不是bool值 true 和 false . 比如文档中有一个字段是 { &qu ...
- 如何在Elasticsearch中安装中文分词器(IK+pinyin)
如果直接使用Elasticsearch的朋友在处理中文内容的搜索时,肯定会遇到很尴尬的问题--中文词语被分成了一个一个的汉字,当用Kibana作图的时候,按照term来分组,结果一个汉字被分成了一组. ...
- elasticsearch中常用的API
elasticsearch中常用的API分类如下: 文档API: 提供对文档的增删改查操作 搜索API: 提供对文档进行某个字段的查询 索引API: 提供对索引进行操作,查看索引信息等 查看API: ...
- elasticsearch中的API
elasticsearch中的API es中的API按照大类分为下面几种: 文档API: 提供对文档的增删改查操作 搜索API: 提供对文档进行某个字段的查询 索引API: 提供对索引进行操作 查看A ...
随机推荐
- MySQL 的架构与组件
MySQL 的逻辑架构图设计图 连接/线程处理:管理客户端连接/会话[mysql threads] 解析器:通过检查SQL查询中的每个字符来检查SQL语法,并为每个SQL查询生成 SQL_ID. 此 ...
- Spring源码解读(二):Spring AOP
一.AOP介绍 面向方面编程(AOP)通过提供另一种思考程序结构的方式来补充面向对象编程(OOP).OOP中模块化的关键单元是类,而在AOP中,模块化单元是方面.方面实现了诸如跨越多种类型和对象的事务 ...
- 『学了就忘』Linux基础 — 8、虚拟机网络模式说明
目录 1.虚拟机网卡 2.网络连接模式对应工作的网卡 3.桥接模式说明 4.补充说明 这篇主要总结一下虚拟机网络配置中桥接模式.NAT模式和仅主机模式的区别. 打开VMware,选中虚拟机,点击网络适 ...
- readelf
readelf的help内容如下所示: Usage: readelf <option(s)> elf-file(s) Display information about the conte ...
- PCIE学习链接集合
<PCIE基础知识+vivado IP core设置> https://blog.csdn.net/eagle217/article/details/81736822 <一步一步开始 ...
- 求1+2+3...+n 牛客网 剑指Offer
求1+2+3...+n 牛客网 剑指Offer 题目描述 求1+2+3+...+n,要求不能使用乘除法.for.while.if.else.switch.case等关键字及条件判断语句(A?B:C). ...
- Python 字符串的encode与decode
python的str,unicode对象的encode和decode方法 python中的str对象其实就是"8-bit string" ,字节字符串,本质上类似java中的byt ...
- hdu 5056 Boring count (类似单调队列的做法。。)
给一个由小写字母构成的字符串S,问有多少个子串满足:在这个子串中每个字母的个数都不超过K. 数据范围: 1<=T<= 1001 <= the length of S <= 10 ...
- 近期业务大量突增微服务性能优化总结-4.增加对于同步微服务的 HTTP 请求等待队列的监控
最近,业务增长的很迅猛,对于我们后台这块也是一个不小的挑战,这次遇到的核心业务接口的性能瓶颈,并不是单独的一个问题导致的,而是几个问题揉在一起:我们解决一个之后,发上线,之后发现还有另一个的性能瓶颈问 ...
- c++学习笔记6(结构化程序设计的不足)
结构化程序设计 c语言使用结构化程序设计: 程序=数据结构+算法 程序有全局变量以及众多相互调用的函数组成 算法以函数的形式实现,用于对数据结构进行操作 结构化程序设计不足 软件业的目标是更快,更正确 ...