Are we ready for learned Cardinality Estimation

摘要

文章包括三大部分:

  • 对于一个静态的数据库,本文将五种基于学习的基数估计方法与九中传统的基数估计方法在四个现实世界的数据集和统一的工作负载上进行了比较。结果说明基于学习的基数估计方法比传统方法更加准确,但也需要更多训练和推理的开销。
  • 探索在动态的数据库中,基于学习的基数估计方法是否能够表现出色,结果证明基于学习的基数估计方法不能很好的实时的捕捉到数据的更新,经常会产生一些较大的误差,而在更新环境不高的环境下,它们虽然表现的更好,但也没有明显的胜出。
  • 深入了解了基于学习的基数估计方法,并探索了它们什么时候会出错。结果显示,数据之间相关性、数据偏斜度、和数据域大小的变化会很大程度上影响基于学习的技术估计方法。更重要的是,它们的表现无法被很好的说明,是不可预测的

    基于上述探索发现,文章给出了两个未来的研究方向:

    1. 减少学习模型训练和推理的开销
    2. 增强学习模型的置信度

引言

简单论述了一下ML FOR DB,提出了三个问题:

  • ready for static enviroment?
  • ready for dynamic enviroment?
  • when learned models go wrong?

learned cardinality estimation

文中本节介绍了一下基数估计问题的描述:

  • 对于一个拥有\(n\)个属性的关系\(R\),我们现在有一个在\(R\)上的\(d\)个查询谓词构成的查询语句例如

    SELECT COUNT(*) FROM R

    WHERE \(\theta_1\) AND \(\cdots\) and \(\theta_d\),

    其中 \(\theta_i\) 等价为一个查询谓词例如\(A = a\),基数估计的任务就是回答\(R\)中有多少元组满足这个查询。选择度问题是一个与之等价的问题,它返回的是满足元组占全部数据的占比。

  • 该节将现有的基于学习的基数估计方法分成两类:

    1. Regression:MSCN、LW-(XGB/NN)、DQM-Q
    2. Joint Distribution:Naru、DeepDB、DQM-D

Regression 方法论

  • 训练阶段

    • 构造一个查询池并将真实的CE result作为label
    • 将每一条查询语句输入查询特征模型,模型根据查询信息和数据库中的一些统计信息(如一些小的采样集)将查询语句转换成不同的向量
    • 将<vector,label>作为训练集放在回归模型中做训练
  • 推理阶段
    • 用和训练中同样的过程将查询语句转换成特征向量
    • 使用训练好的回归模型得到label
  • 遇到数据库更新时,必须同时更新查询池和label,产生新的特征向量并重新训练模型。

MSCN

  • 将查询语句转换成为一条包含三模块的特征向量(table,join,predict)
  • 每个模块都是一个两层的神经网络,不同模块的输出连接起来作为最终输出网络的输入

Joint Distribution 方法论

  • 训练阶段:

    • 训练出一个联合分布模型表示数据
  • 推理阶段:
    • 给定查询,他会想模型生成若干个请求,并将模型推断的结果合并作为最终的CE result
  • 对于数据库更新,需要更新或重新训练联合分布模型。

Naru & DQM-Q

  • 用乘法法则将联合分布近似成条件分布
\[P(A_1,A_2,\cdots,A_N)=P(A_1)P(A_2|A_1)\cdots P(A_N|A_1,\cdots,A_{n-1})
\]

sum-product Network

  • 递归的将表拆解成行集群(作为sum点)和列集群(作为product点),假设不同的列集群是独立的用乘积节点将它们合并。K-MEANS用于集群行;随机化依赖系数用于识别独立列

目前实验中的问题

  • 许多新提出的基于学习的基数估计方法没有直接的相互比较
  • 没有一个标准的数据集,工作负载的实验表针
  • 现有的实验都集中在静态的环境上

Experimental Setup

  • 评估标准:Q-error
\[{error} = \frac{max({est(q)},act(q))}{min({est(q)},{act(q)})}
\]

For static enviroment

  • 基于学习的方法比传统方法明显更加准确

  • Naru是更加准确并且稳定的方法

  • LW-XGB在大多数情况下可以实现最小的q-error,但在max q-error中无法击败MNSCN

  • 在LW-XGB/NN中误差较大的查询均有如下特征

    • 每个选择谓词的选择性都很大,但连接起来后,选择性变得很小
  • MSCN可以很好的避免上述类型的查询可能是因为在它的输入中使用了一些采样数据。

  • Naru将所有列建模为离散值,并学习它们的嵌入式表示,这使得改模型非常适合应用于一些数据域较小的数据集(离散值的数量较少)。

  • 基于学习的模型得到更好的准确度的同时,花费了更大的开销。

  • 小结

    1. learned model 准确率更高
    2. 除了LW-XGB,其他学习模型的训练时间都高于DBMS产品的方法
    3. regression models在推理阶段的时间与传统方法差不多,但Joint Distribution models需要更多的推理时间
    4. 超参数调优是一项额外开销

For dynamic enviroment

  • 数据库更新流程;

    • 给定一个时间段\([0,T]\),假设有\(n\)个查询平均分布在这个时间段内。拿Naru举例,Naru更新model需要\(0.75T\)时间,也就是说有\(75%\)的查询使用旧的模型做的,更新成功后,还要用新模型对\(75\%\)的查询重新做一次估计。
  • 然后就是基于上述流程做实验,分析数据,小结如下
    • 基于学习的模型并不能跟上数据的快速更新,其中MSCN、LW-NN、Naru和DeepDB错误率很大
    • 在基于学习的模型当中,大家效果都差不多,没啥特别出彩的。在不频繁更新的环境下,Naru表现最好;在更多更新的环境下LW-XGB表现更好。
    • 数据驱动方法中DeepDB更新最快,查询驱动方法中LW-XGB更新最快
    • 更新时间和准确率有一个权衡困难,还需要大量研究
    • GPU能够提高性能,设计一个能从GPU中获益的模型很重要。

When learned methods go wrong?

  • 传统方法的一个有点就是它们的透明度,当它们的一些假设条件被违反时,就会产生较大的误差。但基于学习的方法不透明,缺乏理解。这一节中,我们想知道基于学习的方法产生一些较大错误的原因。
  • 做的一些实验,对数据的一些分析
  • 小结
    • 几乎所有基于学习的模型在面对相关性高的数据时都会产生更大的误差,当两列出现函数依赖时,max q-error会变得很高

Research opportunity

  • 效率和精度的权衡

    • 使用采样的方法代替全部数据
    • 渐进采样
    • 训练时早停
    • 模型压缩
  • 超参数调优方面优化

    • 随机搜索
    • 贝叶斯优化
    • bandit-based 方法
  • 增强学习模型的可信度

相关工作

单表基数估计

  • 直方图使用最为广泛,工业应用
  • 基于采样的方法可以支持一些比范围查询更复杂的查询谓词的基数估计
  • 一些传统的机器学习的方法
    • 曲线拟合
    • KDE
    • uniform mixture model

多表连接问题

  • 传统方法假设不同表之间的数据均匀独立分布

Are we ready for learned cardinality estimation?的更多相关文章

  1. 萌新笔记——Cardinality Estimation算法学习(一)(了解基数计算的基本概念及回顾求字符串中不重复元素的个数的问题)

    最近在菜鸟教程上自学redis.看到Redis HyperLogLog的时候,对"基数"以及其它一些没接触过(或者是忘了)的东西产生了好奇. 于是就去搜了"HyperLo ...

  2. SQL Server 2014里的针对基数估计的新设计(New Design for Cardinality Estimation)

    对于SQL Server数据库来说,性能一直是一个绕不开的话题.而当我们去分析和研究性能问题时,执行计划又是一个我们一直关注的重点之一. 我们知道,在进行编译时,SQL Server会根据当前的数据库 ...

  3. 解读Cardinality Estimation<基数估计>算法(第一部分:基本概念)

    基数计数(cardinality counting)是实际应用中一种常见的计算场景,在数据分析.网络监控及数据库优化等领域都有相关需求.精确的基数计数算法由于种种原因,在面对大数据场景时往往力不从心, ...

  4. HyperLogLog in Practice: Algorithmic Engineering of a State of The Art Cardinality Estimation Algorithm

    HyperLogLog参考下面这篇blog, http://blog.codinglabs.org/articles/algorithms-for-cardinality-estimation-par ...

  5. Cardinality Estimation算法学习(一)(了解基数计算的基本概念及回顾求字符串中不重复元素的个数的问题)

    最近在菜鸟教程上自学redis.看到Redis HyperLogLog的时候,对“基数”以及其它一些没接触过(或者是忘了)的东西产生了好奇. 于是就去搜了“HyperLogLog”,从而引出了Card ...

  6. Deep Upsupervised Cardinality Estimation 解读(2019 VLDB)

    Deep Upsupervised Cardinality Estimation 本篇博客是对Deep Upsupervised Cardinality Estimation的解读,原文连接为:htt ...

  7. A Unified Deep Model of Learning from both Data and Queries for Cardinality Estimation 论文解读(SIGMOD 2021)

    A Unified Deep Model of Learning from both Data and Queries for Cardinality Estimation 论文解读(SIGMOD 2 ...

  8. Fauce:Fast and Accurate Deep Ensembles with Uncertainty for Cardinality Estimation 论文解读(VLDB 2021)

    Fauce:Fast and Accurate Deep Ensembles with Uncertainty for Cardinality Estimation 论文解读(VLDB 2021) 本 ...

  9. 用HTTP服务的方式集成learned cardinality estimate方法进 Postgresql

    代码地址:postgresql-13.1-ml: Integration of CardEst Methods into PostgreSQL by HTTP Server (github.com) ...

随机推荐

  1. PolarDB PostgreSQL Buffer Management 原理

    背景介绍 传统数据库的主备架构,主备有各自的存储,备节点回放WAL日志并读写自己的存储,主备节点在存储层没有耦合.PolarDB的实现是基于共享存储的一写多读架构,主备使用共享存储中的一份数据.读写节 ...

  2. P3352-[ZJOI2016]线段树【dp】

    正题 题目链接:https://www.luogu.com.cn/problem/P3352 题目大意 \(n\)个数字的一个序列,每次随机选择一个区间让这个区间所有数等于这个区间的最大值,重复\(q ...

  3. P4457-[BJOI2018]治疗之雨【期望dp,高斯消元】

    正题 题目链接:https://www.luogu.com.cn/problem/P4457 题目大意 开始一个人最大生命值为\(n\),剩余\(hp\)点生命,然后每个时刻如果生命值没有满那么有\( ...

  4. 测试用例 setup 和 和 teardown

    前言 学过unittest的都知道里面用前置和后置setup呾teardown非常好用,在每次用例开始前呾结束后都去执行一次.当然迓有更高级一点的 setupClass 呾 teardownClass ...

  5. CreateRemoteThread创建远程线程

    要实现线程的远程注入必须使用Windows提供的CreateRemoteThread函数来创建一个远程线程 该函数的原型如下: HANDLE CreateRemoteThread( HANDLE hP ...

  6. 模拟赛T2 交换 解题报告

    模拟赛T2 交换 解题报告 题目大意: 给定一个序列和若干个区间,每次从区间中选择两个数修改使字典序最小. \(n,m\) 同阶 \(10^6\) 2.1 算法 1 按照题意模拟,枚举交换位置并比较. ...

  7. 2020.12.3--vj个人赛补题

    A Vasya studies music.He has learned lots of interesting stuff. For example, he knows that there are ...

  8. 新一代数据科学ide平台DataSpell提前发行版体验

    1 简介 PyCharm开发公司jetbrains专门面向数据科学的ide项目DataSpell在前不久发布了其EAP版本(早期预览版本),为我们带来了诸多趋于成熟的功能特性,本文就将为大家介绍其使用 ...

  9. 《手把手教你》系列技巧篇(三十四)-java+ selenium自动化测试-单选和多选按钮操作-中篇(详解教程)

    1.简介 今天这一篇宏哥主要是讲解一下,如何使用list容器来遍历单选按钮.大致两部分内容:一部分是宏哥在本地弄的一个小demo,另一部分,宏哥是利用JQueryUI网站里的单选按钮进行实战. 2.d ...

  10. [no code][scrum meeting] Beta 8

    $( "#cnblogs_post_body" ).catalog() 例会时间:5月22日15:30,主持者:赵涛 下次例会时间:5月23日11:30,主持者:肖思炀 一.工作汇 ...