CMU Database Systems - Query Optimization
查询优化应该是数据库领域最难的topic
当前查询优化,主要有两种思路,
Rules-based,基于先验知识,用if-else把优化逻辑写死
Cost-based,试图去评估各个查询计划的cost,选取cost比较小的
一个sql query的处理流程,
先是Parser,生成抽象语法树ast,Binder会去做元数据对应,把parse出来的name对应到数据库中的结构,表,字段等
然后Rewriter就是Rules-based的改写,而Optimizer是cost-based的优化
Relational Algebra Equivalences
做查询优化的前提是,查询的结果是不能变的
无论你查询怎么优化,最终得到的结果是一样的,那么就称他们是,关系代数等价
对于不同的operator,有些通用的优化rules,
这里给些例子,
Selections
对于selection,尽量下推,谓词下推,尽量早做
Projections
projection也是应该尽早去做,不需要的字段就根本不用读出来
Joins
对于Join是符合交换律和结合律的,但是对于多表join,你需要尝试的可能性是非常多的
Cost Estimation
cost-based的查询优化,关键就是要能够知道cost
如何预估cost是很复杂的问题
当前的思路,就是我们会事先对数据表,列,索引做些统计,并存储到catalog里面,然后后面就根据这些统计数据来预估cost
主要的统计数据,包含两项,行数和每一列的distinct values的个数
然后有个概念,selection cardinality,两个相除,就是平均每个value多少行
这里的假设是数据是均匀分布,很naive
有了这些概念,我们就可以来定义复杂谓词,操作,的selectivity,筛选率
Equality,Range
Equality的定义有些confuse,SC(P),SC(age=2)啥意思?
其实以range的逻辑看,这里就应该是,A列一共有5个值,当前Equality只取其中一个,所以五分之一,就这么简单
Conjunction和Disjunction
右图中,应该是 - sel(P1 交 P2)
Join,对于join,这个cost算的很粗糙,比如R表中的行数 * 每行在S中的cardinality
平均分布问题
当前算cost,都是假设平均分布,这个明显是很不合理的
但是如果对于每个value都去记录一个统计,明显不可行,太多了
所以有如下几种近似方法,
一种,每个value bucket都去统计太多,那就分组,这样每个组记录一个统计,组内仍然假设平均分布
分组可以有两种方式,第一个是固定bucket数,或者固定组内bucket统计和差不多,叫等宽
还有种更直接的方式,sampling
Query Optimization
上面说的cost estimation的方法都很naive,但是如果我们能准确的预估执行计划的cost,那么如何真正的做查询优化?
这里分为三种情况,
Single Relation,Multiple relations, Nested Sub-queries
Single Relation,比较简单,单关系表的查询
所以关键就是选择合理的access method,是顺序扫描,还是用各种索引
这里有个概念,sargable,数据库专有概念,意思是查询或执行计划可以用索引来优化的
OLTP的查询往往都是sargable的,所以通过简单的启发式的方式就可以找到优化方法
Multiple relations
多关系表join就比较复杂了
除了要选择各个表的access method
还需要选择各个表的join顺序和join算法
其中选择join顺序是个cost很高的事情,因为可能性和search space会比较的大
这里介绍IBM R的方法,它把join顺序简化成,只考虑Left-deep tree(右图最左边这个)
这样search space会大幅缩小,另外特意选择left-deep tree的原因是,这种join结构,比较容易pipeline执行,比如下图,a b的join结果直接可以用于和c join,当中间结果不是很大的时候,不需要不断地的把结果写到磁盘
对于Multiple relations,可以尝试用动态规划来选择best plan
更为形象的例子来说明如何逐步筛选plan
第一步是选择join的顺序,可以首先把明显低效的,比如做cross-products的Prune掉
然后根据cost model找出best的plan
第二步是选择join算法,这里有Nested Loop和Hash Join
第三步是选择access method,
Nested Sub-queries
第三种更为复杂一些,在有子SQL的时候,如何优化?
有两种方式,一种是通过rewrite,把嵌套的子语句flatten掉,如右图的例子
另一种方法,是decompose,如下面的例子
子句是要获取最大的rating,这个反复去执行一定是低效的,所以,干脆把这个语句拿出来单独执行,结果放在临时表,然后执行主语句的时候把值填回去
CMU Database Systems - Query Optimization的更多相关文章
- CMU Database Systems - Query Processing
Query Model Query处理有三种方式, 首先是Iterator model,这是最基本的model,又称为volcano,pipeline模式 他是top-down的模式,通过next函数 ...
- CMU Database Systems - Database Recovery
数据库数据丢失的典型场景如下, 数据commit后,还没有来得及flush到disk,这时候crash就会丢失数据 当然这只是fail的一种情况,DataBase Recovery要讨论的是,在各种f ...
- CMU Database Systems - Storage and BufferPool
Database Storage 存储分为volatile和non-volatile,越快的越贵越小 那么所以要解决的第一个问题就是,如果尽量在有限的成本下,让读写更快些 意思就是,尽量读写volat ...
- CMU Database Systems - Timestamp Ordering Concurrency Control
2PL是悲观锁,Pessimistic,这章讲乐观锁,Optimistic,单机的,非分布式的 Timestamp Ordering,以时间为序,这个是非常自然的想法,按每个transaction的时 ...
- CMU Database Systems - Concurrency Control Theory
并发控制是数据库理论里面最难的课题之一 并发控制首先了解一下事务,transaction 定义如下, 其实transaction关键是,要满足ACID属性, 左边的正式的定义,由于的intuitive ...
- CMU Database Systems - Parallel Execution
并发执行,主要为了增大吞吐,降低延迟,提高数据库的可用性 先区分一组概念,parallel和distributed的区别 总的来说,parallel是指在物理上很近的节点,比如本机的多个线程或进程,不 ...
- CMU Database Systems - Two-phase Locking
首先锁是用来做互斥的,解决并发执行时的数据不一致问题 如图会导致,不可重复读 如果这里用lock就可以解决,数据库里面有个LockManager来作为master,负责锁的记录和授权 数据库里面的基本 ...
- CMU Database Systems - Distributed OLTP & OLAP
OLTP scale-up和scale-out scale-up会有上限,无法不断up,而且相对而言,up升级会比较麻烦,所以大数据,云计算需要scale-out scale-out,就是分布式数据库 ...
- CMU Database Systems - MVCC
MVCC是一种用空间来换取更高的并发度的技术 对同一个对象不去update,而且记录下每一次的不同版本的值 存在不会消失,新值并不能抹杀原先的存在 所以update操作并不是对世界的真实反映,这是一种 ...
随机推荐
- Js获取url问号(View_Detail?data='+data.zjb_ID+'&'+data.D_Name)传值
Js逻辑 View_Detail?data='+data.zjb_ID+'&'+data.D_Name <script> $(function () { var url = dec ...
- 安装folly库以及folly的ConcurrentHashMap的简单使用
我在写grpc的实例时, 需要使用一个多线程的hash map, C++标准库中没有多线程的hash map, facebook开源的folly中存在大量的基础类, 中间存在一个高性能的hash ma ...
- Jquery简单闭包
<html> <body> <script src="Js/Index.js"></script> <script type= ...
- java容器tomat,jboss支持内部读取软链接
tomcat,jboss允许软链接 作用:当war包解压过后,需要将内部进行链接到外部的可移动存储上时,就需要使用此功能. tomcat默认是不开启tomcat链接的,需要手动添加配置项. 在tomc ...
- 复习整理(一)——HDFS
1.问题 分布式文件系统那么多,为什么hadoop项目中还要开发一个分布式文件系统呢? 2.存储模型 文件线性字节切割成块(Block),具有offset,id 文件与文件的block大小可以不一样 ...
- ubuntu---对比工具Meld
Beyond Compare是商业软件,下载地址:http://www.scootersoftware.com/download.php.下载完直接运行或者通过dpkg安装即可. 其实Linux下文本 ...
- elementui 多组件表单验证
最近在做管理后台,vue2.0基于elementui框架进行开发. elementui的api中表单验证都是单个vue文件的验证.而我的保存按钮放在了父组件了,验证对象为三个子组件我的灵机一动 想 ...
- Tomcat8服务
Windows部署Tomcat8服务在windows上部署Tomcat服务后,可以将Tomcat设为开机启动,即开机后Tomcat就会自动运行.这样就不用每次进到Tomcat的bin目录双击start ...
- python 对象引用计数增加和减少的情况
对象引用计数增加的情况: 1.对象被创建:x=4 2.另外的别人被创建:y=x 3.被作为参数传递给函数:foo(x) ->会增加2 4.作为容器对象的一个元素:a=[1,x,'33'] 对象 ...
- VS Code中配置Markdown
其实,对我来说是反过来的,我是为了使用Markdown而安装VS Code(虽然久仰大名) 安装VS Code 安装Markdown插件 使用篇 1. 安装vscode 之所以啰嗦一下,是因为据说安装 ...