前言

网上有很多关于sql语句优化的文章,我这里想说下为什么这样。。。写sql语句,能够提高查询的效率。

1 sql语句优化原理

要想写出好的sql,就要学会用数据库的方式来思考如何执行sql,那么什么是好的sql,首先要明白数据库是如何执行一个sql,一个事务的。

1.1 数据库执行sql的大致流程

粗略流程,所有关系型数据库都是这几步,具体前后顺序根据不同dbms不同配置下略有小差别,以下过程都需要耗时耗资源:

1.应用程序与数据库服务器建立链接

2.sql发送到数据库,数据库验证是否有执行的权限

3.进入语法解析器,进行词法与语法分析

4.进入优化器生成执行计划,部分dbms会检查是否有可重用的执行计划

5.根据执行计划依次扫描相关表中的行,不在数据缓冲区的走io

6.同时对于被扫描的行可能加锁,同时也可能会被其他sql阻塞

7.扫描的行足够放入查询缓存则开始运算或直接返回,不够则生成临时表,可能消耗io

8.对sql结果进行计算(可能)

9.将计算完成的结果全部写入网络io(可能)

10.如果事务完成则同步事务日志并释放锁,具体方式取决于dbms和当前配置

11.关闭连接(可选)

1.2 如何优化

这么多步骤,每一步都有优化策略,我尽量用简单的语言来描述:

1.应用程序与数据库服务器建立链接:

答:引入数据库连接池,避免每次都与数据库建立连接,提高效率。

2.sql发送到数据库,数据库验证是否有执行的权限

答:没撒好说的。

3.进入语法解析器,进行词法与语法分析

答:也没撒好说的,想要数据库在这里少用点资源就把sql写的简单点,但是差别不大。

4.进入优化器生成执行计划,部分dbms会检查是否有可重用的执行计划

答:任何数据库如何生成执行计划都可以写一本几百页的书,关系型数据库选择走什么执行计划都是基于消耗最小化的思路来的,简单来说就是走什么索引,按什么顺序走表,被扫到的数据行最少。如果你的表结构很复杂,有各种混搭的索引,你的join很多,那执行计划分析的时间就会拉长。所以sql对应的表索引简单,join或子查询少就快,复杂了优化器也会得选择困难症。

5.根据执行计划依次扫描相关表中的行,不在数据缓冲区的走io

答:存储引擎扫描表的性能消耗参考下面的list,消耗从大到小

全表扫描>全索引扫描>部分索引扫描>索引查找>唯一索引/主键查找>常量/null

要走索引对于sql语句也有要求,不能在谓词上作任何运算,扫描行数一般不能超过表的17%左右,这对你数据分布又有要求,比如你查select xxx from human where sex ='man',五五开,还是走扫描。这里我就不展开了,推荐题主一本书《Relational Database Index Design and the Optimizers》

6.同时对于被扫描的行可能加锁,同时也可能会被其他sql阻塞

答:如果扫描的行多,sql执行的时间长,被阻塞的概率就高,阻塞别人的概率也高,然后大家一起等,数据库就hung住了。

7.扫描的行足够放入查询缓存则开始运算或直接返回,不够则生成临时表,可能消耗io

答:一次取的尽量少,这不单指返回服务端的行数,应该从嵌套最深的一个子查询开始算

8.对sql结果进行计算(可能)

答:少用各种复杂的函数啊,count啊,order by啊等等。

9.将计算完成的结果全部写入网络io(可能)

答:请尽量少返回一点数据,如果不行请多次分批。

10.如果事务完成则同步事务日志并释放锁,具体方式取决于dbms和当前配置

这里举两个代表性栗子:

sql渣:

for i in (1-1000):

start transaction;

insert into table values (1);

commit;

end for

sql赞:

start transaction;

for i in (1-1000):

insert into table values (1);

end for

commit;

sql赞爆:

insert into table values (1)()...........()(1000);

首先,sql语法是我临时自创的,这个不是关键,关键在sql渣先生是1000个事务插1000行,日志flush1000次。sql赞先生是一个事务插1000行,事务日志flush1次。sql赞爆最nice。

这个例子我想表达的意思是如果你要用sql做一件事,那就要尽量让这件事占用的事务总时间最少。

第二个例子

sql渣:

update table where id > 0 and id < 1000000;

sql赞:

update table where id > 0 and id < 1000;

update table where id >= 1000 and id < 2000;

update table where id >= 2000 and id < 3000;

....

....

这个例子我想表达的意思是如果你要用sql做一件很大的事,那就尽量让大事化成很多小事。

两个例子好好体会下,一点不矛盾哦。补充一下,这里每个update都是单独事务

11.关闭连接(可选)

答:同1,别每次都关,关了也许还要重连。不关的话记得commit就好了,千万要记得commit啊!

1.3小结

通过好的sql语句:减少访问的数据行、数据量、列数;减少返回的数据量;简化sql语法;减少sql语句中的函数;来实现更少的内存使用,更少的磁盘I/O读写,更快的得到较好的执行计划,以达到提高查询效率的目的。

最后,要学会一种思路:如果我是一个数据库,我会怎么执行一个sql,我喜欢怎么样的sql?

什么样的SQL语句是不好的语句呢:那就是妨碍优化器更好的实现执行逻辑的SQL语句,这类语句包括:

1.where条件里出现各种花样百出的代码,比如函数、运算等。

2.语句过大,大量的表join会导致中间结果集不准确,从而限制优化器选择较好的执行计划。等等.........

3.能写出多好的sql取决于你多了解数据库。

参看链接:链接:https://www.zhihu.com/question/29619558/answer/45805380

作者:宋沄剑

链接:https://www.zhihu.com/question/29619558/answer/45270490

 

sql语句优化原理的更多相关文章

  1. mysql--------大数据量分页sql语句优化

    分页程序原理很简单,这里就不多说了,本篇文章主要说的是在数据表记录量比较大的情况下,如何将分页SQL做到更优化,让MySQL执行的更快的方法. 一般的情况下,我们的分页SQL语句是这样的: ,; 以上 ...

  2. SQL系列 - SQL语句优化个人总结

    关于SQL语句优化方法 有些是通用的(如避免Select *): 有些不同的数据库管理系统有所区别(如Where子句顺序): 然后必须根据实际环境进行调优,因为即使是相同的数据库和表,在数据量或其他环 ...

  3. Oracle SQL语句优化34条

    非常好用的SQL语句优化34条 1)选择最有效率的表名顺序(只在基于规则的优化器中有效): ORACLE 的解析器按照从右到左的顺序处理FROM子句中的表名,FROM子句中写在最后的表(基础表 dri ...

  4. php面试专题---MySQL常用SQL语句优化

    php面试专题---MySQL常用SQL语句优化 一.总结 一句话总结: 原理,万变不离其宗:其实SQL语句优化的过程中,无非就是对mysql的执行计划理解,以及B+树索引的理解,其实只要我们理解执行 ...

  5. 优化数据库的方法及SQL语句优化的原则

    优化数据库的方法: 1.关键字段建立索引. 2.使用存储过程,它使SQL变得更加灵活和高效. 3.备份数据库和清除垃圾数据. 4.SQL语句语法的优化.(可以用Sybase的SQL Expert,可惜 ...

  6. oracle之sql语句优化

    oracle之sql语句优化 sql语句的优化 1.在where子句中使用 is null 或 is not null 时,oracle优化器就不能使用索引了. 2.对于有连接的列,即使最有一个是静态 ...

  7. 数据库 基于索引的SQL语句优化之降龙十八掌(转)

    一篇挺不错的关于SQL语句优化的文章,因不知原始出处,故未作引用说明! 1 前言      客服业务受到SQL语句的影响非常大,在规模比较大的局点,往往因为一个小的SQL语句不够优化,导致数据库性能急 ...

  8. 数据库的优化(表优化和sql语句优化)

    在这里主要是分为表设计优化和sql语句优化两方面来实现. 首先的是表设计优化: 1.数据行的长度不要超过8020字节.如果是超过这个长度的话这条数据会占用两行,减低查询的效率. 2.能用数字类型就不要 ...

  9. MySQL常用SQL语句优化

    推荐阅读这篇博文,索引说的非常详细到位:http://blog.linezing.com/?p=798#nav-3-2 在数据库日常维护中,最常做的事情就是SQL语句优化,因为这个才是影响性能的最主要 ...

随机推荐

  1. Linux学习笔记:用户与用户组

    基本概念 Linux系统是一个多用户多任务的分时操作系统,任何一个要使用系统资源的用户,都必须首先向系统管理员申请一个账号,然后以这个账号的身份进入系统. 用户 也就是说任何需要使用操作系统的用户,都 ...

  2. springboot——修改html实时生效,不用重启tomca(idea版)

    第一步: 在全局配置文件(application.properties)中禁用thymeleaf模板引擎的缓存,缓存是默认开启的 spring.thymeleaf.cache=false 第二步: 在 ...

  3. WordPress安装篇(1):使用PHPStudy安装WordPress

    我是"小白",既不会编程也不懂CSS能自己搭建网站吗?可以的!只要你会用鼠标,懂打字就能搭建出属于你自己的网站.要怎么样才能做到昵?让我们一起来看看如何实现的吧.在Windows环 ...

  4. 【NX二次开发】NX对象类型及基本操作

    说明:NX中的所有对象都是通过唯一的tag_t值进行标识的,这些对象大致可以分为部件对象.UF对象.表达式.链表对象和属性对象等. 部件对象的操作: 基本操作函数: 1. UF_PART_new()  ...

  5. 03:进程Queue --- 生产者消费者模型

    1 进程Queue介绍 1 进程间数据隔离,两个进程进行通信,借助于Queue​2 进程间通信:IPC -借助于Queue实现进程间通信    -借助于文件        -借助于数据库    -借助 ...

  6. PTA题目集4-6总结

    PTA题目集4-6总结 一:前言 在题集4-6中,所考查的主要知识点有正则表达式,类与类之间的调用,类的聚合,继承,封装,接口与多态,三种排序方法如选择排序,冒泡排序,插入排序,ArrayList,s ...

  7. 在线CUR转换器

    在线CUR转换器 在线将文件与cur相互免费转换 鼠标光标cur格式可以利用这网站在线免费转换成jpg,png等任意一种格式,方便快速! 转换格式请点击在线CUR转换

  8. 面试总被问到HTTP缓存机制及原理?看完你就彻底明白了

    前言 Http 缓存机制作为 web 性能优化的重要手段,对于从事 Web 开发的同学们来说,应该是知识体系库中的一个基础环节,同时对于有志成为前端架构师的同学来说是必备的知识技能. 但是对于很多前端 ...

  9. Docker与k8s的恩怨情仇(二)—用最简单的技术实现“容器”

    转载请注明出处:葡萄城官网,葡萄城为开发者提供专业的开发工具.解决方案和服务,赋能开发者. 上次我们说到PaaS的发展历史,从Cloud Foundry黯然退场,到Docker加冕,正是Docker& ...

  10. 关于kubernetes的十七个实验(二)

    写在开头 时隔好几天,结束了毕业设计中期答辩,更新第二节. 实验二与Kubeadm Kubeadm解决了以下问题:处理TLS加密配置,部署核心Kubernetes组件并确保其他节点可以轻松加入集群. ...