开发人员基本都知道,我们的数据存在数据库中(目前最多的是mysql和oracle,由于作者更擅长mysql,所以这里默认数据库为mysql),服务器通过sql语句将查询数据的请求传入到mysql数据库。数据库拿到sql语句以后。都是进行了哪些操作呢?这里向大家介绍下我的个人的理解,欢迎大家评论区批评指正。

流程概述

  mysql得到sql语句后,大概流程如下:

  1.sql的解析器:负责解析和转发sql

  2.预处理器:对解析后的sql树进行验证

  3.查询优化器:得到一个执行计划

  4.查询执行引擎:得到数据结果集

  5.将数据放回给调用端。

流程图如下所示:

分发器及缓存阶段

  首先,如果系统的缓存功能开启着的话,sql语句进入mysql后,sql进行判断,是否为select关键字。如果是,那么先去查询缓存中进行查询,如果在查询缓存中可以命中sql语句,那么直接返回查询缓存中的查询语句对应的value值(在缓存中,把查询语句做一个hash运算,结果作为key值,查询的结果集为value)。

  如果命中缓存的话,查询速度是相当快的。但是查询缓存也有它相应的缺点。

  首先,开启缓存的话,服务器会消耗大量的内存空间;其次,缓存有的时候并不适用;最后,有的情况下,开启缓存也不会将对应的sql语句写入缓存。

缓存不适用的情况:

  缓存的锁的力度比较大,而且对于动态sql的支持度不够。

  缓存在数据进行更新的时候,是进行的表级锁,更新结束后,会把所有与更新内容相关的缓存全部删除。所以,如果表的写入比较多的话,缓存是比较浪费性能的。如果写入特别多,可能缓存反而会导致mysql变慢。

查询不到缓存的情况:

  1.查询条件有不确定数据:如now ,current_time等。

  2.缓存对大小写敏感,如select * from test 和SELECT* FROM test 就不会解析为同一条sql

查询带来的额外开销:

  1.开始前需要先检查缓存是否命中。

  2.结果输出的时候,需要额外进行数据的缓存操作。

  3.写入数据时,mysql会将对应表的所有缓存都设置为失效。当缓存内存较大的时候,会导致系统消耗较大。

sql的解析器与预处理

  sql解析器是在命令分发之后,将对应的sql语句,解析为sql解析树。sql解析树是Mysql本身内部的语法规则和解析查询。验证是否使用错误的关键字,sql语法顺序是否正确等。(语法层面的错误)

  解析完成后,进行查询语句预处理器,根据mysql的规则,检查解析树是否合法。(表格是否存在,别名是否有歧义等)

查询优化器

  查询优化器获取到执行计划然后由查询执行引擎执行相应的操作。查询优化器,是数据库l的一个核心模块,分为cbo和rbo两种。

  其中,rbo是基于规则的优化器。(rbo在oracle早期版本中使用,现在也保留,不过默认为cbo。mysql没有rbo优化器)

  这些规则是硬编码在数据库的代码中的。rbo会根据输入的sql语句可以匹配到的优先级最高的规则去作为执行计划。例如:在rbo中有这么一条规则:有索引的情况下,使用索引。那么所有的带有索引的表在执行的时候,都会走索引。rbo最大的问题在于,通过固定规则来决定执行计划。并不会考虑sql中涉及的对象的数量和分布。有可能选出来的规则不是最优的执行计划。

  cbo 是基于成本的优化器(基于统计信息),从目标诸多的执行路径中选择一个成本最小的执行路径来作为执行计划。成本指的是mysql根据相关的统计信息,算出来sql语句对应的io,cpu等的消耗的一个估计值。计算过程涉及到索引、表、行等数据,过程比较复杂。

  1.查询优化器使用统计信息为sql选择执行计划。

  2.mysql没有数据直方图,也无法手工删除统计信息。(oracle有)

  3.在服务器曾有查询优化器,却没有保存数据和索引统计信息。统计信息由存储引擎实现,不同的存储引擎会存储不同的统计信息。

  4.统计信息分为索引的统计信息和表的统计信息。

查看统计信息

  索引统计信息

  show index from table 或information_schema.statistics表

  表统计信息

  show table status like 或 information_schema.tables表

查询执行引擎+返回数据给客户端

  得到执行计划后,根据已有的执行计划,查询执行引擎,mysql的SQL Layer层,调用Storage Engine Layer层的接口,从mysql的存储引擎中获取到相对应的结果集,然后返回给用户。

  执行完成后,将结果返回给客户端,如果是查询语句,并且开启了缓存,那么,mysql会同时将结果集放到查询缓存中。然后将查到的结果集返回。如果是增删改操作,那么返回执行语句后受影响的行数。

mysql执行sql语句过程的更多相关文章

  1. 不登录到MySQL执行SQL语句

    mysql -e 不登录到MySQL执行SQL语句 mysql -u root -p -e "SHOW DATABASES"

  2. mysql执行SQL语句时报错:[Err] 3 - Error writing file '/tmp/MYP0G1B8' (Errcode: 28 - No space left on device)

    问题描述: 今天一同事在mysql中执行SQL语句的时候,报了/tmp空间不足的问题,报错如下: [SQL] SELECT f.prov as 字段1, MAX( CASE f.flag_name W ...

  3. 使用Mysql执行SQL语句基础操作

    SQL:  又叫结构化语言,是一种用来操作RDBMS的数据库语言,在关系型数据库中都支持使用SQL语句,如oracle.mysql等等. 注意: 在关系型数据库中sql语句是通用的,而在非关系型数据库 ...

  4. mysql 执行 sql 语句提示Parameter '@XXX' must be defined

    执行 sql 语句 MySqlException: Parameter '@maxNo' must be defined. 执行 sql 中含有自定义变量 @maxNo,抛出异常 解决方法: 连接字符 ...

  5. mysql 执行sql语句执行问题

    SQL是一套标准,全称结构化查询语言,是用来完成和数据库之间的通信的编程语言,SQL语言是脚本语言,直接运行在数据库上.同时,SQL语句与数据在数据库上的存储方式无关,只是不同的数据库对于同一条SQL ...

  6. PHP获取MySQL执行sql语句的查询时间

    //计时开始 runtime(); //执行查询 mysql_query($sql); //计时结束. echo runtime(1); //计时函数 function runtime($mode=0 ...

  7. (转载)PHP怎么获取MySQL执行sql语句的查询时间

    (转载自CSDN) 方法一: //计时开始 runtime(); //执行查询 mysql_query($sql); //计时结束. echo runtime(1); //计时函数 function ...

  8. 如何用VS EF连接 Mysql,以及执行SQL语句 和存储过程?

    VS2013, MySQL5.7.18 , MySQL5.7.14 执行SQL语句: ztp_user z = new ztp_user(); object[] obj = new object[] ...

  9. JDBC进阶之PreparedStatement执行SQL语句(MySQL)

    一.什么是PreparedStatement           参阅Java API文档,我们可以知道,PreparedStatement是Statement的子接口(如图所示),表示预编译的 SQ ...

随机推荐

  1. jQuery获取各种位置方法

    一.获取窗口的宽高 1.获取流览器显示区域的高度 : $(window).height(); 2.获取流览器显示区域的宽度 : $(window).width(); 3.获取文档流的高度 : $(do ...

  2. C 语言 判断

    if if (im < 0) { im = 60 + im; ih--; } 如果 (im < 0) 小于零,那么 做{ } 中内容 如果 (im < 0) 不小于零,那么 { }中 ...

  3. eShopOnContainers 看微服务④:Catalog Service

    服务简介 Catalog service(目录服务)维护着所有产品信息,包括库存.价格.所以该微服务的核心业务为: 产品信息的维护 库存的更新 价格的维护 架构模式 先看代码结构(下图). 主要依赖: ...

  4. Anatomy of a Database System学习笔记 - 事务:并发控制与恢复

    这一章看起来是讲存储引擎的.作者抱怨数据库被黑为“monolithic”.不可拆分为可复用的组件:但是实际上除了事务存储引擎管理模块,其他模块入解析器.重写引擎.优化器.执行器.访问方式都是代码相对独 ...

  5. Django建站+Vuejs前端

    第一节 @注意 千万注意格式.标签名字: 浏览器开发者模式修改页面不显示:在开发者模式下(F12进入),打开设置页面(F1),勾选 Disable cache (while DevTools is o ...

  6. orcal - 添加用户、授权

    create user jy2 identified by jy2; grant dba to jy2;

  7. 教你快速录制gif动图

    我们经常会遇到一些场景,需要你向别人展示一些操作或是效果——例如告诉别人某某软件的配置步骤啊.刚设计出来网站的动画效果怎么样啊.某某电影里面的一个镜头多么经典啊.打得大快人心的NBA绝杀瞬间是怎么回事 ...

  8. MySQL中链接查询inner join与left join使用

    连接查询其实就是对两个表记录做笛卡尔乘积.如果不指定连接条件的话,则会对每行都做笛卡尔乘积,这样最后返回的结果树就会是两个表记录数的乘积:如果指定则,则仅对符合列条件的行进行笛卡尔乘积,并返回结果.在 ...

  9. P1219 八皇后

    题目描述 检查一个如下的6 x 6的跳棋棋盘,有六个棋子被放置在棋盘上,使得每行.每列有且只有一个,每条对角线(包括两条主对角线的所有平行线)上至多有一个棋子. 上面的布局可以用序列2 4 6 1 3 ...

  10. 用VS2015编译pjsip的工程pjproject-vs14

    先去官网下载最新的源码包,我用的版本是2.7.1 . 将源代码解压后,在路径:pjproject-3.7.1\pjlib\include\pj 中创建新文件config_site.h,内容如下: #i ...