关注公众号【程序员白泽】,带你走进一个不一样的程序员/学生党

前言

最近一直在写《手撕MySQL系列》文章,我发现自己的切入点有一些问题,虽尝试深入探究MySQL中的一些关键特性,但对于MySQL的知识掌握不太能够形成较好的体系化的知识网络。我感到在对全局了解不够清晰的时候,去深究一个知识点往往会事倍功半。所以打算通过这篇文章,分析SQL语句从头到尾的执行,串连一下MySQL当中的基础知识点。

当然希望借助一篇文章深入剖析MySQL所有的关键特性是不够的,后面也会继续更新《手撕MySQL》系列,只是可能会调整写作的切入角度,尽可能帮助阅读文章的同学建立体系化的知识网络

基础架构

  1. 客户端:Navicat是一款我们常用的数据库操作工具,通过该数据库客户端软件我们去建立数据库连接,输入SQL语句并提交执行命令。
  2. 服务端Server:首先要明确的是,客户端运行时是一个进程,那么发起连接,执行SQL等命令都有一个接收进程,那就是MySQL的服务端进程 (你刚开始学MySQL时总是听到启动MySQL服务就是指这个进程) ,借助MySQL服务端进程去处理所有从客户端发起的数据库操作,并且最后将改动持久化到数据库磁盘文件上。
  3. 存储引擎内存池:将MySQL服务端拆解成两个部分时因为存储引擎是针对表而言的,对于不同的表可以选择不同的存储引擎,并利用其相应的特性满足对应的业务需求,我们在创建一张表的时候最后写的engine=innodb就是在指定选择的存储引擎,从5.5版本开始,如果不指定存储引擎,则默认使用InnoDB
  4. 通用服务层:这一部分包含了MySQL中的通用核心服务,所有跨存储引擎的功能都在这里,包括连接器、查询缓存、分析器、优化器、执行器、以及内置的函数表达式等等 (图上还有很多没画出来,后面的文章中也会逐渐补充进来)
  5. 数据库磁盘文件:这一部分的作用是持久化数据库数据,服务端Server终究是一个运行的进程,所有的数据都是临时存放在内存当中,而我们最终的目的自然是维护一份永久的数据库文件。 (当然不是说内存就不重要,相反,因为客户端操作数据库必然会频繁修改磁盘上的文件,想要操作数据就得先将磁盘中的目标文件页读到内存中,在内存中操作完成之后,再把改动之后的数据页刷新回磁盘,而磁盘IO性能较低,合理使用内存或者说缓存的技术可以减少磁盘IO次数,大大提高数据库访问的性能,这一部分将在后面逐渐介绍)

一条查询语句

接下来分析下面这条查询语句的执行过程

select * from T where id = 1
  1. 连接器:首先通过客户端如Navicat连接到这个数据库服务进程 (需要输入目标服务器的IP、端口、用户名、密码) ,而负责与建立连接的就是连接器,负责校验用户名密码,以及获取对应权限。
  2. 查询缓存:以key-value形式存储一条查询语句对应的结果,如果当前输入的SQL在查询缓存中,可以直接返回查询结果而不用重复执行,但是查询缓存在MySQL8.0被废弃,原因是一条查询缓存对应的表如果发生了修改,则针对这个表的查询缓存都将失效而被清除,如果表更新频率比较高,则会大大提高查询缓存的失效可能,缓存利用率很低,还会额外占用内存开销。
  3. 分析器:分析器只是一个概称,它的工作是将SQL语句通过解析器成一颗对应的解析树,然后交由预处理器进一步检查解析树的各个部分的语法是否合法,包括对应的表、字段是否存在、名称是否合法等,不合法就抛出错误,通过分析器分析之后合法,则再交由优化器进行分析
  4. 优化器:这里先简单理解成一条查询语句涉及的表可能在不同的字段上建立了多个索引,也有可能涉及多个表,这里需要优化器去分析得到一个最优的执行方案(效率最高),比如选择走哪个索引,选择多个表之间的连接顺序等
  5. 执行器:校验是否有权限访问SQL中涉及的表,然后配合对应的存储引擎,根据优化器给出的执行方案执行一个SQL,最后返回查询结果。

一条更新语句

看到这里你大概对MySQL如何执行一条查询语句的执行流程大概有了概念,也初步熟悉了其中会涉及到的一些 “功能组件” ,但你还不太满足,MySQL的redo log、bin log在哪呢?面试老爱问了! (undo log这里先不提)接下来分析下面这条更新语句的执行过程

update T set a = 0 where id = 1

与查询语句相同,执行更新语句也要经过上面那张图中从连接器到执行器的部分,这里我再放一下。区别在于更新表对数据库磁盘文件造成了变更,而查询语句没有。而且前面也提到,MySQL通过一些机制合理减少磁盘IO次数,提升数据库访问性能与可靠性。这里就要介绍一下更新操作中涉及到的两种物理日志文件,redo logbin log(MySQL服务端内存中也有对应着的日志缓存)。

redo log

redo log是InnoDB引擎持有的日志文件(bin log是MySQL通用层的日志文件),也就是说一张表选择InnoDB引擎,在执行更新语句时会同时产生redo和bin两种物理日志文件。 这里先介绍redo log:

前面说了,MySQL通过一些机制可以减少磁盘IO,以及提升数据库可靠性。redo log功不可没,在InnoDB引擎内存池中,维护着redo log

具体来说,在执行上面那条更新语句的时候,InnoDB引擎会将涉及到的记录读取到内存中(只有对应记录在内存中才可以开始更新),更新对应这条记录的内存(此时磁盘中的这条记录还没更新,但内存中更新了),再将更新记录到redo log缓存。之后redo log缓存会按照一些规则刷新到磁盘文件中的redo log物理文件。而那些在内存中与物理磁盘不同的记录称之为脏页,脏页会通过一种叫checkpoint的规则去刷新到磁盘上(此时才是真的完成了更新)。

上面大概描述了InnoDB引擎在更新时选择先将更新日志记录下来,再最后修改磁盘(称之为WAL技术—Write-Ahead Logging),这样设计的作用是即使MySQL服务因为意外宕机时,之前的更新记录依旧保存在redo log磁盘文件中 (如果只是单纯依赖redo log缓存,则掉电后会遗失这部分数据,而不使用redo log则每次更新表的操作就得进行磁盘IO,无法优化,性能低下)

从上面我们可以看到重做日志文件侧重于数据库崩溃时的数据恢复,以及涉及脏页的刷新时机,因此InnoDB引擎对于redo log文件的设计是循环写的,并没有给予无限的增长空间,如下图,如果有两个大小为1G的redo log磁盘文件,则随着redo log缓存逐渐刷新到磁盘上,这两个文件会逐渐被填满,并循环覆盖。因此如果即将被覆盖的redo log代表的操作(脏页)还没有刷新到磁盘,则会触发checkpoint,刷新这些脏页,只要磁盘完成修改,则对应的redo log磁盘文件可以被覆盖掉(这是checkpoint的某一个触发条件)。

bin log

bin log是很容易拿来与redo log进行比较的,它是MySQL通用层实现的,记录对数据库表的变更操作,不记录查询,而且由于历史原因,InnoDB引擎是后来出现的,bin log被用于日志归档(较长时间跨度的数据恢复/主从复制),而redo log则侧重于崩溃时保留改动的数据。

下面给出几个bin log与redo log的不同点:

  1. redo log是物理日志,记录的是某条记录发生了什么改动;bin log是逻辑日志,记录的是语句的原始逻辑(bin log也可以选择记录日志的模式)。
  2. bin log称为归档日志(可能会根据需求保留过去一个月的数据库变更),因此它是追加写入的,没有大小限制;redo log是循环写入,有大小限制。(这主要是因为侧重的功能不同)
  3. redo log是InnoDB引擎层的,bin log是MySQL通用层的。

二阶段提交

步骤

那么对于使用InnoDB的表,执行上面那条update语句时,redo logbin log是如何配合工作的呢?步骤简化之后如下:

  1. 判断表T的id=1的记录是否在内存中
  2. 不在则先从磁盘读入内存
  3. 在内存中,将id=1的这条记录的a字段修改为0
  4. 将修改操作写入磁盘redo log,此时redo log处于prepare状态
  5. 将修改操作写入磁盘bin log
  6. 提交事物,将redo log修改为commit状态

二阶段提交的由来是redo log的状态经历了从preparecommit两个阶段的变化,而二阶段提交的目的就是为了使bin logredo log在配合使用时,在遇到宕机等情况时数据恢复能保持逻辑上的一致。

分析

如果不使用两阶段提交,只有单一的修改磁盘redo log和磁盘bin log则会有以下两种问题:

  1. 先写bin log,后写redo log,在写入bin log之后,服务器宕机,此时redo log未写入,则本地磁盘中将丢失对于数据的更改(也丢失了修改的脏页),而bin log归档文件中已经写入了修改逻辑,那么用这个bin log进行数据恢复或者主从复制会使得与当前数据库表数据之间出现不同。
  2. 先写redo log,后写bin log,在写入redo log之后,服务器宕机,此时bin log未写入,则本地磁盘中将保留对数据的修改,但是bin log归档文件中没有记录这个修改逻辑。那么用这个bin log进行数据恢复或者主从复制依旧会使得与当前数据库表数据之间出现不同。

使用两阶段可以通过redo log的状态判断本次修改是否在bin log和redo log上都完成了记录,结合回滚和补充提交机制,从而确保数据在两种日志文件中的逻辑一致性。

关注公众号【程序员白泽】,带你走进一个不一样的程序员/学生党,公众号回复【简历】可以获得我正在使用的简历模板,平时也会同步更新文章。希望大家都能收获心仪的offer~

面试官:请分析一条SQL的执行的更多相关文章

  1. 腾讯面试:一条SQL语句执行得很慢的原因有哪些?---不看后悔系列

    说实话,这个问题可以涉及到 MySQL 的很多核心知识,可以扯出一大堆,就像要考你计算机网络的知识时,问你"输入URL回车之后,究竟发生了什么"一样,看看你能说出多少了. 之前腾讯 ...

  2. 一条SQL语句执行得很慢的原因有哪些?

    说实话,这个问题可以涉及到 MySQL 的很多核心知识,可以扯出一大堆,就像要考你计算机网络的知识时,问你“输入URL回车之后,究竟发生了什么”一样,看看你能说出多少了. 之前腾讯面试的实话,也问到这 ...

  3. 一条SQL语句执行得很慢的原因有哪些

    说实话,这个问题可以涉及到 MySQL 的很多核心知识,可以扯出一大堆,就像要考你计算机网络的知识时,问你"输入URL回车之后,究竟发生了什么"一样,看看你能说出多少了. 之前腾讯 ...

  4. 一条SQL语句执行得很慢的原因有哪些?(转)

    一条 SQL 语句执行的很慢,那是每次执行都很慢呢?还是大多数情况下是正常的,偶尔出现很慢呢?所以我觉得,我们还得分以下两种情况来讨论. 1.大多数情况是正常的,只是偶尔会出现很慢的情况. 2.在数据 ...

  5. Oracle是如何工作的?实例是如何响应用户请求?一条SQL的执行过程~

    Oracle 是如何工作的? Select id,name from t order by id ; – SQL 解析(查看语法是否错误,如果没有错误,分析语意,执行此语句的权限) – 执行计划(OR ...

  6. 你了解一条sql的执行顺序吗

    sql是后端开发人员经常碰到的问题,我们经常会写这样的sql:select name,id from student where id=12 order by id desc,把这条sql放到数据库中 ...

  7. 如何清除某条SQL的执行计划

    如果遇到绑定窥探导致执行计划慢的情况,想要清除某条SQL的执行计划,让它硬解析,找了很久都没有找到直接操作share pool的方法(除非alter system flush shared_pool) ...

  8. 一条SQL语句执行得很慢原因有哪些

    一条SQL语句执行得很慢,要分两种情况: 1.大多数情况是正常,偶尔很慢 数据库在处理数据忙时候,更新或新增数据都会暂时记录到redo log日志,等空闲时把数据同步到磁盘.假设数据库一直很忙,更新又 ...

  9. 一条SQL语句执行得很慢的原因有哪些?| MySQL高性能优化规范建议

    一条SQL语句执行得很慢的原因有哪些 https://mp.weixin.qq.com/s?__biz=Mzg2OTA0Njk0OA==&mid=2247485185&idx=1&am ...

随机推荐

  1. OpenSSL CVE-2022-0778漏洞问题复现与非法证书构造

    本文介绍CVE-2022 0778漏洞及其复现方法,并精心构造了具有一个非法椭圆曲线参数的证书可以触发该漏洞. 本博客已迁移至CatBro's Blog,那是我自己搭建的个人博客,欢迎关注.本文链接 ...

  2. 如何使用Google Analytics Universal Analytics增强型电子商务

    Google Analytics: Universal Analytics增强型电子商务,可以让运营人员轻松地跟踪用户在其购物历程中与产品的互动,包括产品展示.产品点击.查看产品详情.将产品添加到购物 ...

  3. 一文搞懂 SLAM 中的Extension Kalman Filter 算法编程

    作者 | Doreen 01 问题描述 预先知道事物未来的状态总是很有价值的! √ 预知台风的路线可以避免或减轻重大自然灾害的损失. √ 敌国打过来的导弹,如果能够高精度预测轨迹,就能有效拦截. √ ...

  4. Termux镜像在阿里云镜像站首发上线

    镜像下载.域名解析.时间同步请点击阿里云开源镜像站 简介 Termux 是 Android 平台上的一个终端模拟器,它将众多 Linux 上运行的软件和工具近乎完美的移植到了手机端. 无需任何复杂的安 ...

  5. Flask(Jinja2) 服务端模板注入漏洞

    原理 参考文章: https://www.blackhat.com/docs/us-15/materials/us-15-Kettle-Server-Side-Template-Injection-R ...

  6. 《手把手教你》系列基础篇(八十一)-java+ selenium自动化测试-框架设计基础-TestNG如何暂停执行一些case(详解教程)

    1.简介 在实际测试过程中,我们经常会遇到这样的情况,开发由于某些原因导致一些模块进度延后,而你的自动化测试脚本已经提前完成,这样就会有部分模块测试,有部分模块不能进行测试.这就需要我们暂时不让一些t ...

  7. Java代码块与构造器方法执行顺序

    直接上源码: public class Demo4 { { //这里是代码块 System.out.println("这里是代码块"); } static { //这里是静态代码块 ...

  8. CyclicBarrier和CountDownLatch区别

    这两天写多线程时,用到了CyclicBarrier,下意识的认为CyclicBarrier和CountDownLatch作用很像,就翻阅资料查了一下,说一下他们的区别吧 CyclicBarrier和C ...

  9. 使用Pycharm获取Resources目录里的内容

    def get_resource_path(path: str) -> str: """\ 获取Resources目录里的资源 :param path: :retu ...

  10. 你在项目中哪些地方用到了 XML?

    XML 的主要作用有两个方面:数据交换和信息配置.在做数据交换时,XML 将数 据用标签组装成起来,然后压缩打包加密后通过网络传送给接收者,接收解密与 解压缩后再从 XML 文件中还原相关信息进行处理 ...