系列文章

四、S 锁与 X 锁的爱恨情仇《死磕MySQL系列 四》

五、如何选择普通索引和唯一索引《死磕MySQL系列 五》

六、五分钟,让你明白MySQL是怎么选择索引《死磕MySQL系列 六》

七、字符串可以这样加索引,你知吗?《死磕MySQL系列 七》

项目中将MySQL的报错、异常、执行时间长的都打到了钉钉群中,这样有利于平时及时处理。今天要聊的是无法复现的慢查询。

一、为什会出现无法复现的“慢”SQL

一生挚友redo log、binlog《死磕MySQL系列 二》中详细的说明了redo log、binlog。此时你知道了在更新时当事务提交后,并非直接修改数据库的数据,而是先更新内存并在 redo log中记录相关的操作。

总归是要把内存的数据刷入磁盘中,也可以称之为刷脏页(flush)。

什么是脏页、干净页

大多数资料都提及到脏页,那么脏页到底是什么呢?脏页时内存数据页的数据跟磁盘数据不一致时,就称这个内存页为脏页。

当内存页写入磁盘后,内存和磁盘的数据页就一致了,此时称这个内存页为干净页。

什么时候脏页会变为干净页

第一种

Innodb的redo log写满了,也就是下图的write pos 追上了check point了,此时系统所有的更新操作都会停止。

直至check point推进了,对应的脏页都flush到磁盘了,redo log才可以继续写。

一般情况下这个redo log日志在开发前期根据innodb_log_file_size参数设置好后就不会出现redo log写满的情况。

第二种

内存不足导致,更新一条语句会先更新内存再更新到redo log,若内存不足就无法申请新的内存就需要淘汰一些数据页。就需要把脏页flush到磁盘。

有没有想过既然更新操作给内存和redo log都存了一份,那么能不能直接把内存页淘汰掉,再有请求时从磁盘读入数据页再把redo log拿出来应用不行吗?

内存满时不刷脏页而直接淘汰掉,那下次请求磁盘中的干净页到内存时,还需要额外的判断redo log中是否有对该页的修改,有的话还需要对它应用redo log。这个脏页始终都是要刷盘的,但现在缺额外多了应用redo log的操作。所以不能直接淘汰内存,而是内存满时直接flush。

另外,redo log是循环写的,若想应用redo log那么redo log就要一直存在,不能删除。违背了系统设计。

第三种

MySQL在系统低峰期时进行刷脏页

第四种

MySQL正常关闭时会把内存的脏页都刷到磁盘中,重启后从磁盘直接读数据,启动速度会很快。

结论

到这里你就应该明白,莫名其妙的慢SQL就是因为flush造成的,那么这四种情况都是怎么影响MySQL的呢?

二、四种flush对性能的影响

第三、四种情况不会因为flush而导致MySQL执行慢,一个是系统空闲时段,另一个是数据库本来就要关闭了。

redo log写满了,需要flush脏页

这种情况在第二期文章中就已经给了方案,redo log一旦写满整个系统就不再接受更新操作了, 所有的更新操作都得停滞,直到check point推进了。

扩展

在MySQL中提供了innodb_log_file_size参数来优化redo log日志。

对于innodb_log_file_size的设置也是有一些计算规则的,下面将为你介绍。

若innodb_log_file_size设置太小,将导致redo log文件频繁切换,频繁的触发数据库的检查点(check point),导致记录更新到数据文件的次数增加,从而影响IO性能。

同样,如果有一个大的事务,并且所有 redo log日志都已写满,但是还没有完成,将导致日志无法切换,从而导致 MySQL直接堵死。

innodb_log_file_size设置太大,虽然极大地提高了 IO性能,但是在 MySQL重启或宕机时,恢复时间会因为 redo log文件过大而延长。而这种恢复时间通常是无法控制的。

如何合理的设置innodb_log_file_size?

用一个脚本定时执行,记录对应时间的sequenumber再取平均值,计算出的误差将减至最小。sequenumber是当每个 binlog生成时,该值从1开始,然后递增,每增加一个事务, sequenumber就加上1。

系统内存不足,要刷脏页

Innodb中管理内存的是buffer pool,内存页在上文可得知存在三种状态,未使用的、使用了是干净页、使用了是脏页。

对于一个长时间运行的库来说,未被使用的页非常少,当内存不足时,就只能把最久不使用的数据页从内存中淘汰掉。

若淘汰的是一个干净页,就直接释放使用,但如果是脏页就必须先把脏页刷盘,变为干净页进行复用。

查询的数据没有在内存中,就需要把数据从磁盘中读入数据,若读的数据太多就需要淘汰多个脏页,会导致查询时间边长。

redo log日志写满,所有的更新系统都不执行,对于大多数业务来说都不能接受。

为了防止这种情况的发生就需要控制刷脏页的频率。

三、如何设置刷脏页的速度

刷脏页到磁盘的快慢必定跟系统的IO能力有关,在MySQL中innodb_io_capacity是控制刷脏页的速度。

在从缓冲区刷新脏页时(check point),每秒刷新脏页的数量就等于innodb_io_capacity的值。

这个值可以设置成磁盘的IOPS,可以使用fio工具来测试,具体使用这里就不聊了。

刷脏页的速度也要根据脏页比例、redo log写盘速度来决定。

参数innodb_max_dirty_pages_pct是脏页比例上限,在MySQL8.0这个比例默认为90%,MySQL5.6还是75%。

一般情况下对于innodb_io_capacity的值设置为脏页比例上限与写redo log日志时的日志序号减去checkpoint的值,俩个值取最大的即可。

脏页比例的计算公式是Innodb_buffer_pool_pages_dirty/Innodb_buffer_pool_pages_total,具体执行命令为


  1. mysql> select VARIABLE_VALUE into @a from global_status where VARIABLE_NAME = 'Innodb_buffer_pool_pages_dirty';
    select VARIABLE_VALUE into @b from global_status where VARIABLE_NAME = 'Innodb_buffer_pool_pages_total';
    select @a/@b;

在这个SQL语句中可以看到使用的是global_status这张表在performance_schema这个库里边。执行命令前需要执行use performance_schema。

当你的MySQL写入速度很慢,TPS很低,IO压力不大时需要排查的地方

出现这个问题时就考虑下一下innodb_io_capacity这个参数值设置是否合理。

在1核2G的服务器默认值是200,在公司服务器上看是2000,也是跟服务器配置有关系的。

四、有趣参数

在MySQL8.0中参数innodb_flush_neighbors默认值为0。

当一个查询需要在执行过程中先flush掉一个脏页时,如果这个数据页旁边的数据页刚好是脏页,就会把这个数据页一同刷掉,而这个连带的逻辑会持续下去。会使SQL的查询变的更慢。

坚持学习、坚持写作、坚持分享是咔咔从业以来所秉持的信念。愿文章在偌大的互联网上能给你带来一点帮助,我是咔咔,下期见。

无法复现的“慢”SQL《死磕MySQL系列 八》的更多相关文章

  1. 什么?还在用delete删除数据《死磕MySQL系列 九》

    系列文章 五.如何选择普通索引和唯一索引<死磕MySQL系列 五> 六.五分钟,让你明白MySQL是怎么选择索引<死磕MySQL系列 六> 七.字符串可以这样加索引,你知吗?& ...

  2. MySQL统计总数就用count(*),别花里胡哨的《死磕MySQL系列 十》

    有一个问题是这样的统计数据总数用count(*).count(主键ID).count(字段).count(1)那个效率高. 先说结论,不用那么花里胡哨遇到统计总数全部使用count(*). 但是有很多 ...

  3. 为什么MySQL字符串不加引号索引失效?《死磕MySQL系列 十一》

    群里一个小伙伴在问为什么MySQL字符串不加单引号会导致索引失效,这个问题估计很多人都知道答案.没错,是因为MySQL内部进行了隐式转换. 本期文章就聊聊什么是隐式转换,为什么会发生隐式转换. 系列文 ...

  4. 打开order by的大门,一探究竟《死磕MySQL系列 十二》

    在日常开发工作中,你一定会经常遇到要根据指定字段进行排序的需求. 这时,你的SQL语句类似这样. select id,phone,code from evt_sms where phone like  ...

  5. 重重封锁,让你一条数据都拿不到《死磕MySQL系列 十三》

    在开发中有遇到很简单的SQL却执行的非常慢,甚至只查询一行数据. 咔咔遇到的只有两种情况,一种是MySQL服务器CPU占用率很高,所有的SQL都执行的很慢直到超时,程序也直接502,另一种情况是行锁造 ...

  6. 为什么不让用join?《死磕MySQL系列 十六》

    大家好,我是咔咔 不期速成,日拱一卒 在平时开发工作中join的使用频率是非常高的,很多SQL优化博文也让把子查询改为join从而提升性能,但部分公司的DBA又不让用,那么使用join到底有什么问题呢 ...

  7. 一生挚友redo log、binlog《死磕MySQL系列 二》

    系列文章 原来一条select语句在MySQL是这样执行的<死磕MySQL系列 一> 一生挚友redo log.binlog<死磕MySQL系列 二> 前言 咔咔闲谈 上期根据 ...

  8. MySQL强人“锁”难《死磕MySQL系列 三》

    系列文章 一.原来一条select语句在MySQL是这样执行的<死磕MySQL系列 一> 二.一生挚友redo log.binlog<死磕MySQL系列 二> 前言 最近数据库 ...

  9. S 锁与 X 锁的爱恨情仇《死磕MySQL系列 四》

    系列文章 一.原来一条select语句在MySQL是这样执行的<死磕MySQL系列 一> 二.一生挚友redo log.binlog<死磕MySQL系列 二> 三.MySQL强 ...

随机推荐

  1. 鸿蒙内核源码分析(物理内存篇) | 怎么管理物理内存 | 百篇博客分析OpenHarmony源码 | v17.01

    百篇博客系列篇.本篇为: v17.xx 鸿蒙内核源码分析(物理内存篇) | 怎么管理物理内存 | 51.c.h .o 内存管理相关篇为: v11.xx 鸿蒙内核源码分析(内存分配篇) | 内存有哪些分 ...

  2. c#中多线程间的同步

    目录 一.引入 二.Lock 三.Monitor 四.Interlocked 五.Semaphore 六.Event 七.Barrier 八.ReaderWriterLockSlim 九.Mutex ...

  3. CRM是什么,你有认真了解过CRM吗?

    这是CRM的一个简单定义 客户关系管理 (CRM)是一种用于管理公司与客户和潜在客户的所有关系和互动的技术.目标很简单:改善业务关系.CRM 系统可帮助公司与客户保持联系.简化流程并提高盈利能力. 当 ...

  4. Redis基础数据结构-基于2.8

    SDS SDS是Redis中String的底层数据结构,数据结构如下,SDS保留了传统的C字符串表达方式即数组的最后一个元素是'/0'结尾.此外还添加了两个字段len和free,其中len表示字符串长 ...

  5. Java中的函数式编程(四)方法引用method reference

    写在前面 我们已经知道,lambda表达式是一个匿名函数,可以用lambda表达式来实现一个函数式接口.   很自然的,我们会想到类的方法也是函数,本质上和lambda表达式是一样的,那是否也可以用类 ...

  6. 第3次 Beta Scrum Meeting

    本次会议为Beta阶段第3次Scrum Meeting会议 会议概要 会议时间:2021年6月2日 会议地点:「腾讯会议」线上进行 会议时长:0.5小时 会议内容简介:对完成工作进行阶段性汇报:对下一 ...

  7. 【二食堂】Beta - Scrum Meeting 4

    Scrum Meeting 4 例会时间:5.17 18:30~18:50 进度情况 组员 当前进度 今日任务 李健 1. 继续完成文本区域划词添加的功能 issue 1. 划词功能已经实现,继续开发 ...

  8. 2019OO第四单元作业总结&OO课程整体总结

    第四单元作业总结 第四单元的作业主题是UML图的解析,通过对UML图代码的解析,我对UML图的结构以及各种元素之间的关系的理解更加深入了. ------------------------------ ...

  9. springboot多配置环境

    在我们的开发过程中,经常会有多套配置环境,比如开发环境(dev),测试环境(test),生产环境(prod)等,在各个环境中我们需要使用到不同的配置,那么在springboot中是如何做到的呢? 1. ...

  10. 高频面试题:一张图彻底搞懂Spring循环依赖

    1 什么是循环依赖? 如下图所示: BeanA类依赖了BeanB类,同时BeanB类又依赖了BeanA类.这种依赖关系形成了一个闭环,我们把这种依赖关系就称之为循环依赖.同理,再如下图的情况: 上图中 ...