MySQL慢日志线上问题分析及功能优化

本文来源于数据库内核专栏。

MySQL慢日志（slow log）是MySQL DBA及其他开发、运维人员需经常关注的一类信息。使用慢日志可找出执行时间较长或未走索引等SQL语句，为进行系统调优提供依据。本文结合线上案例分析如何正确设置MySQL慢日志参数和使用慢日志功能，并介绍网易云RDS（InnoSQL）对MySQL慢日志功能增强。
MySQL参数组功能
网易云RDS实例提供了参数组管理功能，可通过参数管理界面查看绝大部分常用的MySQL系统参数，用户可以了解当前运行值和建议值，如下所示：

用户还可通过参数管理页面对所列的参数进行修改，点击“修改参数”按钮在线设置，点击“保存修改”即可一键完成MySQL主从节点的参数修改，如下图：

查看参数管理界面不难发现，与慢查询相关的参数较多，这些参数是如何起作用的呢，相互关系又是如何，满足什么条件的SQL语句才会记录到慢日志中？只有了解了这些才能更好地利用慢日志进行系统调优和问题定位。我们以一个线上案例为依托来介绍如何正确配置慢日志参数：用户报告他们使用的多个RDS 5.7版本实例慢日志异常，明明执行了一分多钟的SQL语句，却没有记录到慢日志中。还提供了用于复现的SQL语句。
慢日志参数正确配置姿势
首先，我们需确认该实例是否开启了慢日志功能，默认情况下，MySQL慢日志功能是关闭的。慢日志开关参数为slow_query_log，可在mysqld启动命令行或配置文件中显式指定，若指定slow_query_log=1或不指定值，则表示开启慢日志，赋值为0表示关闭。用户可以在运行时动态开启和关闭。网易云RDS实例默认开启慢日志功能，我们确认了该用户未关闭实例的慢日志开关。
接下来，需确认慢日志记录位置，MySQL使用log_output参数指定以文件（FILE）还是表(TABLE)的方式来保存慢日志，需要强调的是，仅指定log_output而将slow_query_log置为0并不会记录慢日志，也就是说slow_query_log才是慢日志的开关。若使用文件形式记录慢日志，则可通过slow_query_log_file指定文件名，如果用户没有显式指定slow_query_log_file，则MySQL将其初始化为host_name-slow.log，host_name即为运行mysqld的主机名，慢日志文件默认位于MySQL数据目录。网易云RDS实例不允许用户修改日志文件路径，但可以配置log_output参数，通过查询，确认该实例以文件方式记录慢日志，查看日志文件确认没有用户所述的SQL语句。
由于用户提供了复现语句，我们执行了其SQL语句，确实1分多钟才返回，通过explain命令发现其未走索引，扫描了较多的记录数，再次查看慢日志仍没有记录该SQL语句。MySQL会记录满足执行时间超过long_query_time秒，扫描记录数超过min_examined_row_limit行的SQL语句。long_query_time参数最小值和默认值分别为1和10s，该参数可以精确到微秒（ms）。如果选择将慢日志记录到文件中，那么所记录的时间精确到微秒，如果记录到慢日志表（mysql.slow_log）中，那么仅精确到秒，微秒部分被忽略。网易云RDS实例允许用户设置这两个参数值，那么是不是用户调整了上述两个阈值，导致无法满足记录条件呢，进一步查询发现也不是问题原因所在。
我们注意到MySQL还有个名为log_queries_not_using_indexes的参数用于控制是否记录未走索引的SQL查询，代码如下：

重点关注箭头所指内容，如果查询未走索引或者索引无效，且相关参数开启，那么warn_no_index设置为true，若同时满足扫描记录数超过阈值，也会像慢查询一样被记录，那么是不是该参数未开呢？结果仍是否定的。
找到问题原因
由于数据库实例中可能有较多不走索引的SQL语句，若开启log_queries_not_using_indexes，则存在日志文件或表容量增长过快的风险，此时可通过设置log_throttle_queries_not_using_indexes来限制每分钟写入慢日志中的不走索引的SQL语句个数，该参数默认为0，表示不开启，也就是说不对写入SQL语句条数进行控制。启用后，系统会在第一条不走索引的查询执行后开启一个60s的窗口，在该窗口内，仅记录最多log_throttle_queries_not_using_indexes条SQL语句。超出部分将被抑制，在时间窗结束时，会打印该窗口内被抑制的慢查询条数以及这些慢查询一共花费的时间。下一个统计时间窗并不是马上创建，而是在下一条不走索引的查询执行后开启。对应到该线上问题，log_throttle_queries_not_using_indexes被设置为10，在日志文件中看到周期性打印了如下内容：

确实符合上面描述的现象，用户的慢日志应该是被抑制了，汇总到了359里面去。我们尝试将log_throttle_queries_not_using_indexes设置为0，再执行对应的SQL语句，果然在日志文件中记录了相应的SQL语句。这个线上问题似乎已经定位到了，就是系统产生的不走索引的慢日志太多，而设置的log_throttle_queries_not_using_indexes太小，导致无法正常记录用户未走索引的慢日志。但还有一个疑惑点没有解决，那就是log_throttle_queries_not_using_indexes为0时，每分钟并没有打印超过10条慢日志，更没有throttle提示的359条这么多，那么设置为10的时候用户提供的那条SQL语句应该被记录到慢日志中才对啊，为何没有记录，原因何在？其实，仔细看下MySQL记录不走索引的日志的代码逻辑可以找到答案：

上图是记录慢日志的主逻辑，是否记录日志由函数log_slow_applicable控制，该函数先前已分析了一部分，我们进一步看该函数的其他相关内容，见下图红框：

suppress_logging是个决定性的变量，只有它为false，该SQL语句才可能被记录。其结果就跟log_throttle_queries_not_using_indexes相关，我们进一步看下log_throttle_qni.log相关实现，如下图：

eligible即为warn_no_index，inc_log_count()函数在1分钟内不走索引的语句总数超过log_throttle_queries_not_using_indexes时返回值为true，只有warn_no_index和inc_log_count()返回值都为true，suppress_current才为true，而suppress_current即为suppress_logging。
通过对上述2个截图内容进行分析，可以解答之前的疑惑点：log_throttle_queries_not_using_indexes统计的是所有不走索引的语句，其中有些语句因为不满足扫描记录数的约束而不会记录到慢日志中，这就是为什么该值为10的时候，慢日志文件中并没有10条记录。因为这10条中有8条SQL语句由于扫描记录数太少并没有被记录。

这也解惑了上图中359这个数字，它这个时间窗内不走索引的SQL语句总数。所以，log_throttle_queries_not_using_indexes是个很关键的参数，设置不当会无法正常记录不走索引的慢查询，导致慢日志功能部分失效。
InnoSQL慢日志功能增强
还有部分RDS实例用户问我们，为什么我的SQL语句执行时间没有超过所设置的long_query_time，而且走了索引，但还是被记录到慢日志中，是不是出Bug了？其实这不是Bug，而是因为网易云RDS使用的InnoSQL（网易维护的MySQL开源分支）版本对慢日志做了优化，除了考察SQL语句的执行时间外，还关注该查询所需的磁盘页面（Disk Page）数，因为所需的页面数目过多，也可能会对系统负载造成较大影响。为了能够量化统计，我们收集了SQL查询所需读取的总页面数和这些页面中实际进行IO的次数，分别记录为logical_reads和physical_reads，前者包括命中InnoDB Buffer Pool和未命中需要进行IO的页面请求。通过引入slow_query_type和long_query_io两个参数为用户提供该功能。前者可设置为0/1/2/3。1表示启用基于执行时间来记录慢日志，2表示基于搜索总页面数来记录慢日志，3是1和2的合集。所以在InnoSQL中，SQL查询只需满足执行时间够长或所需总页面数够多即可记录到慢日志中。代码实现片段如下：

页面数阈值通过long_query_io参数来衡量，用户可动态设置，如果总页面数m_logical_reads超过了该值，即使执行时间未超标，也会被记录。相应的，RDS实例慢日志表结构和慢日志文件输出内容也增加了新的字段。

上图即为InnoSQL版的slow_log表结构，其中，logical_reads和physical_reads为InnoSQL增加字段。同样的，慢日志文件的输出内容也增加了两个字段，如下所示：

除了以上详细描述的内容外，MySQL慢日志模块还有如下几个特性值得关注：

1. 进行慢日志统计及慢日志中所记录的时间并不包括该SQL语句开始执行前获取锁所需等待的时间；
2. MySQL在SQL语句执行完且所持有的锁均已释放后才将其写入慢日志中，所以慢日志中的SQL语句记录顺序并不能准确反映这些SQL语句的实际执行顺序；
3. 每条慢日志都包含一个时间戳，若写入文件中，log_timestamps 参数用于将慢日志时间戳转化为指定时区的时间。但该参数对于mysql.slow_log表中的慢日志不起作用；
4. 可通过设置log_slow_slave_statements来开启MySQL从库的慢日志功能；
5. ALTER TABLE, ANALYZE TABLE, CHECK TABLE, CREATE INDEX, DROP INDEX, OPTIMIZE TABLE, and REPAIR TABLE等表管理操作也能够被记录到慢日志中，可通过log_slow_admin_statements选项开启。

网易云数据库RDS是一种稳定可靠、可弹性伸缩的在线关系型数据库服务，当前支持MySQL引擎，提供基础版，高可用版，金融版针对不同业务场景的高可用解决方案，同时提供多重安全防护措施，性能监控体系，专业的数据库备份、恢复及优化方案，使您能专注于应用开发和业务发展。

本文来源于数据库内核专栏。由作者温正湖授权发布

原文：MySQL慢日志线上问题分析及功能优化

了解 网易云 ：

网易云官网：https://www.163yun.com

新用户大礼包：https://www.163yun.com/gift