出处:  MySQL优化 - 性能分析与查询优化

优化应贯穿整个产品开发周期中,比如编写复杂SQL时查看执行计划,安装MySQL服务器时尽量合理配置(见过太多完全使用默认配置安装的情况),根据应用负载选择合理的硬件配置等。

1、性能分析

性能分析包含多方面:CPU、Memory、磁盘/网络IO、MySQL服务器本身等。

1.1 操作系统分析

 常规的操作系统分析,在Linux中通常包含一些性能监控命令,如top、vmstat、iostat、strace、iptraf等。

  1、内存:内存是大项,高查询消耗大量的查询缓存,内存必须足够,并且给系统本身要预留一些。

  2、磁盘:配备高速磁盘+RAID会有更好的读写速度,并且SSD成本逐渐降低,升级成本会在可接受范围。

  3、网络:目前市场上千兆万兆网卡已很常见。

  4、CPU:虽然很多情况下CPU用不完,但也不能让它成为瓶颈。

生产环境的MySQL多数情况部署在Linux系统中,Linux系统本身可以优化的配置并不多。硬件的选型是复杂,涉及计算机组成的原理性知识,需要额外了解。

1.2 MySQL服务性能分析

  MySQL服务器的性能通常通过监控命令查看系统工作状态,确定哪些因素成为瓶颈。

1.2.1  SHOW GLOBAL STATUS

  显示了目前MySQL的工作状态,包含很多参数,下面对一些参数进行说明,其余的参考官方说明:

====================================

1. Aborted_clients
 如果该值随时间增加,检查是否优雅关闭连接,检查max_allowed_packet配置变量是否被超过导致强制中断。

2. Aborted_connections
 接近于0,检查网络问题,如果有少量是正常的,比如鉴权失败等。

3. Binlog_cache_disk_use和Binlog_cache_use
 大部分事务应该在缓冲中进行,如果disk cache很大,可考虑增加内存缓存。

4. Bytes_recevied和Bytes_sent
 如果值很大,检查是否查询超过需要的数据。

5. Com_*
 尽量让如Com_rollback这些不常见的变量超过预期,用innotop检查。

6. Create_tmp_tables
 优化查询降低该值。

7. Handler_read_rnd_next
 Handler_read_rnd_next / Handler_read_rnd显示全表扫面大致平均值,如果很大,只能优化查询。

8. Open_files
 不应该接近于open_files_limit,如果接近就应该适当增加open_files_limit。

9. Qcache_*
 查询缓存相关。

10. Select_full_join
 全联接无索引联接,尽量避免,优化查询。

11. Select_full_range_join
 值过高说明使用了范围查询联接表,范围查询比较慢,可优化。

12. Sort_meger_passes
 如果值较大可考虑增加sort_buffer_size,查明是那个查询导致使用文件排序。

13. Table_locks_waited
 表被锁定导致服务器锁等待,InnoDB的行锁不会使得该变量增加,建议开启慢查询日志。

14. Threads_created
 如果值在增加,可考虑增加thread_cache_size。

====================================

1.2.2  SHOW ENGINE INNODB STATUS

 暂时的数据包含了太多InnoDB核心信息,并且需要比较深的了解InnoDB引擎工作原理,这里不做过多说明,请查阅针对此的专项文档。

注: 通常包含SEMAPHORES、TRANSACTIONS、FILE I/O、LOG、BUFFER POOL AND MEMORY等一些详细值,有些参数是上一次执行以来的平均值,所以建议隔一段时间再打印一次得到这段时间的统计,有点类似iostat的统计磁盘平均读写一样。

1.2.3  开启慢查询日志配置

 排查导致MySQL运行缓慢的问题SQL,开启慢查询日志配置,可能有很有帮助:

slow_query_log=1
slow_query_log_file=/YOUR_DIR/mysql_slow.log

配合慢查询日志分析工具(如mysqlsla)

2、查询性能优化

一般来说在编写SQL时,注意查询是否能使用到索引,是否在大表中或者高频率查询中引起全表扫描,这些主要通过经验分析配合execution plan得到比较理想的查询消耗。

2.1 查询基础

了解查询过程,才能知道哪些步骤可能出现瓶颈,execution plan结果也会有所体现,MySQL查询的一般过程:

  1. Client往服务器发送查询指令。
  2. 服务器查询缓存,如果存在则直接返回,否则下一步。
  3. 服务器解析、预处理和优化查询,生成执行计划。
  4. 执行引擎调用存储引擎API执行查询。
  5. 服务器将结果返回至客户端。

用图表示如下:

解析与预处理过程:

  - 解析器将查询分解后构造解析树,进行语法解析与验证查询,检查SQL是否有效。

  - 预处理器解析语义:如检查表和列是否存在,是否存在歧义等。

  - 预处理器检查权限。

查询优化器:

  该过程比较复杂,将解析树的结果变成执行计划,优化器的任务是寻找最好的方式(但并不是总能选择最好的方案),MySQL使用基于开销的优化器,预测不同执行计划的开销。

  - MySQL不考虑不受它控制的开销,如用户存储过程与用户自定义的函数

  - 不考虑正在运行的其他查询

2.2 优化数据访问 (这一点很重要)

  1. 应用程序是否获取超过需要的数据量?(PS: 多次遇到过查询表所有数据然后再程序中只读取10行之类的代码)

  2. MySQL 服务器是否分析了超过需要的行?数据是否没有在存储引擎层被过来掉?(Using index , Using where)

典型的错误如下:

  1. 提取超过需要的行,然后在程序中只要一部分 (应该使用limit限制数据量)。

  2. 多表join提取所有的列 (应该只读取需要的列)。

  3. 提取所有的列(提取不需要的列可能导致优化索引失效,增加磁盘IO,浪费内存等, 但如果是知道这个影响并利用查询缓存,简化设计等也是可以考虑的)。

访问类型:

  Full Table Scan > Index Scan > Range Scan > Unique Index Lookup > Constant.

访问速度以此递增。

对于使用where语句来过滤数据的话,最好到最坏的情况是:

  1. 对索引查找用where来消除不匹配的数据行,在存储引擎层。

  2. 使用覆盖索引 (Extra 为Using Index) 来避免访问行,取得索引数据后过滤行,发生在MySQL服务器层,但不需要读取行数据。

  3. 从表中查询数据,然后过滤 (Using Where), 发生在服务器端并且要读取行数据。

后面会针对执行计划结果做详细介绍。

2.3 关于执行计划

执行计划结果样例如下图(也可用其他的可视化工具,如mysql workbench):

所代表的含义可在官方文档中找到详细说明 ( https://dev.mysql.com/doc/refman/5.5/en/explain-output.html ),

这里说明一些比较重要的结果:

TYPE字段的值:

前面所说的访问速度依次递增就和这个有关:

Full Table Scan > Index Scan > Range Scan > Unique Index Lookup > Constant.

这里列出一些常见的说明:

  1、const:  最多匹配一行, 如 SELECT * FROM rental where rental_id=1。

  2、eq_ref: 读取的行依次匹配前一个表。

  3、ref: 连接仅使用左索引或者索引不是PRIMARY或UNIQUE(或者说得到的不是一行的结果),如果得到的几行数据,这是个比较好的类型。

  4、range:  使用索引的范围扫描,如使用了 =, <>, >, >=, <, <=, IS NULL, <=>, BETWEEN, IN()等条件。

  5、index: 除了索引树被扫描之外,索引连接类型与ALL相同。这有两种方式:

**************

1. 如果索引是查询的覆盖索引,并满足表中所需的所有数据,则仅扫描索引树。 在这种情况下,Extra列为Using index。 仅索引扫描通常比ALL更快,因为索引的大小通常小于表数据。

2. 使用索引来执行全表扫描,以按索引顺序查找数据行。 在Extra列张则没有Using index,这种情况与ALL的区别是ALL是按行扫描。

**************

  6、ALL: 全表扫描,比较糟糕 (但有时候数据比较少的情况下,MySQL会直接进行全表扫描读取数据,效率更高)。

2.4 优化特定的查询

查询优化的一个办法是迁移旧数据,腾出内存空间重新平衡索引结构,使得更快的查询速度,很多应用保留半年或三个月的数据都能满足需求,对于旧数据,额外提供平台访问或者在应用层做路由。

2.4.1 优化COUNT (遇到过一知半解的使用,导致想优化却适得其反)

 COUNT有两种不同的工作方式:统计值的数量和统计行的数量。

 值是一个非空(Non-NULL)的表达式(NULL则表示没有值),如果在COUNT()中定义了列名或其他表达式,COUNT则会统计这个表达式有值(Non-NULL)的次数。

 COUNT另外一种工作方式就是统计行数,当MySQL知道括号中的表达式不会为NULL的时候,则使用这种方式,COUNT(*)是个例子,它不会展开成所有列,则是忽略所以的列并统计。

2.4.2 优化limit和offset

偏移量很大的查询代价很高,如LIMIT 10000, 10, 则会产生10010数据,然后只截取10行。解决办法:

1. 限制分页能读取的数据页数。

2. 可考虑使用覆盖索引,如 select id, name, description from book limit 100,10;

在ID上有索引改进为:select id, name, description from book  inner join (select id from book limit 100, 10) as b;

MySQL优化 - 性能分析与查询优化(转)的更多相关文章

  1. MySQL优化 - 性能分析与查询优化

    优化应贯穿整个产品开发周期中,比如编写复杂SQL时查看执行计划,安装MySQL服务器时尽量合理配置(见过太多完全使用默认配置安装的情况),根据应用负载选择合理的硬件配置等. 1.性能分析 性能分析包含 ...

  2. MySQL 索引性能分析概要

    上一篇文章 MySQL 索引设计概要 介绍了影响索引设计的几大因素,包括过滤因子.索引片的宽窄与大小以及匹配列和过滤列.在文章的后半部分介绍了 数据库索引设计与优化 一书中,理想的三星索引的设计流程和 ...

  3. mysql优化:explain分析sql语句执行效率

    Explain命令在解决数据库性能上是第一推荐使用命令,大部分的性能问题可以通过此命令来简单的解决,Explain可以用来查看SQL语句的执行效 果,可以帮助选择更好的索引和优化查询语句,写出更好的优 ...

  4. mysql优化–explain分析sql语句执行效率

    Explain命令在解决数据库性能上是第一推荐使用命令,大部分的性能问题可以通过此命令来简单的解决,Explain可以用来查看SQL语句的执行效 果,可以帮助选择更好的索引和优化查询语句,写出更好的优 ...

  5. MySQL索引性能分析

    为什么要做性能分析 你有没有这样的情况. 面对一个你没怎么写过的.复杂的业务,你构思了很久,终于开始敲下了第一段代码. 写的过程迷迷糊糊,有的时候还能把自己搞晕了. 但你还是终于把它写完了. 但是点击 ...

  6. [MySQL]--查询性能分析工具-explain关键字

    explain显示了MySQL如何使用索引来处理select语句以及连接表.可以帮助选择更好的索引和写出更优化的查询语句. explain的使用方法很简单,只需要在select查询语句前面加上expl ...

  7. mysql Explain 性能分析关键字

    EXPLAIN 输出格式select_typetabletypepossible_keyskeykey_lenrowsExtra MySQL 提供了一个 EXPLAIN 命令, 它可以对 SELECT ...

  8. Mysql优化性能优化21条

    今天,数据库的操作越来越成为整个应用的性能瓶颈了,这点对于Web应用尤其明显.关于数据库的性能,这并不只是DBA才需要担心的事,而这更是我们程序员需要去关注的事情.当我们去设计数据库表结构,对操作数据 ...

  9. MySQL高级-性能分析Explain

    1.使用Explain关键字可以模拟优化器执行SQL查询语句,从而知道MySQL是如何处理你的SQL语句的.分析你的查询语句或是表结构的性能瓶颈 . 2.执行方法:Explain + SQL语句 解释 ...

随机推荐

  1. Apache Kudu: Hadoop生态系统的新成员实现对快速数据的快速分析

    A new addition to the open source Apache Hadoop ecosystem, Apache Kudu completes Hadoop's storage la ...

  2. asp.net core spa应用(angular) 部署同一网站下

    需求:现在一个应用是前后端开发分离,前端使用angular,后端使用 asp.net core 提供api ,开发完成后,现在需要把两个程序部署在同一个网站下,应该怎么处理? 首先可以参考微软的官方文 ...

  3. xpath 轴定位表达方式

    xpath的使用基本语法: 1.// 从根节点开始,查找对象是全文. 2./ 从当前标签的路径开始查找 3.text()获取当前路径下的文本 4.@+类名或者id名 查找类名或者id的名字 5. .一 ...

  4. 使用hibernate利用实体类生成表和利用表生成实体类

    1,配置数据库,这里以oracle数据库为例.点击右侧Database图标:

  5. kotlin泛型中星号投射

    如果一个泛型类型中存在多个类型的参数,那么每个类型的参数都可以单独投射,例如:如果类型定义为:"interface Function<in T,out>",那么可以出现 ...

  6. Ubuntu16.04安装vmware pro 15激活码

    VMware Workstation Pro 15 激活许可证UY758-0RXEQ-M81WP-8ZM7Z-Y3HDAVF750-4MX5Q-488DQ-9WZE9-ZY2D6UU54R-FVD91 ...

  7. python 时间对比

    import datetimed1 = datetime.datetime.strptime('2015-03-05  17:41:20', '%Y-%m-%d %H:%M:%S')d2 = date ...

  8. Python描述性统计numpy

    import numpy as np import pandas as pd import matplotlib.pyplot as plt from sklearn import datasets, ...

  9. 在DELPHI中用TreeView控件从数据库中动态装载信息

    1.PInfo表结构ID VARCHAR(50)FullName VARCHAR(50)ParentID VARCHAR(50) 2.Unit文件unit Info; interface uses  ...

  10. Scrapy五大核心组件工作流程

    一.Scrapy五大核心组件工作流程 1.核心组件 # 引擎(Scrapy) 对整个系统的数据流进行处理, 触发事务(框架核心). # 调度器(Scheduler) 用来接受引擎发过来的请求. 由过滤 ...