MySQL--------SQL优化审核工具实战

1. 背景

SQLAdvisor是由美团点评公司技术工程部DBA团队（北京）开发维护的一个分析SQL给出索引优化建议的工具。它基于MySQL原生态词法解析，结合分析SQL中的where条件、聚合条件、多表Join关系给出索引优化建议。目前SQLAdvisor在美团点评内部广泛应用，公司内部对SQLAdvisor的开发全面转到github上，开源和内部使用保持一致。

在数据库运维过程中，优化SQL是业务团队与DBA团队的日常任务。例行SQL优化，不仅可以提升程序性能，还能够降低线上故障的概率。

目前常用的SQL优化方式包括但不限于：业务层优化、SQL逻辑优化、索引优化等。其中索引优化通常通过调整索引或新增索引从而达到SQL优化的目的。索引优化往往可以在短时间内产生非常巨大的效果。如果能够将索引优化转化成工具化、标准化的流程，减少人工介入的工作量，无疑会大大提高DBA的工作效率。板面的做法和配料

２. 架构流程图

3. 环境

* os version

[root@SQLAdvisor ~]# cat /etc/redhat-release

CentOS release 6.8 (Final)

[root@SQLAdvisor ~]# uname -r

2.6.32-642.3.1.el6.x86_64

[root@SQLAdvisor ~]# uname -n

SQLAdvisor

[root@SQLAdvisor ~]# getenforce

Disabled

* mysql version

mysql> show variables like 'version';

+---------------+--------+

| Variable_name | Value |

+---------------+--------+

| version | 5.7.18 |

+---------------+--------+

1 row in set (0.00 sec)

4. 安装SQLAdvisor

* 获取最新代码

[root@SQLAdvisor ~]# git clone https://github.com/Meituan-Dianping/SQLAdvisor.git

Initialized empty Git repository in /root/SQLAdvisor/.git/

remote: Counting objects: 1460, done.

remote: Total 1460 (delta 0), reused 0 (delta 0), pack-reused 1460

Receiving objects: 100% (1460/1460), 19.92 MiB | 209 KiB/s, done.

Resolving deltas: 100% (368/368), done.

* 安装依赖项

[root@SQLAdvisor ~]# yum -y install cmake libaio-devel libffi-devel glib2 glib2-devel

[root@SQLAdvisor ~]# yum -y install

[root@SQLAdvisor ~]# yum -y install Percona-Server-shared-56

[root@SQLAdvisor ~]# ln -s /usr/lib64/libperconaserverclient_r.so.18 /usr/lib64/libperconaserverclient_r.so

* 编译依赖项sqlparser

[root@SQLAdvisor ~]# cd SQLAdvisor/

[root@SQLAdvisor SQLAdvisor]# cmake -DBUILD_CONFIG=mysql_release -DCMAKE_BUILD_TYPE=debug -DCMAKE_INSTALL_PREFIX=/usr/local/sqlparser ./

[root@SQLAdvisor SQLAdvisor]# make && make install

* 安装SQLAdvisor

[root@SQLAdvisor SQLAdvisor]# cd sqladvisor/

[root@SQLAdvisor sqladvisor]# cmake -DCMAKE_BUILD_TYPE=debug ./

[root@SQLAdvisor sqladvisor]# make

* SQLAdvisor Info

[root@SQLAdvisor sqladvisor]# ./sqladvisor --help

Usage:

sqladvisor [OPTION...] sqladvisor

SQL Advisor Summary

Help Options:

-?, --help Show help options

Application Options:

-f, --defaults-file sqls file

-u, --username username

-p, --password password

-P, --port port

-h, --host host

-d, --dbname database name

-q, --sqls sqls

-v, --verbose 1:output logs 0:output nothing

5. 测试

* 生成测试数据表

mysql> create database test1 character set utf8mb4;

Query OK, 1 row affected (0.00 sec)

mysql> create table user(

-> id INT PRIMARY KEY AUTO_INCREMENT,

-> name VARCHAR(64) NOT NULL,

-> age int,

-> sex int

-> )ENGINE=INNODB DEFAULT CHARSET=utf8mb4;

Query OK, 0 rows affected (0.13 sec)

mysql> desc user;

+-------+-------------+------+-----+---------+----------------+

+-------+-------------+------+-----+---------+----------------+

| id | int(11) | NO | PRI | NULL | auto_increment |

| name | varchar(64) | NO | | NULL | |

| age | int(11) | YES | | NULL | |

| sex | int(11) | YES | | NULL | |

+-------+-------------+------+-----+---------+----------------+

4 rows in set (0.01 sec)

* 生成测试数据

mysql> insert into user(name,age, sex) select 'lisea', 25, 1;

Query OK, 1 row affected (0.01 sec)

Records: 1 Duplicates: 0 Warnings: 0

mysql> insert into user(name,age, sex) select concat(name, '1'), age+1, sex+1 from user;

Query OK, 1 row affected (0.02 sec)

Records: 1 Duplicates: 0 Warnings: 0

mysql> insert into user(name,age, sex) select concat(name, '2'), age+2, sex from user;

Query OK, 2 rows affected (0.02 sec)

Records: 2 Duplicates: 0 Warnings: 0

mysql> insert into user(name,age, sex) select concat(name, '3'), age+2, sex from user;

Query OK, 4 rows affected (0.18 sec)

Records: 4 Duplicates: 0 Warnings: 0

.

mysql> insert into user(name,age, sex) select concat(name, '10'), age+2, sex from user;

Query OK, 512 rows affected (0.24 sec)

Records: 512 Duplicates: 0 Warnings: 0

mysql> insert into user(name,age, sex) select concat(name, '11'), age+4, sex from user;

Query OK, 1024 rows affected (0.79 sec)

Records: 1024 Duplicates: 0 Warnings: 0

mysql> select count(1) from user;

+----------+

| count(1) |

+----------+

| 2048 |

+----------+

1 row in set (0.01 sec)

* 命令行传参调用测试SQLAdvisor　[查找非索引行]

[root@SQLAdvisor sqladvisor]

# ./sqladvisor -h 127.0.0.1  -P 3306  -u root -p '123' -d test1 -q "select * from user where name = 'lisea'" -v 1

2017-10-27 05:35:49 34059 [Note] 第1步: 对SQL解析优化之后得到的SQL:select `*` AS `*` from `test1`.`user` where (`name` = 'lisea')

2017-10-27 05:35:49 34059 [Note] 第2步：开始解析where中的条件:(`name` = 'lisea')

2017-10-27 05:35:49 34059 [Note] show index from user

2017-10-27 05:35:49 34059 [Note] show table status like 'user'

2017-10-27 05:35:49 34059 [Note] select count(*) from ( select `name` from `user` FORCE INDEX( PRIMARY ) order by id DESC limit 1024) `user` where (`name` = 'lisea')

2017-10-27 05:35:49 34059 [Note] 第3步：表user的行数:2048,limit行数:1024,得到where条件中(`name` = 'lisea')的选择度:1024

2017-10-27 05:35:49 34059 [Note] 第4步：开始验证字段name是不是主键。表名:user

2017-10-27 05:35:49 34059 [Note] show index from user where Key_name = 'PRIMARY' and Column_name ='name' and Seq_in_index = 1

2017-10-27 05:35:49 34059 [Note] 第5步：字段name不是主键。表名:user

2017-10-27 05:35:49 34059 [Note] 第6步：开始验证字段name是不是主键。表名:user

2017-10-27 05:35:49 34059 [Note] show index from user where Key_name = 'PRIMARY' and Column_name ='name' and Seq_in_index = 1

2017-10-27 05:35:49 34059 [Note] 第7步：字段name不是主键。表名:user

2017-10-27 05:35:49 34059 [Note] 第8步：开始验证表中是否已存在相关索引。表名:user, 字段名:name, 在索引中的位置:1

2017-10-27 05:35:49 34059 [Note] show index from user where Column_name ='name' and Seq_in_index =1

2017-10-27 05:35:49 34059 [Note] 第9步：开始输出表user索引优化建议:

2017-10-27 05:35:49 34059 [Note] Create_Index_SQL：alter table user add index idx_name(name)

2017-10-27 05:35:49 34059 [Note] 第10步: SQLAdvisor结束!

* 命令行传参调用测试SQLAdvisor　[查找索引行]

[root@SQLAdvisor sqladvisor]

# ./sqladvisor -h 127.0.0.1  -P 3306  -u root -p '123' -d test1 -q "select * from user where id = 1" -v 1

2017-10-27 05:36:46 34062 [Note] 第1步: 对SQL解析优化之后得到的SQL:select `*` AS `*` from `test1`.`user` where (`id` = 1)

2017-10-27 05:36:46 34062 [Note] 第2步：开始解析where中的条件:(`id` = 1)

2017-10-27 05:36:46 34062 [Note] show index from user

2017-10-27 05:36:46 34062 [Note] show table status like 'user'

2017-10-27 05:36:46 34062 [Note] select count(*) from ( select `id` from `user` FORCE INDEX( PRIMARY ) order by id DESC limit 1024) `user` where (`id` = 1)

2017-10-27 05:36:46 34062 [Note] 第3步：表user的行数:2048,limit行数:1024,得到where条件中(`id` = 1)的选择度:1024

2017-10-27 05:36:46 34062 [Note] 第4步：开始验证字段id是不是主键。表名:user

2017-10-27 05:36:46 34062 [Note] show index from user where Key_name = 'PRIMARY' and Column_name ='id' and Seq_in_index = 1

2017-10-27 05:36:46 34062 [Note] 第5步：字段id是主键。表名:user

2017-10-27 05:36:46 34062 [Note] 第6步：表user 经过运算得到的索引列首列是主键,直接放弃,没有优化建议

2017-10-27 05:36:46 34062 [Note] 第7步: SQLAdvisor结束!

* 配置文件传参调用

[root@SQLAdvisor sqladvisor]# cat sql.cnf

[sqladvisor]

username=root

password=123

host=127.0.0.1

port=3306

dbname=test1

sqls=select * from user where name = 'lisea'

[root@SQLAdvisor sqladvisor]# ./sqladvisor -f sql.cnf -v 1

2017-10-27 05:40:14 34070 [Note] 第1步: 对SQL解析优化之后得到的SQL:select `*` AS `*` from `test1`.`user` where (`name` = 'lisea')

2017-10-27 05:40:14 34070 [Note] 第2步：开始解析where中的条件:(`name` = 'lisea')

2017-10-27 05:40:14 34070 [Note] show index from user

2017-10-27 05:40:14 34070 [Note] show table status like 'user'

2017-10-27 05:40:14 34070 [Note] select count(*) from ( select `name` from `user` FORCE INDEX( PRIMARY ) order by id DESC limit 1024) `user` where (`name` = 'lisea')

2017-10-27 05:40:14 34070 [Note] 第3步：表user的行数:2048,limit行数:1024,得到where条件中(`name` = 'lisea')的选择度:1024

2017-10-27 05:40:14 34070 [Note] 第4步：开始验证字段name是不是主键。表名:user

2017-10-27 05:40:14 34070 [Note] show index from user where Key_name = 'PRIMARY' and Column_name ='name' and Seq_in_index = 1

2017-10-27 05:40:14 34070 [Note] 第5步：字段name不是主键。表名:user

2017-10-27 05:40:14 34070 [Note] 第6步：开始验证字段name是不是主键。表名:user

2017-10-27 05:40:14 34070 [Note] show index from user where Key_name = 'PRIMARY' and Column_name ='name' and Seq_in_index = 1

2017-10-27 05:40:14 34070 [Note] 第7步：字段name不是主键。表名:user

2017-10-27 05:40:14 34070 [Note] 第8步：开始验证表中是否已存在相关索引。表名:user, 字段名:name, 在索引中的位置:1

2017-10-27 05:40:14 34070 [Note] show index from user where Column_name ='name' and Seq_in_index =1

2017-10-27 05:40:14 34070 [Note] 第9步：开始输出表user索引优化建议:

2017-10-27 05:40:14 34070 [Note] Create_Index_SQL：alter table user add index idx_name(name)

2017-10-27 05:40:14 34070 [Note] 第10步: SQLAdvisor结束!

MySQL--------SQL优化审核工具实战的更多相关文章

mysql sql优化实例
mysql sql优化实例优化前: pt-query-degist分析结果: # Query 3: 0.00 QPS, 0.00x concurrency, ID 0xDC6E62FA021C85B ...
sql自动审核工具-inception
[inception使用规范及说明文档](http://mysql-inception.github.io/inception-document/usage/)[代码仓库](https://githu ...
Mysql SQL优化&执行计划
SQL优化准则禁用select * 使用select count(*) 统计行数尽量少运算尽量避免全表扫描,如果可以,在过滤列建立索引尽量避免在where子句对字段进行null判断尽量避免在 ...
18.Mysql SQL优化
18.SQL优化18.1 优化SQL语句的一般步骤 18.1.1 通过show status命令了解各种SQL的执行频率show [session|global] status; -- 查看服务器状态 ...
mysql sql优化及注意事项
sql优化分析通过slow_log等方式可以捕获慢查询sql,然后就是减少其对io和cpu的使用(不合理的索引.不必要的数据访问和排序)当我们面对具体的sql时,首先查看其执行计划A.看其是否使用索 ...
MySQL sql优化（摘抄自文档）
前言有人反馈之前几篇文章过于理论缺少实际操作细节,这篇文章就多一些可操作性的内容吧. 注:这篇文章是以 MySQL 为背景,很多内容同时适用于其他关系型数据库,需要有一些索引知识为基础. 优化目标 ...
MySQL SQL优化
一.优化数据库的一般步骤: (A) 通过 show status 命令了解各种SQL的执行频率. (B) 定位执行效率较低的SQL语句,方法两种: 事后查询定位:慢查询日志:--log-slow-qu ...
MySQL SQL优化之in与range查询【转】
本文来自:http://myrock.github.io/ 首先我们来说下in()这种方式的查询.在<高性能MySQL>里面提及用in这种方式可以有效的替代一定的range查询,提升查询效 ...
MySql Sql 优化技巧分享
有天发现一个带inner join的sql 执行速度虽然不是很慢(0.1-0.2),但是没有达到理想速度.两个表关联,且关联的字段都是主键,查询的字段是唯一索引. sql如下: SELECT p_it ...

随机推荐

前端JS之HTML利用XMLHttpRequest()和FormData()进行大文件分段上传
用于网页向后端上传大文件 ### 前端代码<body> <input type="file" name="video" id="fi ...
bat命令教程
转自:https://www.jb51.net/article/151923.htm 第一章批处理基础第一节常用批处理内部命令简介批处理定义:顾名思义,批处理文件是将一系列命令按一定的顺序集合 ...
superset部署
superset功能概述: 丰富的数据可视化集易于使用的界面,用于探索和可视化数据创建和共享仪表板与主要身份验证提供程序集成的企业级身份验证(通过Flask AppBuilder进行数据库,Op ...
springboot问题
1.导入数据库jar包后,配置好,发现报错数据库连接不成功加上@SpringBootApplication(exclude = DataSourceAutoConfiguration.class ...
python并发编程之多进程(实践篇)
一 multiprocessing模块介绍 python中的多线程无法利用多核优势,如果想要充分地使用多核CPU的资源,在python中大部分情况需要使用多进程.Python提供了multiproce ...
__formart__
__format__ 一.__format__ 自定制格式化字符串 date_dic = { 'ymd': '{0.year}:{0.month}:{0.day}', 'dmy': '{0.day}/ ...
easyui datagrid 合并相同行
$.extend($.fn.datagrid.methods, { autoMergeCells: function (jq, fields) { return jq.each(function () ...
S03_CH03_AXI_DMA_OV7725摄像头采集系统
S03_CH03_AXI_DMA_OV7725摄像头采集系统 3.1概述本课程讲解如何搭建基于DMA的图形系统,方案原理如下. 摄像头采样图像数据后通过DMA送入到DDR,在PS部分产生DMA接收中 ...
不吹不黑，赞一下应用运维管理的cassacdra
不吹不黑的为菊厂的应用运维管理AOM点个赞.Why? 某菊厂应用运维管理工具AOM每天处理着亿级条数据,这么多数据是怎么存储的呢? 说到数据存储就会想到关系型数据库,比如mysql,oracle,sy ...
怎样通过html标签名获取元素节点集合
方法1. 使用document.querySelectorAll(); 方法2. 使用document.getElementsByTagName(); document.querySelectorAl ...

MySQL--------SQL优化审核工具实战

MySQL--------SQL优化审核工具实战的更多相关文章

随机推荐

热门专题