摘要:相信大家都使用过子查询,因为使用子查询可以一次性的完成很多逻辑上需要多个步骤才能完成的SQL操作,比较灵活,我也喜欢用,可最近因为一条包含子查询的select count(*)语句导致点开管理系统的一个功能模块列表时,耗时44几秒,到了不可容忍的地步,定位发现是因为未加索引和用了子查询导致,不加索引导致查询慢好理解,但子查询也会引起查询效率过低吗?没错,所以本文就以这次案例来重新认识下MySQL子查询。

特别说明:本文介绍的是在MySQL5.5.6版本下子查询的案例,5.5.29版本的我也试过也会有子查询效率低的问题。另外有关本文用到的sql及数据都在附录部分,有需要的可自行下载测试!

一、问题定位过程

1.1 问题现象  

点击系统中某个列表功能模块发现很慢,开启log日志发现使用到了如下的sql语句来统计符合要求的总记录数,以进行分页使用

        select count(*) from (select
schedule_id, schedule_code ,resource_code, schedule_type, schedule.oper_id, schedule.oper_time,
start_date, end_date, start_time, end_time, img_id, video_id, display_time,
schedule_color, terrace_code, stb_types, district_codes, user_group_codes,
igroup_code, schedule_status, schedule_description, step_id, owner_id, aud.description, so.oper_name
from schedule_record as schedule
left join auditing_desc_record as aud
on schedule.schedule_code = aud.code
and aud.is_last_auditing = 1
left join system_oper as so
on owner_id = so.oper_id
where 1=1 and schedule_status = 7
order by schedule.schedule_code desc) myCount ;

1.2 explain分析

手动执行该sql发现竟然用了21.18秒,怀疑是未使用索引或者表数据量过大,于是用explain语句分析

explain
select count(*) from (select
schedule_id, schedule_code ,resource_code, schedule_type, schedule.oper_id, schedule.oper_time,
start_date, end_date, start_time, end_time, img_id, video_id, display_time,
schedule_color, terrace_code, stb_types, district_codes, user_group_codes,
igroup_code, schedule_status, schedule_description, step_id, owner_id, aud.description, so.oper_name
from schedule_record as schedule
left join auditing_desc_record as aud
on schedule.schedule_code = aud.code
and aud.is_last_auditing = 1
left join system_oper as so
on owner_id = so.oper_id
where 1=1 and schedule_status = 7
order by schedule.schedule_code desc) myCount ;

1.3 改写sql

当然,看到上图,我相信很容易看出来是没有加索引导致全表扫描(有3条type为ALL),查看索引发现确实如此,连接字段schedule.schedule_code和aud.code都没使用索引

show index from schedule_record;
show index from auditing_desc_record;

但是更成功引起我注意的是为什么明明用了明明用了子查询(内部查询)只扫描了1827和11265条,最后外部查询select count(*)却扫描了1827*11265=20581155条记录?怀疑是子查询的导致,于是决定改写sql,看看不用子查询的效果

        select
count(schedule_code)
from schedule_record as schedule
left join auditing_desc_record as aud
on schedule.schedule_code = aud.code
and aud.is_last_auditing = 1
left join system_oper as so
on owner_id = so.oper_id
where 1=1 and schedule_status = 7
order by schedule.schedule_code desc;

那是因为没有添加索引才会有子查询效率低的问题吗,接下来添加索引再试下

1.4 添加索引

ALTER TABLE auditing_desc_record ADD INDEX index_code (code);
ALTER TABLE schedule_record ADD INDEX index_schedule_code (schedule_code);

再查询,发现发现不用子查询效率依然要比用了子查询效率高些

这样对比不难发现,在这种情况下,用子查询效率确实更低,因为这里每次子查询每次都需要建立临时表,它会把结果集都存到临时表,这样外部查询select count(*)又重新扫描一次临时表,导致用时更长,扫描效率更低

但仅由此得出子查询效率低似乎太过草莽了。为验证我的想法,于是网上搜集了一些资料来确认下。

二、更多关于子查询效率的问题

  《高性能MySQL》,第4.4节“MySQL查询优化器的限制”4.4.1小节“关联子查询”正好讲到这个问题。

MySQL有时优化子查询很差,特别是在WHERE从句中的IN()子查询。像上面我碰到的情况,其实我的想法是MySQL会把

select * from abc_number_prop where number_id in (select number_id from abc_number_phone where phone = '82306839');

变成下面的样子

select * from abc_number_prop where number_id in (8585, 10720, 148644, 151307, 170691, 221897);

但不幸的是,实际情况正好相反。MySQL试图让它和外面的表产生联系来“帮助”优化查询,它认为下面的exists形式更有效率

select * from abc_number_prop where exists (select * from abc_number_phone where phone = '82306839' and number_id = abc_number_prop.number_id);

由此看,在这两种场合缺失不太适合使用子查询,当然文中说到:但是总是认为子查询效率很差也是不对的,有时候可能子查询更好些。怎么确定这个事情呢,应该经过评测来决定(执行查询、用desc/explain等来看)

在网上也能找到《高性能MySQL》的这节内容

参考资料4:MySQL 数据库优化(12)Limitations of the MySQL Query Optimizer

三、附录

3.1 表结构

-- ----------------------------
-- Table structure for auditing_desc_record
-- ----------------------------
DROP TABLE IF EXISTS `auditing_desc_record`;
CREATE TABLE `auditing_desc_record` (
`id` int(11) NOT NULL AUTO_INCREMENT,
`code` varchar(50) NOT NULL COMMENT '记录编号',
`module_flag` int(5) NOT NULL COMMENT '模块标识',
`oper_id` int(11) NOT NULL COMMENT '操作人',
`oper_time` timestamp NOT NULL DEFAULT '0000-00-00 00:00:00' ON UPDATE CURRENT_TIMESTAMP COMMENT '操作时间',
`status` int(5) NOT NULL COMMENT '记录状态',
`description` varchar(250) NOT NULL COMMENT '审核说明',
`is_last_auditing` int(2) NOT NULL COMMENT '是否最后一次审核',
`auditing_count` int(5) NOT NULL COMMENT '记录审核流程次数',
`reaudit_description` varchar(250) DEFAULT NULL,
`is_last_reauditing` int(11) DEFAULT NULL,
PRIMARY KEY (`id`)
) ENGINE=InnoDB AUTO_INCREMENT=14518 DEFAULT CHARSET=utf8; -- ----------------------------
-- Table structure for schedule_record
-- ----------------------------
DROP TABLE IF EXISTS `schedule_record`;
CREATE TABLE `schedule_record` (
`schedule_id` int(11) NOT NULL AUTO_INCREMENT,
`schedule_code` varchar(30) NOT NULL,
`schedule_type` int(5) NOT NULL,
`resource_code` varchar(30) DEFAULT NULL,
`oper_id` int(11) DEFAULT NULL,
`oper_time` timestamp NULL DEFAULT NULL ON UPDATE CURRENT_TIMESTAMP,
`start_date` date NOT NULL,
`end_date` date NOT NULL,
`start_time` int(10) NOT NULL,
`end_time` int(10) NOT NULL,
`img_id` int(11) DEFAULT NULL,
`video_id` int(11) DEFAULT NULL,
`display_time` int(5) DEFAULT NULL,
`schedule_color` varchar(8) NOT NULL,
`terrace_code` varchar(30) DEFAULT NULL,
`stb_types` text,
`district_codes` text,
`user_group_codes` text,
`igroup_code` varchar(50) DEFAULT NULL,
`schedule_status` int(5) NOT NULL,
`schedule_description` varchar(200) DEFAULT NULL,
`step_id` int(11) DEFAULT NULL,
`owner_id` int(11) NOT NULL DEFAULT '',
PRIMARY KEY (`schedule_id`)
) ENGINE=InnoDB AUTO_INCREMENT=2534 DEFAULT CHARSET=utf8; -- ----------------------------
-- Table structure for system_oper
-- ----------------------------
DROP TABLE IF EXISTS `system_oper`;
CREATE TABLE `system_oper` (
`oper_id` int(11) NOT NULL AUTO_INCREMENT,
`oper_name` varchar(20) DEFAULT NULL,
`oper_password` varchar(40) DEFAULT NULL,
`oper_nikename` varchar(20) DEFAULT NULL,
`oper_city` varchar(20) DEFAULT NULL,
`oper_status` varchar(20) DEFAULT NULL,
`last_login_time` timestamp NOT NULL DEFAULT CURRENT_TIMESTAMP ON UPDATE CURRENT_TIMESTAMP,
`remark` varchar(500) DEFAULT NULL,
`history_password` varchar(80) DEFAULT NULL,
PRIMARY KEY (`oper_id`)
) ENGINE=InnoDB AUTO_INCREMENT=102 DEFAULT CHARSET=utf8;

3.2 表数据

有需要的请下载这个压缩包解压导入即可

下载地址:https://files.cnblogs.com/files/zishengY/sub_query%3B.zip

学习本就是一个不断模仿、练习、再到最后面自己原创的过程。

虽然可能从来不能写出超越网上通类型同主题博文,但为什么还是要写?
于自己而言,博文主要是自己总结。假设自己有观众,毕竟讲是最好的学(见下图)。

于读者而言,笔者能在这个过程get到知识点,那就是双赢了。
当然由于笔者能力有限,或许文中存在描述不正确,欢迎指正、补充!
感谢您的阅读。如果本文对您有用,那么请点赞鼓励。

 

由一条sql语句想到的子查询优化的更多相关文章

  1. JavaWeb 学习007-4个页面,5条sql语句(添加、查看、修改、删除)2016-12-2

    需要复习的知识: 关联查询 =================================================================================班级模块学 ...

  2. MyBatis7:MyBatis插件及示例----打印每条SQL语句及其执行时间

    Plugins 摘一段来自MyBatis官方文档的文字. MyBatis允许你在某一点拦截已映射语句执行的调用.默认情况下,MyBatis允许使用插件来拦截方法调用 Executor(update.q ...

  3. 腾讯面试:一条SQL语句执行得很慢的原因有哪些?---不看后悔系列

    说实话,这个问题可以涉及到 MySQL 的很多核心知识,可以扯出一大堆,就像要考你计算机网络的知识时,问你"输入URL回车之后,究竟发生了什么"一样,看看你能说出多少了. 之前腾讯 ...

  4. 一条SQL语句执行得很慢的原因有哪些?

    说实话,这个问题可以涉及到 MySQL 的很多核心知识,可以扯出一大堆,就像要考你计算机网络的知识时,问你“输入URL回车之后,究竟发生了什么”一样,看看你能说出多少了. 之前腾讯面试的实话,也问到这 ...

  5. 一条SQL语句执行得很慢的原因有哪些?(转)

    一条 SQL 语句执行的很慢,那是每次执行都很慢呢?还是大多数情况下是正常的,偶尔出现很慢呢?所以我觉得,我们还得分以下两种情况来讨论. 1.大多数情况是正常的,只是偶尔会出现很慢的情况. 2.在数据 ...

  6. MyBatis插件及示例----打印每条SQL语句及其执行时间

    Plugins 摘一段来自MyBatis官方文档的文字. MyBatis允许你在某一点拦截已映射语句执行的调用.默认情况下,MyBatis允许使用插件来拦截方法调用 Executor(update.q ...

  7. Oracle一条SQL语句时快时慢

    今天碰到一个非常奇怪的问题问题,一条SQL语句在PL/SQL developer中很慢,需要9s,问题SQL: SELECT * FROM GG_function_location f WHERE f ...

  8. select * from user 这条 SQL 语句,背后藏着哪些不可告人的秘密?

    作为一名 Java开发人员,写 SQL 语句是常有的事,但是你知道 SQL 语句背后的处理逻辑吗?比如下面这条 SQL 语句: select * from user where id=1 执行完这条语 ...

  9. 一条SQL语句执行得很慢的原因有哪些

    说实话,这个问题可以涉及到 MySQL 的很多核心知识,可以扯出一大堆,就像要考你计算机网络的知识时,问你"输入URL回车之后,究竟发生了什么"一样,看看你能说出多少了. 之前腾讯 ...

随机推荐

  1. android.os.NetworkOnMainThreadException异常如何解决

    android.os.NetworkOnMainThreadException 08-08 17:53:30.635 I/ArticleTable(22461): 添加成功 58 08-08 17:5 ...

  2. Emmet for Dreamweaver:HTML/CSS代码快速编写神器

    Emmet的前身是大名鼎鼎的Zen coding,如果你从事Web前端开发的话,对该插件一定不会陌生.它使用仿CSS选择器的语法来生成代码,大大提高了HTML/CSS代码编写的速度,比如下面的演示: ...

  3. iOS AFNetworking使用技巧与问题

    1.很多初学者,在每处用到网络请求的地方会直接拿afn实例去请求,从而带来了后续难以维护代码的问题 [[AFHTTPSessionManager manager] POST:nil parameter ...

  4. ios的位置和方向(来自苹果官方文档,仅供简单参考)

    取得用户的当前位置 Core Location框架使您可以定位设备的当前位置,并将这个信息应用到程序中.该框架利用设备内置的硬件,在已有信号的基础上通过三角测量得到固定位置,然后将它报告给您的代码.在 ...

  5. Linux系统下常用的快捷键

    快捷键 ctrl +  shift + '+'   将当前的终端放大 ctrl +  '-'           将当前的终端放小 ctrl +  l             清屏 ctrl +  u ...

  6. MATLAB坐标系中绘制图片

    MATLAB坐标系中绘制图片 方法一 使用图片坐标循环的方式,代码如下. clear,clc,close all tic; map=imbinarize(imread('map.bmp'));%map ...

  7. PyCharm导入pymysql包运行报错问题解决:No module named 'PyMySQL'

    import pymysql # 导入包 # 报错问题显示: ImportError: No module named 'PyMySQL' 出现该问题提示:找不到该包名. 解决办法如下: ①先下载Py ...

  8. Struts2数据传输的背后机制:ValueStack(值栈)

    1.     数据传输背后机制:ValueStack(值栈) 在这一切的背后,是因为有了ValueStack(值栈)! ValueStack基础:OGNL 要了解ValueStack,必须先理解OGN ...

  9. python---数据类型---列表

    #列表: name = ["lc","pxm","pt"] print('------------',name[2],"----- ...

  10. java之web开发过滤器

    我们通常上网的时候都会遇到一个问题,看到一个视频之类的,想要点开观看,点击之后,网页 提醒你:您尚未登录,是否要登录?然后巴拉巴拉跑去输账号密码. 那么这就是一个过滤器的功能,当你要访问一个资源的时候 ...