测试杂谈——一条SQL引发的思考
此篇只是个人记录,相信各位大神早已轻车熟路,不喜勿喷;有错之处,欢迎指正。
有一天收到新人的咨询,是关于sql的问题。
问题1:为什么sql查询的数据与界面展示的不准确;
问题2:为什么sql查询时间那么久。
在仔细查看sql后,问题得到解决。这个问题很简单,来看sql,如下所示:
SELECT
v.ep_id,
COUNT(*)
FROM
dw_l_v v
WHERE
v.id = 'XXX'
AND v.ep_id = 'XXX'
OR v.ep_id = 'XXX'
OR v.ep_id = 'XXX'
OR v.ep_id = 'XXX'
AND v.language = 'zh_cn'
GROUP BY
v.ep_id;
问题给新人解答后,自己有感而发,所以稍加整理了此篇。
sql查询数据不对
依然来看这2个问题,先看问题1,数据不对的问题。
这个问题很好解答,在SQL必知必会的章节中,也有提到该问题。出现这个问题的原因,就在于,数据过滤条件的优先级了。
常用的逻辑运算符有:and / or / not
所对应的优先级为:() > not > and > or
sql在处理OR操作符前,优先处理AND操作符。
由于上述sql没有将OR操作符用小括号提高优先级,从而导致先处理了AND操作符,再来处理OR操作符,最终结果就是数据不准确。
我们将sql修改成如下即可:
SELECT
v.ep_id,
COUNT(*)
FROM
dw_l_v v
WHERE
v.id = 'XXX'
AND (v.ep_id = 'XXX'
OR v.ep_id = 'XXX'
OR v.ep_id = 'XXX'
OR v.ep_id = 'XXX' )
AND v.language = 'zh_cn'
GROUP BY
v.ep_id;
或者ep_id字段条件用IN操作符来处理,修改如下:
SELECT
v.ep_id,
COUNT(*)
FROM
dw_l_v v
WHERE
v.id = 'XXX'
AND v.ep_id IN ('XXX','XXX','XXX','XXX')
AND v.language = 'zh_cn'
GROUP BY
v.ep_id;
sql调整后,再来执行核对数据,数据查询准确。
我们从上述修改的sql看出,IN操作符与OR操作符实现的功能是一样的。的确是这样,最终得到的结果完全一致。
但IN操作符对比OR操作符,还有如下优点:
- 存在很多合法选项时,IN操作符的语法更清楚、更直观;
- 在与其他AND和OR操作符组合使用IN时,求值顺序更容易管理;
- IN操作符一般比一组OR操作符执行的更快;
- IN最大优点是可以包含其他 SELECT 语句,能够动态的建立 WHERE 子句。
sql查询时间久
在解决了sql查询数据不对的问题,我们再来看sql查询花费时间久的问题。
在mysql中,我们可以通过 EXPLAIN
来查看sql的执行计划。我们分别查看修改前跟修改后sql的执行计划,如下所示:
修改前的sql执行计划:
修改后的sql执行计划:
直接拿2张图来对比,为什么查询慢,想必就很清楚了吧,一目了然。
从图中可知,修改前的sql,rows
字段,客户端发送160W+的数据量;而修改后的sql,rows
字段,客户端发送2000+的数据量。先不对比其他的字段,单凭这点就可以看出sql的问题所在了。
由于数量级的差异,从而sql查询的花费时间也就不一样了。
在不修改之前,sql查询的时间要花费15s左右;而修改后的sql查询,查询结果的时间1s都不需要。
从上而知,平时在项目中的sql优化也是很有必要的。
在看完rows
字段后,我们再来看个type
字段。
通过type
字段可以看出,修改前的sql,是使用了全表扫描,所以看到这,也能解答为什么客户端发送了160W+的数据量了,原因就是全表扫描的原因。
mysql执行计划的其他字段,大家可以自行百度了解,今天就先不多聊了。
好了,今天的分享就到这了,文章有误之处,欢迎批评指正。
测试杂谈——一条SQL引发的思考的更多相关文章
- 测试杂谈——一条SQL引发的思考(二)
在前段时间,曾写过一篇关于SQL问题的文章,测试杂谈--一条SQL引发的思考(一). 今天这篇,算是个问题记录吧,问题并不复杂,但对于测试同学而言,确实是个需要关注的点. 问题分析 最近在日常工作中, ...
- 曲演杂坛--一条DELETE引发的思考
原文:曲演杂坛--一条DELETE引发的思考 场景介绍: 我们有一张表,专门用来生成自增ID供业务使用,表结构如下: CREATE TABLE TB001 ( ID ,) PRIMARY KEY, D ...
- 【数据库】_由2000W多条开房数据引发的思考、实践----给在校生的一个真实【练耙场】,同学们,来开始一次伟大的尝试吧。
× 缘起---闲逛博客园 前几天的时候,在某一QQ群看到一条消息“XXX酒店开房XXXBTXX迅雷BT下载”,当时是一目十行的心态浏览,目光掠过时, 第一反应我想多了~以为是XX种子(你懂的~ ...
- 一条 SQL 引发的事故,同事直接被开除!!
前言 Insert into select请慎用. 这天xxx接到一个需求,需要将表A的数据迁移到表B中去做一个备份.本想通过程序先查询查出来然后批量插入.但xxx觉得这样有点慢,需要耗费大量的网络I ...
- 一条sql引发的“血案”
前几天有一个项目要上线,需要对表的一个字段进行扩充,项目经理让我准备脚本,于是我准备了如下的脚本: )); )); )); 结果上线的时候,ord_log1和ord_log2表中有30万数据,在执行的 ...
- 同一条sql insert 有时快有时慢 引发的血案
同一条sql语句,为什么有时插入块,有时插入慢原因剖析 背景:同一条sql ,有时插入时间几毫秒,有时插入时间几十毫秒,为什么? Sql角度:简单insert 表角度: 一个主键 系统参数角度: 开启 ...
- 一条SQL在 MaxCompute 分布式系统中的旅程
摘要:2019杭州云栖大会大数据技术专场,由阿里云资深技术专家侯震宇.阿里云高级技术专家陈颖达以及阿里云资深技术专家戴谢宁共同以“SQL在 MaxCompute 分布式系统中的旅程 ”为题进行了演讲. ...
- 解决一道leetcode算法题的曲折过程及引发的思考
写在前面 本题实际解题过程是 从 40秒 --> 24秒 -->1.5秒 --> 715ms --> 320ms --> 48ms --> 36ms --> ...
- 『片段』OracleHelper (支持 多条SQL语句)
C# 调用 Oracle 是如此尴尬 >System.Data.OracleClient.dll —— .Net 自带的 已经 过时作废. >要链接 Oracle 服务器,必须在 本机安装 ...
随机推荐
- python基础1-类属性和实例属性
类属性就是类对象所拥有的属性,它被所有类对象的实例对象所共有,在内存中只存在一个副本,这个和C++中类的静态成员变量有点类似.对于公有的类属性,在类外可以通过类对象和实例对象访问 类属性 class ...
- 一行代码轻松修改 Text Field 和 Text View 的光标颜色 — By 昉
众所周知,Text Field 和 Text View 的光标颜色默认都是系统应用的那种蓝色,如图: 而在实际开发中为了让视觉效果更统一,我们可能会想把那光标的颜色设置成和界面色调一致的颜色.其实在 ...
- 4.Flink实时项目之数据拆分
1. 摘要 我们前面采集的日志数据已经保存到 Kafka 中,作为日志数据的 ODS 层,从 kafka 的ODS 层读取的日志数据分为 3 类, 页面日志.启动日志和曝光日志.这三类数据虽然都是用户 ...
- 大地坐标BLH转平面坐标xyh(高斯投影坐标正算) Java版
技术背景 做过位置数据处理的小伙伴基本上都会遇到坐标转换,而基于高斯投影原理的大地坐标转平面坐标就是其中一种坐标转换,坐标转换的目的就是方便后面数据的处理工作,大地坐标转高斯平面坐标常用的有两种,即3 ...
- 再见收费的Navicat!操作所有数据库就靠它了!
作为一名开发者,免不了要和数据库打交道,于是我们就需要一款顺手的数据库管理工具.很长一段时间里,Navicat 都是我的首选,但最近更换了一台新电脑,之前的绿色安装包找不到了. 于是就琢磨着,找一款免 ...
- 《PHP程序员面试笔试宝典》——如何回答快速估算类问题?
如何巧妙地回答面试官的问题? 本文摘自<PHP程序员面试笔试宝典> 有些大企业的面试官,总喜欢出一些快速估算类问题,对他们而言,这些问题只是手段,不是目的,能够得到一个满意的结果固然是他们 ...
- Spring高级特性之三:@Enable*注解的工作原理
Spring Boot中阐述热插拔技术的时候,简单地提及@Enable*注解.随着多种框架的应用及深入了解,@Enable*这个注解在各种框架中应用相当普及. 那么@Enable*注解工作原理是怎么样 ...
- 用实例带你深入理解Java内存模型
摘要:本文的目的来理解 J V M 与我们的内存两者之间是如何协调工作的. 本文分享自华为云社区<一文带你图解Java内存模型>,作者: 龙哥手记 . 我们今天要特别重点讲的,也就是我们本 ...
- 乘风破浪,遇见未来元宇宙(Metaverse)之进入元宇宙世界,虚拟数字人行业洞察报告
正值元宇宙热潮,虚拟数字人兴起 作为⼀个新兴领域,虚拟数字⼈已经引起市场和资本的⾼度关注,截⾄目前据不完全统计,全球范围已有500+虚拟数字人相关项目获得融资,融资总额超10亿美元,并且融资项目和总额 ...
- Wi-Fi DFS与TPC介绍
DFS与TPC是wifi认证的其中一项测试内容,如果不需要DFS功能,可以不进行测试,但是某些属于DFS频段的wifi信道则不允许使用. 1. 什么是WIFI Auto DFS? 通俗的说就是:躲雷达 ...