高级T-SQL进阶系列 (一)【下篇】:使用 CROSS JOIN 介绍高级T-SQL
【译注:此文为翻译,由于本人水平所限,疏漏在所难免,欢迎探讨指正】
原文链接:传送门。
性能考虑
产生了笛卡尔积的这个CROSS JOIN操作符具有一些性能方面的问题需要考虑。因为SQL引擎需要将一个数据集的每一行与另一个数据集的每一行进行关联,其结果集合将会非常巨大。如果我将一个具有 1,000,000行数据的表与另一张具有 1,000,000行数据的表进行CROSS JOIN,那么我的结果集将会包含 1,000,000* 1,000,000行数据,也就是100,000,000,000行数据。这是一个非常巨大结果集合并且它将占用SQL SERVER大量的时间来创建它。
CROSS JOIN操作符是一个其用来识别两个集合之间所有可能的组合的很好的解决方案,比如说是每个客户每个月所有的销售订单,甚至于在某几个月某些客户没有销售单。当使用CROSS JOIN操作符的时候,如果你想要优化性能,你应该试着最小化用来CROSS JOIN的集合的行数。举个例子,假设我有一个表包含了最近两个月的销售单,如果我要展示一个报告展示一个月内没有销售单的客户,那么识别一个月的日期数的方式可以改变我的查询的性能。为了演示这个我首先创建一个包含1000个客户在两个月之间的销售单集合,我会用列表7的代码来做这件事:
CREATE TABLE Cust (Id int, CustName varchar(20));
CREATE TABLE Sales (Id int identity
,CustID int
,SaleDate date
,SalesAmt money);
SET NOCOUNT ON;
DECLARE @I int = 0;
DECLARE @Date date;
WHILE @I < 1000
BEGIN
SET @I = @I + 1;
SET @Date = DATEADD(mm, -2, '2014-11-01');
INSERT INTO Cust
VALUES (@I,
'Customer #' + right(cast(@I+100000 as varchar(6)),5));
WHILE @Date < '2014-11-01'
BEGIN
IF @I%7 > 0
INSERT INTO Sales (CustID, SaleDate, SalesAmt)
VALUES (@I, @Date, 10.00);
SET @Date = DATEADD(DD, 1, @Date);
END
END
列表7:用来创建性能测试数据示例的TSQL
列表7的代码为1000个不同的客户创建了2个月的数据。这段代码为每第七个用户不插入销售记录。这段代码为Cust表插入了1000条记录,并且为Sales 表插入了52,338 条记录。
为了演示使用CROSS JOIN操作符依赖于输入数据集大小会有如何的不同,让我们运行列表8和列表9的代码,对于每一个测试我会记录下它们返回结果所需要的时间。
SELECT CONVERT(CHAR(6),S1.SaleDate,112) AS SalesMonth, C.CustName,
ISNULL(SUM(S2.SalesAmt),0) AS TotalSales
FROM Cust C
CROSS JOIN
(
SELECT SaleDate FROM Sales
) AS S1
LEFT OUTER JOIN
Sales S2
ON C.ID = S2.CustID
AND S1.SaleDate = S2.SaleDate
GROUP BY CONVERT(CHAR(6),S1.SaleDate,112),C.CustName
HAVING ISNULL(SUM(S2.SalesAmt),0) = 0
ORDER BY CONVERT(CHAR(6),S1.SaleDate,112),C.CustName
列表8:所有记录的CROSS JOIN
SELECT CONVERT(CHAR(),S1.SaleDate,) AS SalesMonth, C.CustName,
ISNULL(SUM(S2.SalesAmt),) AS TotalSales
FROM Cust C
CROSS JOIN
(
SELECT DISTINCT SaleDate FROM Sales
) AS S1
LEFT OUTER JOIN
Sales S2
ON C.ID = S2.CustID
AND S1.SaleDate = S2.SaleDate
GROUP BY CONVERT(CHAR(),S1.SaleDate,),C.CustName
HAVING ISNULL(SUM(S2.SalesAmt),) =
ORDER BY CONVERT(CHAR(),S1.SaleDate,),C.CustName
列表9:去重销售日期记录的CROSS JOIN
在列表8中,CROSS JOIN操作符将1000条Cust表记录和52,338条Sales表记录进行关联用来产生52,338,000行的数据集合,这些记录随后用来决定在一个月中具有0条销售记录的客户。在列表9中,我改变了查询条件,从Sales表中仅仅返回SalesDate值的去重集合。这个去重的集合仅仅产生了61条不同的SalesDate值,因此列表9的CROSS JOIN操作符仅仅产生了61,000条记录。通过减少CROSS JOIN操作符的结果集,我的列表9的查询运行了少于1秒的时间,同时列表8的代码在我的机器上运行了19秒。这些性能差异的主要原因是SQL SERVER对每个查询的每个操作需要处理的记录数的不同。如果你查看两个列表的执行计划,你将会看到两个计划有稍微的不同,但是如果你查看从嵌套循环(INNER JOIN)生成的预估记录数,在图形化计划的左边,你将会看到列表8预估了52,338,000条记录,同时列表9的相同的操作符预估了61,000条记录,列表的查询计划从CROSS JOIN嵌套循环生成的这么巨大的数据集随后被传递给额外的几个操作。正是因为列表8的这些操作符都需要处理52,000,000条数据,列表8当然会比列表9慢很多。
正如你所见到的,使用在CROSS JOIN操作符中的记录数会显著的影响一个计划的运行时间,因此如果你能够写你的查询来最小化涉及到CROSS JOIN操作符的记录数,你的查询便会更高效。
结论
CROSS JOIN操作符在两个数据集之间产生笛卡尔积。这个操作符有助于我们识别在一个表中而在另一个表中没有匹配记录的数据项。我们应该注意最小化涉及到CROSS JOIN操作符的数据集的大小,通过确保CROSS JOIN操作符的结果集尽可能的小,你便可以确保你的代码运行得尽可能的快。
问题和答案
在这一部分你可以通过回答下面的问题来查看你有多么的理解CROSS JOIN操作符。
问题1:CROSS JOIN操作符基于在ON子句中指定的列进行匹配来产生结果集?
- 是
- 否
问题2:下面哪一个公式可以用来定义表A和表B CROSS JOIN 返回的行数,其中A表和B表包含重复的行?
- 表A的行数*表B的行数
- 表A的行数*表B的唯一的行数
- 表A的唯一行数*表B的行数
- 表A的唯一行数*表B的唯一行数
问题3:哪一项措施提供了最好的机会可以用来减少CROSS JOIN产生的笛卡尔积的大小?
- 确保关联的两个数据集有尽可能多的行
- 确保关联的两个数据集有尽可能的少的行
- 确保CROSS JOIN操作符的左边集合具有尽可能少的行
- 确保CROSS JOIN操作符右边集合具有尽可能少的行
答案解析
问题1:正确答案是b:CROSS JOIN操作符不会使用ONziju 来进行CROSS JOIN,它将一个表的每一行与另一个表的每一行进行关联,从而产生两个的笛卡尔积。
问题2:正确答案是a。因为表A和表B如果有重复的行,当为CROSS JOIN操作符创建笛卡尔积时候每一行都会被关联。
问题3:通过减少CROSS JOIN操作符涉及的两个数据集的大小来最小化CROSS JOIN操作符最终创建的结果集的大小。c,d也可以帮助减少由CROSS JOIN操作符创建的结果集的大小但并不如确保CROSS JOIN操作符涉及的俩个表都包含最少的行数,其更加优化。
【完结】
高级T-SQL进阶系列 (一)【下篇】:使用 CROSS JOIN 介绍高级T-SQL的更多相关文章
- 高级T-SQL进阶系列 (一)【上篇】:使用 CROSS JOIN 介绍高级T-SQL
[译注:此文为翻译,由于本人水平所限,疏漏在所难免,欢迎探讨指正] 原文连接:传送门 这是一个新进阶系列的第一篇文章,我们将浏览Transact-SQL(T-SQL)的更多高级特性.这个进阶系列将会包 ...
- 高级T-SQL进阶系列 (一)【中篇】:使用 CROSS JOIN 介绍高级T-SQL
[译注:此文为翻译,由于本人水平所限,疏漏在所难免,欢迎探讨指正] 原文连接:传送门. 当一个CROSS JOIN 表现得如同一个INNER JOIN 在上一章节我提到当你使用一个CROSS JOIN ...
- Linq To Sql进阶系列(六)用object的动态查询与保存log篇
动态的生成sql语句,根据不同的条件构造不同的where字句,是拼接sql 字符串的好处.而Linq的推出,是为了弥补编程中的 Data != Object 的问题.我们又该如何实现用object的动 ...
- SQL进阶系列之7用SQL进行集合运算
写在前面 集合论是SQL语言的根基,因为这种特性,SQL也被称为面向集合语言 导入篇:集合运算的几个注意事项 注意事项1:SQL能操作具有重复行的集合(multiset.bag),可以通过可选项ALL ...
- SQL进阶系列之9用SQL处理数列
写在前面 关系模型的数据结构里,并没有顺序的概念,但SQL处理有序集合也有坚实的理论基础 生成连续编号 --生成连续编号 CREATE TABLE Digits (digit INTEGER PRIM ...
- SQL进阶系列之8EXISTS谓词的用法
写在前面 支撑SQL和关系数据库的基础理论:数学领域的集合论和逻辑学标准体系的谓词逻辑 理论篇 什么是谓词?谓词是返回值为真值(true false unknown)的函数 关系数据库里,每一个行数据 ...
- SQL进阶系列之5外连接的用法
写在前面 SQL本身是作为一种数据提取工具而出现,使用SQL生成各种定制化报表和非定制化报表并非SQL原本用途的功能,但这并不意味着SQL无法实现这些功能. 用外连接进行行列转换(1)(行 → 列): ...
- SQL进阶系列之12SQL编程方法
写在前面 KISS -- keep it sweet and simple 表的设计 注意命名的意义 英文字母 + 阿拉伯数字 + 下划线"_" 属性和列 编程的方针 写注释 注意 ...
- SQL进阶系列之10HAVING子句又回来了
写在前面 HAVING子句的处理对象是集合而不是记录 各队,全队点名 --各队,全体点名! CREATE TABLE Teams (member CHAR(12) NOT NULL PRIMARY K ...
随机推荐
- fileupload插件调用upload.parseRequest(request)解析得到空值问题
得到的list长度是0,项目配置不能改变,没办法了,只能将HttpServletRequest强换成DefaultMultipartHttpServletRequest ,直接获取表单中的字段了.方法 ...
- 如何预测股票分析--长短期记忆网络(LSTM)
在上一篇中,我们回顾了先知的方法,但是在这个案例中表现也不是特别突出,今天介绍的是著名的l s t m算法,在时间序列中解决了传统r n n算法梯度消失问题的的它这一次还会有令人杰出的表现吗? 长短期 ...
- 页面在谷歌浏览器和IE浏览器顶部多出空白行,火狐显示正常
引起这个问题的原因是用系统自带记事本打开过Tinkphp的模板文件,因为记事本不支持UTF8无BOM格式编码,打开之后这个编码格式丢失,转为ANSI格式的编码了: 解决的办法是:用Notepad++或 ...
- JS高级---案例:贪吃蛇小游戏
案例:贪吃蛇小游戏 可以玩的小游戏,略复杂,过了2遍,先pass吧 先创建构造函数,再给原型添加方法.分别创建食物,小蛇和游戏对象. 食物,小蛇的横纵坐标,设置最大最小值,运动起来的函数,按上下左右键 ...
- IntelliJ IDEA 2017.3尚硅谷-----设置自动编译
- bugku getshell
http://123.206.87.240:8002/web9/ 该题是walf严格匹配,通过修改Content-type后字母的大小写可以绕过检测, 然后还有,后缀黑名单检测和类型检测,逐个绕过,如 ...
- 吴裕雄 python 机器学习——KNN分类KNeighborsClassifier模型
import numpy as np import matplotlib.pyplot as plt from sklearn import neighbors, datasets from skle ...
- C# 对象对比是否相等 工作笔记
需要在Linq 中对比两个对象是否相等 /// <summary> /// 定义一个点 /// </summary> class Point { public int x { ...
- STA之RC网
STA的主要工作是计算电路网络的延时,如今的电路网络还是由CMOS cell和net组成的,所以STA所要计算的延时仍是电容的充放电时间.等量子计算机普及的时候,如今的这一套理论都将随着科技的进步被丢 ...
- Java_Habse_add
import java.io.IOException; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.hb ...