SQL查询优化思维即SQL子查询

一、什么叫子查询

定义及分类

子查询又称内部查询，而包含子查询的语句称之外部查询（又称主查询）。所有的子查询可以分为两类，即相关子查询和非相关子查询。

非相关子查询是独立于外部查询的子查询，子查询总共执行一次，执行完毕后将值传递给外部查询。

相关子查询的执行依赖于外部查询的数据，外部查询执行一行，子查询就执行一次。

相关子查询的执行依赖于外部查询。多数情况下是子查询的WHERE子句中引用了外部查询的表。

执行过程：

（1）从外层查询中取出一个元组，将元组相关列的值传给内层查询。
（2）执行内层查询，得到子查询操作的值。
（3）外查询根据子查询返回的结果或结果集得到满足条件的行。
（4）然后外层查询取出下一个元组重复做步骤1-3，直到外层的元组全部处理完毕。

查询速度优化用not EXISTS 代替 not in

not in 速度奇慢，要用 not EXISTS ,速度奇快！大表效果尤其明显

sql中exists,not exists的用法

exists()后面的子查询被称做相关子查询，他是不返回列表的值的，只是返回一个ture或false的结果。在查询的时候只要有一个记录符合条件，那么它就返回true，这样查询次数少，信息返回量也少。

exists : 强调的是是否返回结果集，不要求知道返回什么, 比如：

select name from student where sex = 'm' and mark exists(select  from grade where ...)

只要exists引导的子句有结果集返回，那么exists这个条件就算成立了,大家注意返回的字段始终为1个，如果改成“select 2 from grade where ...”，那么返回的字段就是2，这个数字没有意义。所以exists子句不在乎返回什么，而是在乎是不是有结果集返回。

exists 与 in 最大的区别在于 in引导的子句只能返回一个字段，比如：

select name from student where sex = 'm' and mark in (select ,, from grade where ...)

在上面例子当中 in子句返回了三个字段，这是不正确的，exists子句是允许的，但in只允许有一个字段返回，在1，2，3中随便去了两个字段即可。

而not exists 和not in 分别是exists 和 in 的对立面。

exists （sql 返回结果集为真）
not exists (sql 不返回结果集为真）

一种通俗的可以理解为：

将外查询表的每一行，代入内查询作为检验，如果内查询返回的结果取非空值，则EXISTS子句返回TRUE，这一行行可作为外查询的结果行，否则不能作为结果。

二、 SQL语句执行过程

分析器会先看语句的第一个词，当它发现第一个词是SELECT关键字的时候，它会跳到FROM关键字，然后通过FROM关键字找到表名并把表装入内存。

接着是找WHERE关键字，如果找不到则返回到SELECT找字段解析，如果找到WHERE，则分析其中的条件，完成后再回到SELECT分析字段。最后形成一张我们要的虚表。
WHERE关键字后面的是条件表达式。条件表达式计算完成后，会有一个返回值，即非0或0，非0即为真(true)，0即为假(false)。同理WHERE后面的条件也有一个返回值，真或假，来确定接下来执不执行SELECT。

分析器先找到关键字SELECT，然后跳到FROM关键字将STUDENT表导入内存，并通过指针找到第一条记录，接着找到WHERE关键字计算它的条件表达式，如果为真那么把这条记录装到一个虚表当中，指针再指向下一条记录。如果为假那么指针直接指向下一条记录，而不进行其它操作。一直检索完整个表，并把检索出来的虚拟表返回给用户。EXISTS是条件表达式的一部分，它也有一个返回值(true或false)。

EXISTS与IN的使用效率的问题，通常情况下采用exists要比in效率高，因为IN不走索引，但要看实际情况具体使用：
IN适合于外表大而内表小的情况；EXISTS适合于外表小而内表大的情况。

　　我们做软件开发的，大部分人都离不开跟数据库打交道，特别是erp开发的，跟数据库打交道更是频繁，存储过程动不动就是上千行，如果数据量大，人员流动大，那么我么还能保证下一段时间系统还能流畅的运行吗？我么还能保证下一个人能看懂我么的存储过程吗？那么我结合公司平时的培训和平时个人工作经验和大家分享一下，希望对大家有帮助。　　

要知道SQL语句，我想我们有必要知道SQL Server查询分析器怎么执行我们的SQL语句的，我们很多人会看执行计划，或者用Profiler来监视和调优查询语句或者存储过程慢的原因，但是如果我们知道查询分析器的执行逻辑顺序，下手的时候就胸有成竹，那么下手是不是有把握点呢？

三、查询的逻辑执行顺序　　

基本顺序

(1) FROM left_table　　

　　(2) ON join_condition

(3) join_type JOIN right_table

　　(4) WHERE where_condition

　　(5) GROUP BY group_by_list

　　(6) WITH {cube | rollup}

　　(7) HAVING having_condition

　　(8) SELECT (9) DISTINCT (11) top_specification select_list

　　(9) ORDER BY order_by_list

标准的 SQL 的解析顺序为:

　　(1) FROM 子句组装来自不同数据源的数据
　　(2) WHERE 子句基于指定的条件对记录进行筛选
　　(3) GROUP BY 子句将数据划分为多个分组
　　(4) 使用聚合函数进行计算
　　(5) 使用HAVING子句筛选分组
　　(6) 计算所有的表达式
　　(7) 使用ORDER BY对结果集进行排序

执行顺序
　　1. FROM：对FROM子句中前两个表执行笛卡尔积生成虚拟表vt1
　　2. ON: 对vt1表应用ON筛选器只有满足 join_condition 为真的行才被插入vt2
　　3. OUTER(join)：如果指定了 OUTER JOIN保留表(preserved table)中未找到的行将行作为外部行添加到vt2，生成t3，如果from包含两个以上表，则对上一个联结生成的结果表和下一个表重复执行步骤和步骤直接结束。
　　4. WHERE：对vt3应用 WHERE 筛选器只有使 where_condition 为true的行才被插入vt4
　　5. GROUP BY：按GROUP BY子句中的列列表对vt4中的行分组生成vt5
　　6. CUBE|ROLLUP：把超组(supergroups)插入vt6，生成vt6
　　7. HAVING：对vt6应用HAVING筛选器只有使 having_condition 为true的组才插入vt7
　　8. SELECT：处理select列表产生vt8
　　9. DISTINCT：将重复的行从vt8中去除产生vt9
　　10. ORDER BY：将vt9的行按order by子句中的列列表排序生成一个游标vc10
　　11. TOP：从vc10的开始处选择指定数量或比例的行生成vt11 并返回调用者

　　看到这里，那么用过Linq to SQL的语法有点相似啊？如果我们我们了解了SQL Server执行顺序，那么我们就接下来进一步养成日常SQL的好习惯，也就是在实现功能的同时有考虑性能的思想，数据库是能进行集合运算的工具，我们应该尽量的利用这个工具，所谓集合运算实际就是批量运算，就是尽量减少在客户端进行大数据量的循环操作，而用SQL语句或者存储过程代替。

四、只返回需要的数据

　　返回数据到客户端至少需要数据库提取数据、网络传输数据、客户端接收数据以及客户端处理数据等环节，如果返回不需要的数据，就会增加服务器、网络和客户端的无效劳动，其害处是显而易见的，避免这类事件需要注意：
　　

A、横向来看
　　(1) 不要写SELECT * 的语句，而是选择你需要的字段。
　　(2) 当在SQL语句中连接多个表时, 请使用表的别名并把别名前缀于每个Column上。这样一来,就可以减少解析的时间并减少那些由Column歧义引起的语法错误。

如有表table1(ID,col1)和table2(ID,col2)

正确写法

    Select A.ID, A.col1, B.col2 from table1 A inner join table2 B on A.ID=B.ID Where 

有歧义写法

    Select A.ID, col1, col2 from table1 A inner join table2 B on A.ID=B.ID Where …

B、纵向来看

　　(1) 合理写WHERE子句，不要写没有WHERE的SQL语句。
　　(2) SELECT TOP N * -- 没有WHERE条件的用此替代。

尽量少做重复的工作

　　A、控制同一语句的多次执行，特别是一些基础数据的多次执行是很多程序员很少注意的。
　　B、减少多次的数据转换，也许需要数据转换是设计的问题，但是减少次数是程序员可以做到的。
　　C、杜绝不必要的子查询和连接表，子查询在执行计划一般解释成外连接，多余的连接表带来额外的开销。
　　D、合并对同一表同一条件的多次UPDATE，比如

歧义语句

    UPDATE EMPLOYEE SET FNAME='HAIWER' WHERE EMP_ID=' VPA30890F'

    UPDATE EMPLOYEE SET LNAME='YANG' WHERE EMP_ID=' VPA30890F' 

以上两个语句应该合并成以下一个语句，减少数据库连接次数

    UPDATE EMPLOYEE SET FNAME='HAIWER',LNAME='YANG'WHERE EMP_ID=' VPA30890F'

　　E、UPDATE操作不要拆成DELETE操作+INSERT操作的形式，虽然功能相同，但是性能差别是很大的。

关于临时表和表变量的用法，需要注意：

　　A、如果语句很复杂，连接太多，可以考虑用临时表和表变量分步完成。
　　B、如果需要多次用到一个大表的同一部分数据，考虑用临时表和表变量暂存这部分数据。
　　C、如果需要综合多个表的数据，形成一个结果，可以考虑用临时表和表变量分步汇总这多个表的数据。
　　D、其他情况下，应该控制临时表和表变量的使用。
　　E、关于临时表和表变量的选择，很多说法是表变量在内存，速度快，应该首选表变量，但是在实际使用中发现：
　　　　(1) 主要考虑需要放在临时表的数据量，在数据量较多的情况下，临时表的速度反而更快。
　　　　(2) 执行时间段与预计执行时间(多长)
　　F、关于临时表产生使用SELECT INTO和CREATE TABLE + INSERT INTO的选择，一般情况下：数据插入相关

插入数据

　　SELECT INTO会比CREATE TABLE + INSERT INTO的方法快很多，但是SELECT INTO会锁定TEMPDB的系统表SYSOBJECTS、SYSINDEXES、SYSCOLUMNS，在多用户并发环境下，容易阻塞其他进程。

　　所以我的建议是，在并发系统中，尽量使用CREATE TABLE + INSERT INTO，而大数据量的单个语句使用中，使用SELECT INTO。

五、子查询的用法

定义相关　　

子查询是一个 SELECT 查询，它嵌套在 SELECT、INSERT、UPDATE、DELETE 语句或其它子查询中。

　　任何允许使用表达式的地方都可以使用子查询，子查询可以使我们的编程灵活多样，可以用来实现一些特殊的功能。但是在性能上，往往一个不合适的子查询用法会形成一个性能瓶颈。如果子查询的条件中使用了其外层的表的字段，这种子查询就叫作相关子查询。

六、尽量使用索引

　　建立索引后，并不是每个查询都会使用索引，在使用索引的情况下，索引的使用效率也会有很大的差别。只要我们在查询语句中没有强制指定索引，索引的选择和使用方法是SQLSERVER的优化器自动作的选择，而它选择的根据是查询语句的条件以及相关表的统计信息，这就要求我们在写SQL语句的时候尽量使得优化器可以使用索引。为了使得优化器能高效使用索引，写语句的时候应该注意：

　　（1）不要对索引字段进行运算，而要想办法做变换，比如：

SELECT ID FROM T WHERE NUM/=

　　应改为:

SELECT ID FROM T WHERE NUM=*

SELECT ID FROM T WHERE NUM/=NUM1

　　如果NUM有索引应改为:

SELECT ID FROM T WHERE NUM=NUM1*2

注意 ： 如果NUM1有索引则不应该改。

　　（2）发现过这样的语句：

SELECT 年,月,金额 FROM 结余表 WHERE 100*年+月=*+

　　应该改为：

SELECT 年,月,金额 FROM 结余表 WHERE 年= AND 月=

　　（3）不要对索引字段进行格式转换

日期字段的例子：

    WHERE  CONVERT(VARCHAR(), 日期字段,)='2010-07-15'

应该改为

    WHERE日期字段〉='2010-07-15'AND 日期字段'2010-07-16'

ISNULL转换的例子：

    WHEREISNULL(字段,'')''应改为:WHERE字段''

    WHEREISNULL(字段,'')=''不应修改

    WHEREISNULL(字段,'F') ='T'应改为: WHERE字段='T'

    WHEREISNULL(字段,'F')'T'不应修改

　　（4）不要对索引字段进行格式转换

WHERE LEFT(NAME, )='ABC' 或者  WHERE SUBSTRING(NAME,, )='ABC'

　　应改为: 
WHERE NAME LIKE'ABC%'


日期查询的例子：

　　WHERE DATEDIFF(DAY, 日期,'2010-06-30')=

　　　　应改为:
　　WHERE 日期='2010-06-30' AND 日期 '2010-07-01'


　　WHERE DATEDIFF(DAY, 日期,'2010-06-30')

　　　　应改为:
　　WHERE 日期 '2010-06-30'


　　WHEREDATEDIFF(DAY, 日期,'2010-06-30')=

　　　　应改为:
　　WHERE 日期 '2010-07-01'

　　
　　WHEREDATEDIFF(DAY, 日期,'2010-06-30')

　　　　应改为:
　　WHERE 日期='2010-07-01'


　　WHEREDATEDIFF(DAY, 日期,'2010-06-30')=

　　　　应改为:
　　WHERE 日期='2010-06-30'

　　（5）不要对索引字段进行多字段连接，比如：

WHERE FAME+'. '+LNAME='HAIWEI.YANG'

　　应改为:

WHERE FNAME='HAIWEI' AND LNAME='YANG'

七、多表连接的连接条件

在写连接条件条件的时候需要特别注意。

　　A、多表连接的时候，连接条件必须写全，宁可重复，不要缺漏。
　　B、连接条件尽量使用聚集索引
　　C、注意ON、WHERE和HAVING部分条件的区别

连表执行顺序　　　　

　　ON是最先执行， WHERE次之，HAVING最后，因为ON是先把不符合条件的记录过滤后才进行统计，它就可以减少中间运算要处理的数据，按理说应该速度是最快的，WHERE也应该比HAVING快点的，因为它过滤数据后才进行SUM，在两个表联接时才用ON的，所以在一个表的时候，就剩下WHERE跟HAVING比较了。　　