sql索引从入门到精通(十亿行数据测试报告)

原文:sql索引从入门到精通(十亿行数据测试报告)

导读部分

-------------------------------------------------------------------------------------------------------------

SQL Server 2005 学习笔记系列文章

http://www.sufeinet.com/thread-26-1-1.html

原文地址：http://www.sufeinet.com/thread-419-1-1.html

  索引简介

---

索引被创建于已有的表中，它可使对行的定位更快速更有效。可以在表格的一个或者多个列上创建索引，每个索引都会被起个名字。用户无法看到索引，它们只能被用来加速查询。

当然更新一个包含索引的表需要比更新一个没有索引的表花更多的时间，这是由于索引本身也需要更新。因此，理想的做法是仅仅在常常用于搜索的列上面创建索引。

索引的分类：微软的SQL SERVER提供了两种索引：聚集索引(clustered index，也称聚类索引、簇集索引)和非聚集索引(nonclustered index，也称非聚类索引、非簇集索引)。

深入浅出理解索引结构

---

实际上，您可以把索引理解为一种特殊的目录。下面，我们举例来说明一下聚集索引和非聚集索引的区别：
其实，我们的汉语字典的正文本身就是一个聚集索引。比如，我们要查“中”字，就会很自然地翻开字典的后几页，因为“中”的拼音是“zhong”，而按照拼音排序汉字的字典是以英文字母“a”开头并以“z”结尾的，那么“中”字就自然地排在字典的前部。

如果您翻完了所有以“z”开头的部分仍然找不到这个字，那么就说明您的字典中没有这个字；同样的，如果查“啊”字，那您也会将您的字典翻到最前部分，因为“啊”的拼音是“a”。也就是说，字典的正文部分本身就是一个目录，您不需要再去查其他目录来找到您需要找的内容。这种正文内容本身就是一种按照一定规则排列的目录称为“聚集索引”。
    如果你认识某个字，您可以快速地从中查到这个字。但您也可能会遇到您不认识的字，不知道它的发音，这时候，您就不能按照刚才的方法找到您要查的字，而需要去根据“偏旁部首”查到您要找的字，然后根据这个字后的页码直接翻到某页来找到您要找的字。但您结合“部首目录”和“检字表”而查到的字的排序并不是真正的正文的排序方法，我们可以通过这种方式来找到您所需要的字，但它需要两个过程，先找到目录中的结果，然后再翻到您所需要的页码。我们把这种目录纯粹是目录，正文纯粹是正文的排序方式称为“非聚集索引”。
通过以上例子，我们可以理解到什么是“聚集索引”和“非聚集索引”。
我们可以很容易的理解：每个表只能有一个聚集索引，因为目录只能按照一种方法进行排序。

何时使用聚集索引或非聚集索引

---

下面的表总结了何时使用聚集索引或非聚集索引

动作	使用聚集索引	使用非聚集索引
只查询某范围内的数据	应该使用	不应该使用
只有一个或极少值不同	不应该使用	不应该使用
小量的不同值	应该使用	不应该使用
大量的不同值	不应该使用	应该使用
频繁更新的列	不应该使用	应该使用
外键列	应该使用	应该使用
主键列	应该使用	应该使用
频繁修改索引列	不应该使用	应该使用
列经常被分组排序	应该使用	应该使用

事实上，我们可以通过前面聚集索引和非聚集索引的定义的例子来理解上表。

结合实际，谈索引使用的误区

---

理论的目的是应用。虽然我们刚才列出了何时应使用聚集索引或非聚集索引，但在实践中以上规则却很容易被忽视或不能根据实际情况进行综合分析。下面我们将根据在实践中遇到的实际问题来谈一下索引使用的误区，以便于大家掌握索引建立的方法。
1、主键就是聚集索引
这种想法我认为是极端错误的，是对聚集索引的一种浪费。虽然SQL SERVER默认是在主键上建立聚集索引的。
通常，我们会在每个表中都建立一个ID列，以区分每条数据，并且这个ID列是自动增大的，步长一般为1。我们的这个办公自动化的实例中的列Gid就是如此。此时，如果我们将这个列设为主键，SQL SERVER会将此列默认为聚集索引。这样做有好处，就是可以让您的数据在数据库中按照ID进行物理排序，但笔者认为这样做意义不大。
显而易见，聚集索引的优势是很明显的，而每个表中只能有一个聚集索引的规则，这使得聚集索引变得更加珍贵。
从我们前面谈到的聚集索引的定义我们可以看出，使用聚集索引的最大好处就是能够根据查询要求，迅速缩小查询范围，避免全表扫描。在实际应用中，因为ID号是自动生成的，我们并不知道每条记录的ID号，所以我们很难在实践中用ID号来进行查询。这就使让ID号这个主键作为聚集索引成为一种资源浪费。其次，让每个ID号都不同的字段作为聚集索引也不符合“大数目的不同值情况下不应建立聚合索引”规则；当然，这种情况只是针对用户经常修改记录内容，特别是索引项的时候会负作用，但对于查询速度并没有影响。
      在这里之所以提到“理论上”三字，是因为如果您的聚集索引还是盲目地建在ID这个主键上时，您的查询速度是没有这么高的，即使您在“日期”这个字段上建立的索引（非聚合索引）。下面我们就来看一下在1000万条数据量的情况下各种查询的速度表现（3个月内的数据为25万条）：
（1）仅在主键上建立聚集索引，并且不划分时间段：
Select gid,fariqi,neibuyonghu,title from tgongwen
用时：128470毫秒（即：128秒）
（2）在主键上建立聚集索引，在fariq上建立非聚集索引：
select gid,fariqi,neibuyonghu,title from Tgongwen
where fariqi> dateadd(day,-90,getdate())
用时：53763毫秒（54秒）
（3）将聚合索引建立在日期列（fariqi）上：
select gid,fariqi,neibuyonghu,title from Tgongwen
where fariqi> dateadd(day,-90,getdate())
用时：2423毫秒（2秒）
虽然每条语句提取出来的都是25万条数据，各种情况的差异却是巨大的，特别是将聚集索引建立在日期列时的差异。事实上，如果您的数据库真的有1000万容量的话，把主键建立在ID列上，就像以上的第1、2种情况，在网页上的表现就是超时，根本就无法显示。这也是我摒弃ID列作为聚集索引的一个最重要的因素。
得出以上速度的方法是：在各个select语句前加：declare @d datetime
set @d=getdate()
并在select语句后加：
select [语句执行花费时间(毫秒)]=datediff(ms,@d,getdate())
2、只要建立索引就能显著提高查询速度
事实上，我们可以发现上面的例子中，第2、3条语句完全相同，且建立索引的字段也相同；不同的仅是前者在fariqi字段上建立的是非聚合索引，后者在此字段上建立的是聚合索引，但查询速度却有着天壤之别。所以，并非是在任何字段上简单地建立索引就能提高查询速度。
从建表的语句中，我们可以看到这个有着1000万数据的表中fariqi字段有5003个不同记录。在此字段上建立聚合索引是再合适不过了。在现实中，我们每天都会发几个文件，这几个文件的发文日期就相同，这完全符合建立聚集索引要求的：“既不能绝大多数都相同，又不能只有极少数相同”的规则。由此看来，我们建立“适当”的聚合索引对于我们提高查询速度是非常重要的。
3、把所有需要提高查询速度的字段都加进聚集索引，以提高查询速度
上面已经谈到：在进行数据查询时都离不开字段的是“日期”还有用户本身的“用户名”。既然这两个字段都是如此的重要，我们可以把他们合并起来，建立一个复合索引（compound index）。
很多人认为只要把任何字段加进聚集索引，就能提高查询速度，也有人感到迷惑：如果把复合的聚集索引字段分开查询，那么查询速度会减慢吗？带着这个问题，我们来看一下以下的查询速度（结果集都是25万条数据）：（日期列fariqi首先排在复合聚集索引的起始列，用户名neibuyonghu排在后列）
（1）select gid,fariqi,neibuyonghu,title from Tgongwen where fariqi>'2004-5-5'
查询速度：2513毫秒
（2）select gid,fariqi,neibuyonghu,title from Tgongwen where fariqi>'2004-5-5' and neibuyonghu='办公室'
查询速度：2516毫秒
（3）select gid,fariqi,neibuyonghu,title from Tgongwen where neibuyonghu='办公室'
查询速度：60280毫秒
从 以上试验中，我们可以看到如果仅用聚集索引的起始列作为查询条件和同时用到复合聚集索引的全部列的查询速度是几乎一样的，甚至比用上全部的复合索引列还要 略快（在查询结果集数目一样的情况下）；而如果仅用复合聚集索引的非起始列作为查询条件的话，这个索引是不起任何作用的。当然，语句1、2的查询速度一样是因为查询的条目数一样，如果复合索引的所有列都用上，而且查询结果少的话，这样就会形成“索引覆盖”，因而性能可以达到最优。同时，请记住：无论您是否经常使用聚合索引的其他列，但其前导列一定要是使用最频繁的列。

（五）其他注意事项
“水可载舟，亦可覆舟”，索引也一样。索引有助于提高检索性能，但过多或不当的索引也会导致系统低效。因为用户在表中每加进一个索引，数据库就要做更多的工作。过多的索引甚至会导致索引碎片。
所以说，我们要建立一个“适当”的索引体系，特别是对聚合索引的创建，更应精益求精，以使您的数据库能得到高性能的发挥。
当然，在实践中，作为一个尽职的数据库管理员，您还要多测试一些方案，找出哪种方案效率最高、最为有效。

海量的数据处理问题，这是一 项艰巨而复杂的任务。原因有以下几个方面：

　　一、 数据量过大，数据中什么情况都可能存在。如果说有10条数据，那么大不了每条逐一检查，人为处理，如果有上百条数据，也可以考虑，如果数 据上到千万级别，甚至过亿，那不是手工能解决的了，必须通过工具或者程序进行处理，在海量的数据中，什么情况都可能存在，例如，数据中某处格式出了问题。 尤其在程序处理时，前面还能正常处理，突然到了某个地方问题出现了，程序终止了。

　　二、 软硬件要求高，系统资源占用率高。对海量的数据进行处 理，除了好的方法，最重要的就是合理的使用工具，合理分配系统资源。一般情况、如果处理的数据过TB级，小型机是要考虑的，普通的机子如果有好的方法可以考虑，不过也必须加大CPU的内存，就象面对着千军万马，光有勇气没有一兵 一卒是很难取胜的。

　　三、 要求很高的处理方法和技巧。这也是本文的写作目的所在，好的处理方法是一位工程师长期工作经验 的积累，也是个人的经验的总结。没有通用的处理方法，但有通用的原理和规则。

　　那么处理海量数据有哪些经验和技巧?我把我所知道的罗列一下，一共大家参考：

　　选择优秀的数据库 工具

　　现 在的数据库工具厂家比较多，对海量数据的处理对所使用的数据库工具要求比较高，一般使用Oracle或者DB2，微软的SQL Server2005性能也不错。另外在BI领域：数据库，数据仓库，多维数据库，数据挖掘等相关工具也要进行选择，象好的ELT工具和好的OLAP工具都十分必要，例如Informatic，Eassbase等。笔者在实际数据分析项目中，对每天6000万条的日志数据进行处理，使用SQL Server 2000需要花费6小时，而使用SQL Server 2005则只需要花费3小时。

　　编写优良的程序代码

　　处理数据离不开优秀的程序代码，尤其在进行复杂数据处理时，必须使用程序。好的程序代 码对数据的处理至关重要，这不仅仅是数据处理准确度的问题，更是数据处理效率的问题。良好的程序代码应该包含好的算法，处理流程、效率和异常处理机制等。

　　对海量数据进行分去操作

　　对海量数据进行分区操作十分必要，例如针对按年份存取的 数据，我们可以按年进行分区，不同的数据有不同的分区方式，不过处理机制大体相同。例如SQL Server的数据库分区时将不同的数据存于不同的文件组下，而不同的文件组存于不同的磁盘分区下，这样将数据分散开，减少磁盘I/O，减少系统负荷，而且还可以将日志、索引等放于 不同的分区下。

　　建立广泛的索引

　　对海量的数据处理，对大表建立索引是必行的。建立索引 要考虑到具体情况，例如针对大表的分组、排序等字段，都要建立相应索引，还可以建立复合索引，对经常插入的表则建立索引要小心，笔者在处理数据时曾经在一 个ETL流程中，当插入表时，首先删除索 引，然后插入完毕，建立索引，并实施聚合操作，聚合完成后，再次插入前还是删除索引，所以索引要用到好的时机，索引的填充因子和聚集，非聚集索引都要考 虑。

　　建立缓存机制

　　当数据量增加时，一般 的处理工具都要考虑到缓存问题，缓存大小设置的好差也关系到数据处理的成败，例如，笔者在处理2亿条数据聚合操作时，缓存设置为100000条/Buffer，这对于这个级别的数据量是可行的。

　　加大虚拟内存

　　如果系统资源有限，内 存提示不足，则可以靠增加虚拟内存来解决。笔者在实际项目中曾经遇到针对18亿条的数据进行处理，内存为1GB1个P4 2.4G的CPU， 对这么大的数据量进行聚合操作是有问题的，提示内存不足，笔者采用了加大虚拟内存的方式来解决，在6块磁盘分区上分别建立了6个4096M的磁盘分区，用于虚拟内存，这样虚拟内存则增加为4096*6+1024=25600 M，解决了数据处理中的内存不足问题。

　　分批处理

　　海量数据处理难因数量 大，那么解决海量数据处理难的问题其中一个技巧是减少数据量。可以对海量数据分批处理，然后处理后的数据再进行合并操作，这样逐个击破，有利于小数据量的 处理，不至于面对大数量带来的问题，不过这种方法也要因时因势进行，如果不允许需要拆分数据，还需要另想办法。不过一般的数据按天、按月、按年等存储的， 都可以采用先分后合的方法，对数据进行分开处理。

　　使用临时表和中间表

　　数据量增加时，处理中要考虑提前汇总。这样做的目的是化整为零，大表变小表，分块处理完成后， 再利用一定的规则进行合并，处理过程的临时表的使用和中间结果的保存都非常重要，如果对于超海量的数据，大表处理不了，只能拆分为多个小表。如果处理过程 中需要多步汇总操作，可按汇总步骤一步步来，不要一条语句完成一口气吃掉一个胖子。

　　优化查询SQL语句

　　对海量数据进行查询处 理过程中，查询的SQL语句的性能对查询效 率的影响是非常大的，编写高效优良的SQL脚本和存储过程是数据库工作人员的职责，也是检验数据库工作人员水平的一个标准，在对SQL语句的编写过程中例如减少关联，少用或不用游标， 设计好高效的数据库表结构等都十分必要。笔者在工作中试着对1亿行的数据使用游标，进行3小时没有出结果，这时一定要改用程序处理了

　　石油文本格式进行处理

　　对一般的数据处理可以使用数据库，如果对复杂的数据处 理，必须借助程序，那么在程序操作数据库和程序操作文本之间选择，是一定要选择程序操作文本的，原因为：程序操作文本速度快;对文本进行处理不容易出错; 文本的存储不受限制等。例如一般的海量的网络日志都是文本格式或者csv格式(文本格式)，对它进行处理牵扯到数据清洗，是要利用程序进行处理的，而不建议导入数据库在做清洗。

　　定制强大的清洗规 则和出错处理机制

　　海量数据中存在着不一致性，极有可能出现某处的瑕疵。 例如同样的数据中的时间字段，有的可能为非标准的时间，出现的原因肯能是应用程序的错误，系统的错误等，这是在进行数据处理时，必须制定强大的数据清洗规 则和出错处理机构。

　　建立视图或者物化视图

　　视图中的数据来源于基表，对海量数据的处理，可以将数据按一定的规划分散到各个基表中，查询或 处理过程中可以基于视图进行，这样分散了磁盘I/O，正如10根绳子吊着一根柱子和一根绳子吊着一根柱子的区别。

　　避免使用32位机(极端情况)

　　目前的计算机很多都是32位，那么编写的程序对内存的需要便受限制，而很多 的海量数据处理是必须大量消耗内存的，这便要求更好性能的机器，其中对位数的限制也十分重要。

　　使用数据仓库和多维数据库存储

　　数据量加大是一定要考虑OLAP的，传统的报表可能5、6个小时出来结果，而基于Cube的查询可能只需要几分钟，因此处理海量数据的利器是OLAP多维分析，即建立数据仓库，建立多维数据集， 基于多维数据集进行报表展现和数据挖掘等。

　　使用采样数据，进行数据挖掘

　　基于海量数据的数据挖掘正在逐步兴起，面对着超海量的 数据，一般色挖掘软件或算法往往采用数据插样的方式进行处理，这样误差不会很高，大大提高了处理效率和处理的成功率。一般采样时要注意数据的完整性，防止 过大的偏差。笔者曾经对1亿2千万行的表数据进行采样，抽取出400万行，经测试软件测试处理的误差为千万之五，客 户可以接受。

　　还有一些方法，需要在 不同的情况和场合下运用，例如使用代理键等操作，这样的好处是加快了聚合时间，因为对数值型的聚合比对字符型的聚合快的多。类似的情况需要针对不同的需求 进行处理。

　　海量数据室发展趋势，对数据分析和挖掘也越来越重要，从 海量数据中提取有用信息重要而紧迫，这便要求处理要准确，精度要高，而且处理时间要短，得到有价值信息要快，所以，对海量数据的研究很有前途，也很值得进 行广泛深入的研