Mysql 索引案例学习
理解索引最好的办法是结合示例,所以这里准备了一个索引的案例。
假设要设计一个在线约会网站,用户信息表有很多列,包裹国家,地区,城市,性别,眼睛颜色,等等。完整必须支持上面这些特征的各种组合来搜索用户,还不行一些根据用户的最后在线时间,其他会员对用户的屏风等对用户进行排序并对结果进行限制。如何世界索引满足上面的负载需求呢?
出人意料的是第一件需要考虑的事情是需要使用索引来排序,还是先检索数据再排序。使用索引排序会严格限制索引和查询的设计。例如,如果希望使用索引做根据其他会员对用户的评分排序,则WHERE 条件中的 age BETWEEN 18 AND 25 就无法使用索引。如果MySQL使用了某个索引进行范围查询,也就无法再使用另一个索引(或者是该索引的后续字段)进行排序了。如果这是很常见的where 条件,那么我们当然就会认为很多查询需要做排序操作。
支持多种过滤条件
现在需要看看那些列拥有很多不同的取值,那些列在where子句中出现的最繁琐。在有更多不同值的列上创建索引的选择性更好。一般来说这样都是对的,因为可以让MySQL更有效的过滤掉不需要的行。
country的选择性通常不高,但是可能很多查询都会用到。sex列的选择性肯定很低,但也会在很多查询中用到。索引考虑到使用的频率还是建议在创建不同组合所以你的时候讲(sex,country) 作为前缀。
但根据传统的经验,不是说不应该在选择性地的列上创建索引了吗?那么为什么这里需要将恋歌选择性都很低的字段作为索引的前缀列?我们的脑子坏了?
我们的脑子当然没有坏。这么做有两个理由:低一点,如前面所述几乎所有的查询都会用到sex列。前面曾提到,几乎每一个查询都会用到sex列,设置会吧网站设计成每次都只能按照某一种姓名搜索用户。更重要的一点是,索引中加上这一列也没有花痴,即使查询中没有使用sex列也可以通过下面的诀窍绕过。
这个诀窍就是:查询不限制性别,那么可以通过在查询条件中增加AND sex in ('f','m')。来让MySQL选择索引。这样写并不会过滤掉如何行,和没有这个条件时返回的结果相同。但是必须添加上这个条件,MySQL才能匹配索引最左前缀。这个诀窍这这类场景中非常有效,但如果有太多不同的值,就会让in() 列表太长,这样就不行了。
这个案例显示了一个级别原则:考虑表上素有是选项。当时机索引时,不要指望现有的查询考虑需要哪些需哦因,还需要考虑对查询进行优化。如果发现某些查询需要创建新索引,但是这个索引优惠降低另一些查询的效率,那么应该想一想释放能优化原来的查询,那么应该想一想释放能优化原来的查询。应该同时优化查询和索引以找到最贱的平衡,而不是闭门造车去设计完美的索引。
接下来,需要考虑其他常见where的组合,并需要了解哪些组合在没有合适索引的情况下就会很慢。(sex,country,age)上的索引就是一个很明显的选择,另外恒友可能还需要(sex,country,region,age)和(sex,country,region,city,age)这样的组合索引。
这样就会要要大量的索引。如果想尽可能重用索引而不是建立大量的索引组合,可以使用前面提到的IN()来巧妙的避免同时需要(sex,country,age)和(sex,country,region,age)的索引。如果没有指定这个字段所说,就需要定义一个全部国家列表,或国家的全部地区列表,来确保前缀索引有同样的约束(组合所有的国家,地区,性别)将是一个非常庞大的条件。
这些索引将满足大部分最常见的查询,但是如何为一些生怕的所说条件(比如说has_pictures,eye_color,hair_color和education)来设计索引呢。这些列的选择性高,使用也不频繁,可以选择忽略掉他们,让MySQL多扫描一些额外的行即可。另一个可选的地方是在age列的前面上加上这些列,在查询时使用前面提到过的in()技术来处理所说是没有指定这些场景。
你可能已经注意到了,我们一直讲age列放在索引的最后面。age列有什么特殊的地方吗?为什么要放在索引的最后?我们总是尽可能让MySQL使用更多的索引列,因为在查询中只能使用索引的最左前缀,直到遇到第一个范围条件列。前面提到的列在WHERE 子句中都是等于条件,但是age列则多半是范围查询(例如,18-25岁之间的人)。
当然也可以使用in来代替范围查询,例如年龄条件改为in(18,19...25),但不是所有的查询都可以转换。这里秒数的原则是,金坑能将需要做范围查询的列放在索引的最后面,以便游虎丘能使用更多的索引列。
前面提到的可以在索引中加入更多的列,并通过in()的方式覆盖奈尔不在where子句中的列。但这种技巧也不能滥用,否则可能会带来麻烦。因为每额外添加一个in()条件,优化器需要做的组合将会以指数的形势增加,最终可能会极大的降低查询性能。
考虑下面WHERE 子句:
WHERE eye_color in('brown','blue','hazel')AND hair_colr in ('black','red','blonde','borwn') AND sex in ('f','m') 优化器会转成3*4*2=24种组合,执行计划需要价差where子句中所有的24种组合。对于MySQL来说,24种组合并不是很夸张,但如果组合数达到上千个则需要特别小心。老板吗的MySQL在in()组合条件过多时就会有很多问题。查询优化可能花很多时间,并消耗大量的内存。新版本的MySQL在组合数超过一定数量后就不再进行执行计划评估了,可能会导致MySQL不能很好的利用索引。
避免多个范围条件
假设我们有一个last_online列并希望通过下面的查询显示在过去几周上限过的用户:
WHERE eye_color in('brown','blue','hazel')
AND hair_colr in ('black','red','blonde','borwn')
AND sex in ('f','m')
AND last_online > DATE_SUB(NOW(),INTERVAL 7 DAY)
AND age between 18 and 25
这个查询有一个问题:他有两个范围条件 last_online 和age列,MySQL可以使用last_onlie 列索引或者age列索引,但无法同时使用它们。
如果条件中只有last_onlie而没有age,那么我们可能考虑在索引的后面加上last_onlie列。这里考虑如果我们无法把age字段转换成一个in()列表,并且人要求对于同时有last_onlie和age这两个维度的范围查询的速度很快,那么该怎么办?答案是,很遗憾,没有一个直接的办法能够解决这个问题。但是我们能够将其中一个范围查询转换成一个简单的等值比较。为了实现这一点,我们需要事先计算好一个active列,这个字段由地市任务来维护。党用户每次登陆时,将对应值设为1,并且将过去连续7天未曾登陆的用户的值置为零。
这个方法可以让MySQL使用(active,sex,country,age)索引。active并不是完全精确的,但是对于这个查询来说,对精度的要求没有那么高。如果需要精确的数据,可以吧last_online 列放在where子句中,但不加入到索引中。这和之前通过计算urlhash值来实现url的快速查找类似。所以这个查询无法使用任何索引,但因为这个条件的过滤性不高,即使在索引中加入了该列也没有太大的帮助。换个角度说,缺乏合适的索引对该查询影响也不明显。
到目前位置,我们可以看到:如果用户希望同时看到活跃和不活跃的用户,可以在查询中使用in()列表。我们已经加入了很多这样的列表,但另一个可选的方案只能是位不同组合列创建单独的索引。至少需要建立如下索引(active,sex,country,age),(active,country,age),(sex,country,age) 和(country,age).这些索引对某个具体的查询来说可能都是更优化的,但是考虑到索引的维护和额外的空间占用的代价,这个可选方案就不是一个好的策略了。
这这个案例中,优化器的特性是影响索引策略的一个很重要的因素。如果未来办吗的MySQL能够实现松松索引扫描,就能在一个索引上使用多个范围条件,那也就不需要为上面考虑这类型使用in()列表了。
优化排序
在这个学习案例中,最后要介绍的是排序。使用文件排序对小数据集是很快的,但如果一个查询的结果又上百万行的话会怎样?例如where子句中只有sex列,如何排序?
对于那些选择性非常低的列,可以增加一些特殊的索引来做排序。例如可以创建(sex,rating)索引用于如下的查询:
SELECCT <cols> FROM profiles WHERE sex='M' ORDER BY rating limit 10;
这个查询同时使用了order by 和limit ,如果没有索引的话,会很慢。
即使有索引,如果yoghurt界面上需要翻页,并且翻页到比较靠后时,查询也可能非常慢。
下面这个查询就可以通过ORDER BY 和LIMIT偏移量的组合翻页到很后面的时候。
SELECCT <cols> FROM profiles WHERE sex='M' ORDER BY rating limit 100000,10;
无论如何创建索引,这种查询都是个严重的问题。因为随着偏移量的增加,MySQL需要花费大量的 时间来扫描需要丢弃的数据。反范式化、预先计算和缓存可能是解决这类查询的仅有策略。一个更好的办法是限制用户能够翻页的数量,实际上这对用户的体验不大,因为用户很少真正在乎搜索过的低10000页。
优化这类索引的另一个比较好的策略是使用延迟关联,通过使用腹杆索引查询返回需要的主键,在根据这些主键关联原表格所需要的行。这可以减少MySQL扫描那些需要丢弃的行数。下面这个查询显示了如何高效的使用(sex,rating)索引进行排序和分页
SELECT <cols> FROM profiles INNER JOIN (SELECT <primary key cols> FROM profiles WHERE x.sex = 'M' ORDER BY rating 10000,10) AS X using (<primary key cols>);
Mysql 索引案例学习的更多相关文章
- MySQL索引的学习
MySQL索引的学习 关于使用mysql索引的好处,合理的设计并使用mysql索引能够有效地提高查询效率.对于没有索引的表,单表查询可能几十万数据就是平静,在大型网站单日可能会产生几十万甚至几百万的数 ...
- MySQL索引知识学习笔记
目录 一.索引的概念 二.索引分类 三.索引用法 四 .索引架构简介 五.索引适用的情况 六.索引不适用的情况 继我的上篇博客:Oracle索引知识学习笔记,再记录一篇MySQL的索引知识学习笔记,本 ...
- MySQL数据库索引类型、MySQL索引的优化及MySQL索引案例
关于MySQL索引的好处,如果正确合理设计并且使用索引的MySQL是一辆兰博基尼的话,那么没有设计和使用索引的MySQL就是一个人力三轮车.对于没有索引的表,单表查询可能几十万数据就是瓶颈,而通常大型 ...
- mysql实战优化之四:mysql索引优化
0. 使用SQL提示 用户可以使用use index.ignore index.force index等SQL提示来进行选择SQL的执行计划. 1.支持多种过滤条件 2.避免多个范围条件 应尽量避免在 ...
- mysql 索引B-Tree类型对索引使用的生效和失效情况详解
详见:http://blog.yemou.net/article/query/info/tytfjhfascvhzxcyt343 当人们谈论索引的时候,如果没有特别指明类型 ,那多半说的是 B-Tre ...
- 重新学习MySQL数据库5:根据MySQL索引原理进行分析与优化
重新学习MySQL数据库5:根据MySQL索引原理进行分析与优化 一:Mysql原理与慢查询 MySQL凭借着出色的性能.低廉的成本.丰富的资源,已经成为绝大多数互联网公司的首选关系型数据库.虽然性能 ...
- SQL学习笔记之MySQL索引知识点
0x00 概述 之前写过一篇Mysql B+树学习,简单的介绍了B+数以及MySql使用B+树的原因, 有了这些基础知识点,对MySql索引的类型以及索引使用的一些技巧,就比较容易理解了. 0x01 ...
- 重新学习MySQL数据库4:Mysql索引实现原理
重新学习Mysql数据库4:Mysql索引实现原理 MySQL索引类型 (https://www.cnblogs.com/luyucheng/p/6289714.html) 一.简介 MySQL目前主 ...
- 10 | MySQL为什么有时候会选错索引? 学习记录
<MySQL实战45讲>10 | MySQL为什么有时候会选错索引? 学习记录http://naotu.baidu.com/file/e7c521276650e80fe24584bc9a6 ...
随机推荐
- 关于手机"内存"的解答
关于手机"内存"的解答 内存小/少 手机内存在手机出厂的时候就已经固定了,其总量无法调整,不能像电脑一样加内存条.所以想提升可用内存,除了经常清理系统,或者把不是必须的应用移到SD ...
- flex中validateall()方法, 多Item验证 ,结果统一提示
<?xml version="1.0" encoding="utf-8"?> <s:Application xmlns:fx="ht ...
- activitie5 流程入门例子
流程这个东西在ERP项目用得比较多.在网上找到一个例子,与大家分享一下.http://yiyiboy2010.iteye.com/blog/1530924 感谢原博主提供 http://blog.ch ...
- POJ1260 Pearls(dp,矩阵链乘法)
题目链接. 题目大意: 给定一个n,和两个序列a[i], p[i]. a[i] 表示需要购买 i品质 的数量,p[i] i 等级的价格. 1.每个品质都会有不同的价格,价格依据品质上升而上升 2.买一 ...
- Delphi String 与wideString 的完美转换
一般来说,String与widestring 的转换是系统自动进行的,但是,考虑如下字符串 s:=#2+#3+#0+#10+#0+#1+#164+#59;,显然S的长度为8,然后执行如下代码 var ...
- 【翻译】Organizing ASP.NET MVC solutions 如何组织你的ASP.NET MVC解决方案
序言 时隔一年,弦哥重出江湖,对于我们学习.NET MVC那将有大大的好处,期待弦哥的重构系列.在弦哥与jerrychou的交流中提到了一篇文章http://lostechies.com/jimmyb ...
- Linux 下 的 cc 和 gcc
在Linux下一会看到cc,另一会又看到gcc,感觉又点混乱的样子.它们是同一个东西么,有啥区别呢? 一分为二地看: 首先,如果讨论范围在Unix和Linux之间,那么cc和gcc不是同一个东西.cc ...
- LoadRunner基础入门教程
原文地址:http://jingyan.baidu.com/article/215817f7dedfb01eda1423df.html 从LoadRunner英语字面上进行理解就是负载跑步者,为什么这 ...
- LeetCode题目答案索引
LeetCode-Two Sum LeetCode-Median of Two Sorted Arrays LeetCode-Longest Substring Without Repeating C ...
- selenium webdriver python 元素操作
常用操作 click 点击某个元素 driver.find_element_by_id(“su”).click() clear driver.find_element_by_id(“kw”).cl ...