MySQL——索引优化实战
上篇文章中介绍了索引的基本内容,这篇文章我们继续介绍索引优化实战。在介绍索引优化实战之前,首先要介绍两个与索引相关的重要概念,这两个概念对于索引优化至关重要。
本篇文章用于测试的user表结构:
索引相关的重要概念
基数
单个列唯一键(distict_keys)的数量叫做基数。
SELECT COUNT(DISTINCT name),COUNT(DISTINCT gender) FROM user;
user表的总行数是5,gender 列的基数是 2,说明 gender 列里面有大量重复值,name 列的基数等于总行数,说明 name列没有重复值,相当于主键。
返回数据的比例:
user表中共有5条数据:
SELECT * FROM user;
查询满足性别为0(男)的记录数:
那么返回记录的比例数是:
同理,查询name为'swj'的记录数:
返回记录的比例数是:
现在问题来了,假设name、gender列都有索引,那么SELECT * FROM user WHERE gender = 0;
SELECT * FROM user WHERE name = 'swj';
都能命中索引吗?
user表的索引详情:
SELECT * FROM user WHERE gender = 0;
没有命中索引,注意filtered的值就是上面我们计算的返回记录的比例数。
SELECT * FROM user WHERE name = 'swj';
命中了索引index_name,因为走索引直接就能找到要查询的记录,所以filtered的值为100
结论:
返回表中 30% 内的数据会走索引,返回超过 30% 数据就使用全表扫描。当然这个结论太绝对了,也并不是绝对的30%,只是一个大概的范围。
回表
当对一个列创建索引之后,索引会包含该列的键值及键值对应行所在的 rowid。通过索引中记录的 rowid 访问表中的数据就叫回表。回表次数太多会严重影响 SQL 性能,如果回表次数太多,就不应该走索引扫描,应该直接走全表扫描。
EXPLAIN命令结果中的Using Index
意味着不会回表,通过索引就可以获得主要的数据。Using Where
则意味着需要回表取数据。
索引优化实战
有些时候虽然数据库有索引,但是并不被优化器选择使用。
我们可以通过SHOW STATUS LIKE 'Handler_read%';
查看索引的使用情况:
Handler_read_key:如果索引正在工作,Handler_read_key的值将很高。
Handler_read_rnd_next:数据文件中读取下一行的请求数,如果正在进行大量的表扫描,值将较高,则说明索引利用不理想。
索引优化规则:
如果MySQL估计使用索引比全表扫描还慢,则不会使用索引
返回数据的比例是重要的指标,比例越低越容易命中索引。记住这个范围值——30%,后面所讲的内容都是建立在返回数据的比例在30%以内的基础上。
前导模糊查询不能命中索引
name列创建普通索引:
前导模糊查询不能命中索引:
EXPLAIN SELECT * FROM user WHERE name LIKE '%s%';
非前导模糊查询则可以使用索引,可优化为使用非前导模糊查询:
EXPLAIN SELECT * FROM user WHERE name LIKE 's%';
数据类型出现隐式转换的时候不会命中索引,特别是当列类型是字符串,一定要将字符常量值用引号引起来
EXPLAIN SELECT * FROM user WHERE name=1;
EXPLAIN SELECT * FROM user WHERE name='1';
复合索引的情况下,查询条件不包含索引列最左边部分(不满足最左原则),不会命中符合索引
name,age,status列创建复合索引:
ALTER TABLE user ADD INDEX index_name (name,age,status);
user表索引详情:
SHOW INDEX FROM user;
根据最左原则,可以命中复合索引index_name:
EXPLAIN SELECT * FROM user WHERE name='swj' AND status=1;
注意,最左原则并不是说是查询条件的顺序:
EXPLAIN SELECT * FROM user WHERE status=1 AND name='swj';
而是查询条件中是否包含索引最左列字段:
EXPLAIN SELECT * FROM user WHERE status=2 ;
union、in、or 都能够命中索引,建议使用 in。
union:
EXPLAIN SELECT * FROM user WHERE status = 1
UNION ALL
SELECT * FROM user WHERE status = 2;
in:
EXPLAIN SELECT * FROM user WHERE status IN (1,2);
or:
EXPLAIN SELECT * FROM user WHERE status=1 OR status=2;
查询的CPU消耗:or > in >union
用or分割开的条件,如果or前的条件中列有索引,而后面的列中没有索引,那么涉及到的索引都不会被用到
EXPLAIN SELECT * FROM payment WHERE customer_id = 203 OR amount = 3.96;
因为or后面的条件列中没有索引,那么后面的查询肯定要走全表扫描,在存在全表扫描的情况下,就没有必要多一次索引扫描增加IO访问。
负向条件查询不能使用索引,可以优化为 in 查询。
负向条件有:!=、<>、not in、not exists、not like 等。
status列创建索引:
ALTER TABLE user ADD INDEX index_status (status);
user表索引详情:
SHOW INDEX FROM user;
负向条件不能命中缓存:
EXPLAIN SELECT * FROM user WHERE status !=1 AND status != 2;
可以优化为 in 查询,但是前提是区分度要高,返回数据的比例在30%以内:
EXPLAIN SELECT * FROM user WHERE status IN (0,3,4);
范围条件查询可以命中索引
范围条件有:<、<=、>、>=、between等
status,age列分别创建索引:
ALTER TABLE user ADD INDEX index_status (status);
ALTER TABLE user ADD INDEX index_age (age);
user表索引详情:
SHOW INDEX FROM user;
范围条件查询可以命中索引:
EXPLAIN SELECT * FROM user WHERE status>5;
范围列可以用到索引(联合索引必须是最左前缀),但是范围列后面的列无法用到索引,索引最多用于一个范围列,如果查询条件中有两个范围列则无法全用到索引:
EXPLAIN SELECT * FROM user WHERE status>5 AND age<24;
如果是范围查询和等值查询同时存在,优先匹配等值查询列的索引:
EXPLAIN SELECT * FROM user WHERE status>5 AND age=24;
数据库执行计算不会命中索引
EXPLAIN SELECT * FROM user WHERE age > 24;
EXPLAIN SELECT * FROM user WHERE age+1 > 24;
计算逻辑应该尽量放到业务层处理,节省数据库的 CPU的同时最大限度的命中索引。
利用覆盖索引进行查询,避免回表
被查询的列,数据能从索引中取得,而不用通过行定位符 row-locator 再到 row 上获取,即“被查询列要被所建的索引覆盖”,这能够加速查询速度。
user表的索引详情:
因为status字段是索引列,所以直接从索引中就可以获取值,不必回表查询:
Using Index
代表从索引中查询EXPLAIN SELECT status FROM user where status=1;
当查询其他列时,就需要回表查询,这也是为什么要避免
SELECT *
的原因之一:EXPLAIN SELECT * FROM user where status=1;
建立索引的列,不允许为 null
单列索引不存 null 值,复合索引不存全为 null 的值,如果列允许为 null,可能会得到“不符合预期”的结果集,所以,请使用 not null 约束以及默认值。
remark列建立索引:
ALTER TABLE user ADD INDEX index_remark (remark);
IS NULL可以命中索引:
EXPLAIN SELECT * FROM user WHERE remark IS NULL;
IS NOT NULL不能命中索引:
EXPLAIN SELECT * FROM user WHERE remark IS NOT NULL;
虽然IS NULL可以命中索引,但是NULL本身就不是一种好的数据库设计,应该使用NOT NULL 约束以及默认值
更新十分频繁的字段上不宜建立索引
因为更新操作会变更B+树,重建索引。这个过程是十分消耗数据库性能的。
区分度不大的字段上不宜建立索引
类似于性别这种区分度不大的字段,建立索引的意义不大。因为不能有效过滤数据,性能和全表扫描相当。另外返回数据的比例在30%以外的情况下,优化器不会选择使用索引。
业务上具有唯一特性的字段,即使是多个字段的组合,也必须建成唯一索引
虽然唯一索引会影响insert速度,但是对于查询的速度提升是非常明显的。另外,即使在应用层做了非常完善的校验控制,只要没有唯一索引,在并发的情况下,依然有脏数据产生。
多表关联时,要保证关联字段上一定有索引
创建索引时避免以下错误观念
索引越多越好,认为一个查询就需要建一个索引。
宁缺勿滥,认为索引会消耗空间、严重拖慢更新和新增速度。
抵制唯一索引,认为业务的唯一性一律需要在应用层通过“先查后插”方式解决。
过早优化,在不了解系统的情况下就开始优化。
总结
对于自己编写的SQL查询语句,要尽量使用EXPLAIN命令分析一下,做一个对SQL性能有追求的程序员。衡量一个程序员是否靠谱,SQL能力是一个重要的指标。作为后端程序员,深以为然。
参考
- 《深入浅出MySQL》
MySQL——索引优化实战的更多相关文章
- 知识点:Mysql 索引优化实战(3)
知识点:Mysql 索引原理完全手册(1) 知识点:Mysql 索引原理完全手册(2) 知识点:Mysql 索引优化实战(3) 知识点:Mysql 数据库索引优化实战(4) 索引原理知识回顾 索引的性 ...
- 知识点:Mysql 数据库索引优化实战(4)
知识点:Mysql 索引原理完全手册(1) 知识点:Mysql 索引原理完全手册(2) 知识点:Mysql 索引优化实战(3) 知识点:Mysql 数据库索引优化实战(4) 一:插入订单 业务逻辑:插 ...
- MySQL索引优化看这篇文章就够了!
阅读本文大概需要 5 分钟. 来源:cnblogs.com/songwenjie/p/9410009.html 本文主要讨论MySQL索引的部分知识.将会从MySQL索引基础.索引优化实战和数据库索引 ...
- 讲真,MySQL索引优化看这篇文章就够了
本文主要讨论MySQL索引的部分知识.将会从MySQL索引基础.索引优化实战和数据库索引背后的数据结构三部分相关内容,下面一一展开. 一.MySQL——索引基础 首先,我们将从索引基础开始介绍一下什么 ...
- MySQL高性能优化实战总结!
1.1 前言 MySQL对于很多Linux从业者而言,是一个非常棘手的问题,多数情况都是因为对数据库出现问题的情况和处理思路不清晰.在进行MySQL的优化之前必须要了解的就是MySQL的查询过程,很多 ...
- 收藏起来,史上最全的 MySQL 高性能优化实战总结!
转自:https://mp.weixin.qq.com/s/sRsJzFO9dPtKhovJNWN3Dg 一.前言 MySQL 对于很多 Linux 从业者而言,是一个非常棘手的问题,多数情况都是因为 ...
- Linux记录-史上最全的MySQL高性能优化实战总结(转载)
史上最全的MySQL高性能优化实战总结! 1.1 前言 MySQL对于很多Linux从业者而言,是一个非常棘手的问题,多数情况都是因为对数据库出现问题的情况和处理思路不清晰.在进行MySQL的优 ...
- 史上最全的MySQL高性能优化实战总结!
1.1 前言 MySQL对于很多Linux从业者而言,是一个非常棘手的问题,多数情况都是因为对数据库出现问题的情况和处理思路不清晰.在进行MySQL的优化之前必须要了解的就是MySQL的查询过程,很多 ...
- 必须收藏的MySQL高性能优化实战总结!
MySQL对于很多程序员来说,是一个非常棘手的问题,多数情况都是因为对数据库出现问题的情况和处理思路不清晰.在进行MySQL的优化之前必须要了解的就是MySQL的查询过程,很多的查询优化工作实际上就是 ...
随机推荐
- (转)关于python3中staticmethod(静态方法)classmethod(类方法)实例方法的联系和区别
原文:http://dmcoders.com/2017/08/30/pythonclass/ https://zhuanlan.zhihu.com/p/28010894------正确理解Python ...
- Windows server2012 IIs 8 自定义日志记录
问题: 通过CDN加速的网站,记录日志时无法追踪源IP,日志的IP都为CDN节点ip. 分析: 1.在解析记录header时,CDN实际会把源IP以其它header的形式回传,如网宿为[Cdn-Src ...
- CentOS下使用crontab命令来定时执行任务
原文地址:http://www.centoscn.com/CentOS/help/2015/0424/5261.html crontab命令 是用来让使用者在固定时间或固定间隔执行程序之用,换句话说, ...
- Evenbus简单用法
Evenbus是一个开源插件,可以帮我们在app里面进行数据传递,传递的对象为Object,就是说可以传输任何对象,但是一般为了拓展性和维护性,我们都用来传输Bean类型. 这个插件最重要的是注册和反 ...
- 《垃圾回收的算法与实现》——Python垃圾回收
Python垃圾回收 python采用引用计数法进行垃圾回收 Python内存分配 python在分配内存空间时,在malloc之上堆放了3个独立的分层. python内存分配时主要由arena.po ...
- socket心跳超时检测,快速处理新思路(适用于超大量TCP连接情况下)
假设一种情景:TCP服务器有1万个客户端连接,如果客户端5秒钟不发数据,则要断开.服务端如何检测客户端是否超时?这看起来是一个非常简单的问题,其实不然! 最简单的处理方法是:启动一个线程,每隔一段时间 ...
- Django使用Signals监测model字段变化发送通知
上一篇文章<运维效率之数据迁移自动化>中讲到了工单通知,本文将介绍工单通知实现过程中的一些小技巧.所有演示均基于Django2.0 阅读此篇文章你可以: 解锁一个python if的使用新 ...
- java开发细节问题,spring的单例模式,多线程同步问题
1.对象的赋值,new一个对象,然后在传递给函数赋值,往往这对对象赋值就可以使用了 2.对于 spring开发的细节问题 Spring框架里的bean,或者说组件,获取实例的时候都是默认的单例模式,这 ...
- Maven Jetty9
<plugins> <plugin> <groupId>org.apache.maven.plugins</groupId> <artifactI ...
- nginx的一次跨域处理
1.事故 访问图片资源的时候,发生了跨域,具体报错如下所示: 403 Response to preflight request doesn't pass access control check: ...