day61-mysql-索引原理和慢查询优化

ProgramData是C盘隐藏的文件夹，mysql的data文件夹在里面，C:\ProgramData\MySQL\MySQL Server 8.0\Data
一、存储引擎
    重点[面试题]:

    innodb与MyISAM存储引擎的区别:
    　　1.innodb 是mysql5.5版本以后的默认存储引擎, 而MyISAM是5.5版本以前的默认存储引擎.
    　　2.innodb 支持事物,而MyISAM不支持事物
    　　3.innodb 支持行级锁.而MyIASM 它支持的是并发的表级锁.
    　　4.innodb 支持外键, 而MyIASM 不支持外键
    　　5.innodb与MyIASM存储引擎都采用B+TREE存储数据, 但是innodb的索引与数据存储在一个文件中,这种方式我们称之为聚合索引.
    　　　　而MyIASM则会单独创建一个索引文件,也就是说,数据与索引是分离开的
    　　6.在效率方面MyISAM比innodb高,但是在性能方面innodb要好一点.

创建三个表，分别使用innodb，myisam，memory 存储引擎，进行插入数据测试
create table t1(id int)engine=innodb;--如果不写上存储引擎，默认是innodb。
create table t2(id int)engine=myisam;
create table t3(id int)engine=memory;

#看一下三个存储引擎创建的 表文件
 t1.frm  t1.ibd
 t2.MYD  t2.MYI  t2.frm
 t3.frm
#细心的同学会发现最后的存储引擎只有表结构，无数据
#memory，在重启mysql或者重启机器后，表内数据清空

停止mysql的方法：cmd--net stop mysql 或者 任务管理器--服务--打开服务--mysql--停止此服务
开始mysql的方法：cmd--net start mysql 或者 任务管理器--服务--打开服务--mysql--重启此服务

二、索引:    本质：通过不断地缩小想要获取数据的范围来筛选出最终想要的结果--缩小范围，筛选结果。
1.索引方法：B+TREE 索引 和 HASH 索引
注意:通常其高度都在2~3层，查询时可以有效减少IO次数。强烈注意: 索引字段要尽量的小,磁盘块可以存储更多的索引.
B+TREE 索引：


2.常见四种索引：
    2.1.普通索引   加速查询
       创建:--创建表的时候创建索引：
        create table t1(
            id int not null,
            name varchar(50), --不写not null就默认是null
            index idx_id (id) --index替换成key也是同样的效果， idx_id是索引名(key_name)
        )
       通过命令创建--有了表再创建索引：
        CREATE index idx_name on t1(name);--on是指定某个表的某个字段
       查看索引
        show index from t1;
        删除索引
        drop index idx_id on t1;

    2.2.唯一索引   加速查询 和 唯一约束（可含一个null 值），只需要在普通索引前面加unique
        create table t2(
          id int not null auto_increment primary key,
          name varchar(50) not null,
          age int not null,
          unique index idx_age (age)
        )
      通过命令创建--有了表再创建唯一索引：
        create unique index idx_age on t2(age);
      查看索引
        show index from t2;
       删除索引
        drop index idx_id on t2;
      所有查看和删除索引的方法都一样的，除了主键索引。

    2.3.主键索引    加速查询 和 唯一约束（不可含null)，主键索引的索引名默认是PRIMARY，不能写其他索引名。注意:一个表中最多只能有一个主键索引。
        create table t3(
        id int not null,
        name varchar(50),
        primary key(id,name)--给id和name添加主键索引
        );        

        alter table t3 add primary key(id);

        alter table t3 drop primary key;--可同时删除id和name的主键索引。如果想只删除id的索引不删name的索引，代码不知怎样写，但是
            通过navicat可以操作。

    2.4.组合索引
        create unique index idx_age_name on t2(age,name);

3. 聚合索引和辅助索引
    总结二者区别:
　　相同的是：不管是聚集索引还是辅助索引，其内部都是B+树的形式，即高度是平衡的，叶子结点存放着所有的数据。
　　不同的是：聚集索引叶子结点存放的是一整行的信息,而辅助索引叶子结点存放的是单个索引列信息.    

4.引擎修改为myisam的方法：
-- 4.1.创建表
CREATE TABLE userInfo(
    id int NOT NULL,
    name VARCHAR(16) DEFAULT NULL,
    age int,
    sex char(1) not null,
    email varchar(64) default null
)ENGINE=MYISAM DEFAULT CHARSET=utf8;
注意:MYISAM存储引擎 不产生引擎事务，数据插入速度极快，为方便快速插入测试数据，等我们插完数据，再把存储类型修改为InnoDB
ALTER TABLE userinfo ENGINE=INNODB;

5.正确使用索引
    #1. 范围查询(>、>=、<、<=、!= 、between...and)
        #1. = 等号
        select count(*) from userinfo where id = 1000 -- 执行索引,索引效率高

        #2. > >= < <= between...and 区间查询
        select count(*) from userinfo where id <100; -- 执行索引,区间范围越小,索引效率越高

        select count(*) from userinfo where id >100; -- 执行索引,区间范围越大,索引效率越低

        select count(*) from userinfo where id between 10 and 500000; -- 执行索引,区间范围越大,索引效率越低

       #3. != 不等于
       select count(*) from userinfo where id != 1000;  -- 索引范围大,索引效率低

    #2.like '%xx%'
        #为 name 字段添加索引
        create index idx_name on userinfo(name);

        select count(*) from userinfo where name like '%xxxx%'; -- 全模糊查询,索引效率低
        select count(*) from userinfo where name like '%xxxx';   -- 以什么结尾模糊查询,索引效率低

        #例外: 当like使用以什么开头会索引使用率高
        select * from userinfo where name like 'xxxx%'; 

    #3. or
        select count(*) from userinfo where id = 12334 or email ='xxxx'; -- email不是索引字段,索引此查询全表扫描

        #例外：当or条件中有未建立索引的列才失效，以下会走索引
        select count(*) from userinfo where id = 12334 or name = 'alex3'; -- id 和 name 都为索引字段时, or条件也会执行索引

    #4.使用函数
        select count(*) from userinfo where reverse(name) = '5xela'; -- name索引字段,使用函数时,索引失效

        #例外:索引字段对应的值可以使用函数,我们可以改为一下形式
        select count(*) from userinfo where name = reverse('5xela');

    #5.类型不一致
        #如果列是字符串类型，传入条件是必须用引号引起来，不然...
        select count(*) from userinfo where name = 454;--索引效率低

        #类型一致
        select count(*) from userinfo where name = '';--索引效率高

    #6.order by
        #排序条件为索引，则select字段必须也是索引字段，否则无法命中
        select email from userinfo ORDER BY name DESC; -- 无法命中索引

        select name from userinfo ORDER BY name DESC;  -- 命中索引

        #特别的:如果对主键排序，则还是速度很快：
        select id from userinfo order by id desc;

6.组合索引

    组合索引: 是指对表上的多个列组合起来做一个索引.

    最左匹配原则: 从左往右依次使用生效，如果中间某个索引没有使用，那么断点前面的索引部分起作用，断点后面的索引没有起作用；

        select * from mytable where a=3 and b=5 and c=4;
    　  #abc三个索引都在where条件里面用到了，而且都发挥了作用

        select * from mytable where  c=4 and b=6 and a=3;
        　　#这条语句列出来只想说明 mysql没有那么笨，where里面的条件顺序在查询之前会被mysql自动优化，效果跟上一句一样

        select * from mytable where a=3 and c=7;
        　　#a用到索引，b没有用，所以c是没有用到索引效果的

        select * from mytable where a=3 and b>7 and c=3;
        　　#a用到了，b也用到了，c没有用到，这个地方b是范围值，也算断点，只不过自身用到了索引

        select * from mytable where b=3 and c=4;
        　　#因为a索引没有使用，所以这里 bc都没有用上索引效果

        select * from mytable where a>4 and b=7 and c=9;
        　　#a用到了  b没有使用，c没有使用

        select * from mytable where a=3 order by b;
        　　#a用到了索引，b在结果排序中也用到了索引的效果

    select * from mytable where a=3 order by c;
    　　#a用到了索引，但是这个地方c没有发挥排序效果，因为中间断点了

    select * from mytable where b=3 order by a;
    　　#b没有用到索引，排序中a也没有发挥索引效果

7.注意事项
    1. 避免使用select *
    2. 其他数据库中使用count(1)或count(列) 代替 count(*),而mysql数据库中count(*)经过优化后,效率与前两种基本一样.
    3. 创建表时尽量时 char 代替 varchar
    4. 表的字段顺序固定长度的字段优先
    5. 组合索引代替多个单列索引（经常使用多个条件查询时）
    6. 使用连接（JOIN）来代替子查询(Sub-Queries)
    7. 不要有超过4个以上的表连接（JOIN）
    8. 优先执行那些能够大量减少结果的连接。
    9. 连表时注意条件类型需一致
    10.索引散列值不适合建索引，例：性别不适合

8.查询计划
    预估查询的结果,不太精准
    type : 查询计划的连接类型, 有多个参数，先从最佳类型到最差类型介绍

　　性能： null > system/const > eq_ref > ref > ref_or_null > index_merge >  range > index >  all 

9.慢日志查询
     将mysql服务器中影响数据库性能的相关SQL语句记录到日志文件，
  通过对这些特殊的SQL语句分析，改进以达到提高数据库性能的目的。

    #.查询慢日志配置信息 :
    show variables like '%query%';
    #.修改配置信息
    set global slow_query_log  = on;

    # 显示参数　　
    show variables like '%log_queries_not_using_indexes';
    # 开启状态
    set global log_queries_not_using_indexes  = on;

    #查看慢日志记录的方式
    show variables like '%log_output%';

    #设置慢日志在文件和表中同时记录
    set global log_output='FILE,TABLE';

    #查询时间超过10秒就会记录到慢查询日志中
    select sleep(3) FROM user ;

    #查看表中的日志
    select * from mysql.slow_log;

11.大数据量分页优化(面试可能遇到)　
执行此段代码:
1
select * from userinfo limit 3000000,10;
优化方案:
一. 简单粗暴，就是不允许查看这么靠后的数据，比如百度就是这样的


最多翻到72页就不让你翻了，这种方式就是从业务上解决；

二.在查询下一页时把上一页的行id作为参数传递给客户端程序，然后sql就改成了
1
select * from userinfo where id>3000000 limit 10;
这条语句执行也是在毫秒级完成的，id>300w其实就是让mysql直接跳到这里了，不用依次在扫描全面所有的行
如果你的table的主键id是自增的，并且中间没有删除和断点，那么还有一种方式，比如100页的10条数据
1
select * from userinfo where id>100*10 limit 10;
　　
三.最后第三种方法：延迟关联
我们在来分析一下这条语句为什么慢，慢在哪里。
1
select * from userinfo limit 3000000,10;
玄机就处在这个 * 里面，这个表除了id主键肯定还有其他字段  比如 name  age  之类的，因为select  *  所以mysql在沿着id主键走的时候要回行拿数据，走一下拿一下数据；
如果把语句改成
1
select id from userinfo limit 3000000,10;
你会发现时间缩短了一半；然后我们在拿id分别去取10条数据就行了；
语句就改成这样了：
1
select table.* from userinfo inner join ( select id from userinfo limit 3000000,10 ) as tmp on tmp.id=userinfo.id;
这三种方法最先考虑第一种 其次第二种，第三种是别无选择