MySQL高级01

MySQL支持大型数据库，支持5000万条记录的数据仓库，32位系统表文件最大可支持4GB，64位系统支持最大的表文件为8TB。

官网下载地址：http://dev.mysql.com/downloads/mysql/

拷贝&解压缩

1、CentOS6

rpm -qa|grep mysql
如果存在mysql-libs的旧版本包如下：

请先执行卸载命令：rpm -e --nodeps mysql-libs

2、CentOS7
rpm -qa|grep mariadb
如果存在如下：

请先执行卸载命令：rpm -e --nodeps mariadb-libs

检查/tmp文件夹权限

由于mysql安装过程中，会通过mysql用户在/tmp目录下新建tmp_db文件，所以请给/tmp较大的权限
执行 ：chmod -R 777 /tmp

[root@kris ~]# cd /
[root@kris /]# ll

可以看到
drwxrwxrwt. 27 root root 4096 1月 11 08:26 tmp

在mysql的安装文件目录下执行：

rpm -ivh MySQL-client-5.5.54-1.linux2.6.x86_64.rpm
rpm -ivh MySQL-server-5.5.54-1.linux2.6.x86_64.rpm

在把它拖到opt目录下安装
[root@kris /]# cd /opt

查看MySQL安装版本

可以执行 mysqladmin --version命令，类似java -version如果打出消息，即为成功。

通过vim 查看 mysql用户和mysql组

在mysql首次登录前要给 root 账号设置密码
[root@kris opt]# cd
[root@kris ~]# service mysql start
启动服务后，执行命令 
[root@kris ~]# mysqladmin -u root password '123456'

然后通过 mysql -uroot -p123123进行登录
[root@kris ~]# mysql -uroot -p123456

在linux下查看安装目录 ps -ef | grep mysql

自启动mysql服务器，

修改字符集

1 查看字符集
show variables like 'character%'; 
show variables like '%char%';
看看出现的结果：

默认的服务器用了latin1，所以会乱码。

2 修改my-huge.cnf

在/usr/share/mysql/ 中找到my-huge.cnf的配置文件，
拷贝其中的my-huge.cnf 到 /etc/ 并命名为my.cnf   （cp my-huge.cnf /etc/my.cnf）
然后修改my.cnf:
[client]
default-character-set=utf8
[mysqld]
character_set_server=utf8
character_set_client=utf8
collation-server=utf8_general_ci
[mysql]
default-character-set=utf8

3、重新启动mysql
service mysql restart
查看原库的字符集：show create database mydb
但是原库的设定不会发生变化，参数修改之对新建的数据库生效

4、已生成的库表字符集如何变更
修改数据库的字符集
mysql> alter database mydb character set 'utf8';
修改数据表的字符集
mysql> alter table mytbl convert to character set 'utf8';

但是原有的数据如果是用非'utf8'编码的话，数据本身不会发生改变。

通过工具远程访问

1、先 ping 一下数据库服务器的ip 地址确认网络畅通。

2、关闭数据库服务的防火墙
service iptables stop

3、 确认Mysql中已经有可以通过远程登录的账户
select * from mysql.user where user='root' and host='%';

如果没有用户,先执行如下命令：
grant all privileges on *.* to root@'%' identified by '123123';

4、测试连接：

Mysql的一些杂项配置

MySQL的sql_mode合理设置
sql_mode是个很容易被忽视的变量，默认值是空值，在这种设置下是可以允许一些非法操作的，比如允许一些非法数据的插入。在生产环境必须将这个值设置为严格模式，所以开发、测试环境的数据库也必须要设置，这样在开发测试阶段就可以发现问题。

mysql> SHOW  VARIABLES LIKE 'sql_mode';
+---------------+-------+
| Variable_name | Value |
+---------------+-------+
| sql_mode      |       |
+---------------+-------+
1 row in set (0.00 sec)

sql_mode常用值如下： 
set sql_mode='ONLY_FULL_GROUP_BY';

ONLY_FULL_GROUP_BY：
对于GROUP BY聚合操作，如果在SELECT中的列，没有在GROUP BY中出现，那么这个SQL是不合法的，因为列不在GROUP BY从句中

Mysql逻辑架构介绍

和其它数据库相比，MySQL有点与众不同，它的架构可以在多种不同场景中应用并发挥良好作用。主要体现在存储引擎的架构上，
插件式的存储引擎架构将查询处理和其它的系统任务以及数据的存储提取相分离。这种架构可以根据业务的需求和实际需要选择合适的存储引擎。

1.连接层
最上层是一些客户端和连接服务，包含本地sock通信和大多数基于客户端/服务端工具实现的类似于tcp/ip的通信。主要完成一些类似于连接处理、授权认证、及相关的安全方案。在该层上引入了线程池的概念，为通过认证安全接入的客户端提供线程。同样在该层上可以实现基于SSL的安全链接。服务器也会为安全接入的每个客户端验证它所具有的操作权限。

2.服务层

2.1 Management Serveices & Utilities： 系统管理和控制工具 
2.2 SQL Interface: SQL接口
接受用户的SQL命令，并且返回用户需要查询的结果。比如select from就是调用SQL Interface
2.3 Parser: 解析器
SQL命令传递到解析器的时候会被解析器验证和解析。 
2.4 Optimizer: 查询优化器。
SQL语句在查询之前会使用查询优化器对查询进行优化。 
用一个例子就可以理解： select uid,name from user where gender= 1;
优化器来决定先投影还是先过滤。

2.5 Cache和Buffer： 查询缓存。
如果查询缓存有命中的查询结果，查询语句就可以直接去查询缓存中取数据。
这个缓存机制是由一系列小缓存组成的。比如表缓存，记录缓存，key缓存，权限缓存等

3.引擎层
存储引擎层，存储引擎真正的负责了MySQL中数据的存储和提取，服务器通过API与存储引擎进行通信。不同的存储引擎具有的功能不同，这样我们可以根据自己的实际需要进行选取。后面介绍MyISAM和InnoDB

4.存储层
数据存储层，主要是将数据存储在运行于裸设备的文件系统之上，并完成与存储引擎的交互。

利用show profile 查看sql的执行周期

先开启 show variables  like '%profiling%';  （先查看是否开启了）
set profiling=1;  （开启）

select * from xxx ;

show profiles;     #显示最近的几次查询

show profile cpu,block io for query Query_ID  #查看程序的执行步骤

查询流程图：
首先，mysql的查询流程大致是：
mysql客户端通过协议与mysql服务器建连接，发送查询语句，先检查查询缓存，如果命中，直接返回结果，否则进行语句解析,也就是说，在解析查询之前，服务器会先访问查询缓存(query cache)——它存储SELECT语句以及相应的查询结果集。如果某个查询结果已经位于缓存中，服务器就不会再对查询进行解析、优化、以及执行。它仅仅将缓存中的结果返回给用户即可，这将大大提高系统的性能。

语法解析器和预处理：首先mysql通过关键字将SQL语句进行解析，并生成一颗对应的“解析树”。mysql解析器将使用mysql语法规则验证和解析查询；预处理器则根据一些mysql规则进一步检查解析数是否合法。

查询优化器当解析树被认为是合法的了，并且由优化器将其转化成执行计划。一条查询可以有很多种执行方式，最后都返回相同的结果。优化器的作用就是找到这其中最好的执行计划。

然后，mysql默认使用的BTREE索引，并且一个大致方向是:无论怎么折腾sql，至少在目前来说，mysql最多只用到表中的一个索引。

SQL执行顺序

手写：

随着Mysql版本的更新换代，其优化器也在不断的升级，优化器会分析不同执行顺序产生的性能消耗不同而动态调整执行顺序。
下面是经常出现的查询顺序：

随着Mysql版本的更新换代，其优化器也在不断的升级，优化器会分析不同执行顺序产生的性能消耗不同而动态调整执行顺序。
下面是经常出现的查询顺序：

Mysql存储引擎

如何用命令查看
  #看你的mysql现在已提供什么存储引擎:
  mysql> show engines;

#看你的mysql当前默认的存储引擎:
  mysql> show variables like '%storage_engine%';

1、InnoDB存储引擎
InnoDB是MySQL的默认事务型引擎，它被设计用来处理大量的短期(short-lived)事务。除非有非常特别的原因需要使用其他的存储引擎，否则应该优先考虑InnoDB引擎。

2、MyISAM存储引擎
MyISAM提供了大量的特性，包括全文索引、压缩、空间函数(GIS)等，但MyISAM不支持事务和行级锁，有一个毫无疑问的缺陷就是崩溃后无法安全恢复。

3、Archive引擎
Archive档案存储引擎只支持INSERT和SELECT操作，在MySQL5.1之前不支持索引。
Archive表适合日志和数据采集类应用。
根据英文的测试结论来看，Archive表比MyISAM表要小大约75%，比支持事务处理的InnoDB表小大约83%。

4、Blackhole引擎
Blackhole引擎没有实现任何存储机制，它会丢弃所有插入的数据，不做任何保存。但服务器会记录Blackhole表的日志，所以可以用于复制数据到备库，或者简单地记录到日志。但这种应用方式会碰到很多问题，因此并不推荐。 

5、CSV引擎
CSV引擎可以将普通的CSV文件作为MySQL的表来处理，但不支持索引。
CSV引擎可以作为一种数据交换的机制，非常有用。
CSV存储的数据直接可以在操作系统里，用文本编辑器，或者excel读取。

6、Memory引擎
如果需要快速地访问数据，并且这些数据不会被修改，重启以后丢失也没有关系，那么使用Memory表是非常有用。Memory表至少比MyISAM表要快一个数量级。

7、Federated引擎
Federated引擎是访问其他MySQL服务器的一个代理，尽管该引擎看起来提供了一种很好的跨服务器的灵活性，但也经常带来问题，因此默认是禁用的。
 

区别：

对比项    　　　　MyISAM                          InnoDB
外键            不支持                            支持
事务            不支持                            支持
行表锁         表锁，即使操作一条记录也会锁住
              整个表，不适合高并发的操作。        行锁,操作时只锁某一行，不对其它行有影响，适合高并发的操作

缓存    　　　　只缓存索引，不缓存真实数据          不仅缓存索引还要缓存真实数据，对内存要求较高，而且内存大小对性能有决定性的影响
关注点         节省资源、消耗少、简单业务          并发写、事务、更大资源

默认安装          Y                                   Y
默认使用          N                                   Y
自带系统表使用     Y                                   N
            

索引优化分析

性能下降SQL慢 执行时间长 等待时间长

数据过多（分库分表）、关联了太多的表，太多join（SQL优化）、没有充分利用到索引（索引建立）、服务器调优及各个参数设置（调整my.cnf）

7种join