MySQL5.7,MySQL8 pfs,sys库使用

MySQL5.7中performance和sys schema中的监控参数解释

在MySQL5.7中，performance schema有很大改进，包括引入大量新加入的监控项、降低占用空间和负载，以及通过新的sys schema机制显著提升易用性。
下面通过本文给大家介绍 MySQL5.7中 performance和sys schema中的监控参数解释,需要的朋友可以参考下

 

1、performance schema：介绍
在MySQL5.7中，performance schema有很大改进，包括引入大量新加入的监控项、降低占用空间和负载，以及通过新的sys schema机制显著提升易用性。

用于记录运行过程中的性能、资源、wait事件等信息。I_S主要记录metadata，而PFS用于观测数据库运行情况。

5.7起，PFS默认启动，采用专门的performance_schema存储引擎

可以动态调整监测点(instruments)

PFS下的表主要有以下几类

PFS自身设置相关setup_*%，可修改，且立即生效

事件语句相关events_statements_%

事件等待相关events_waits_%

事件阶段记录相关events_stages_%

事务事件相关events_transactions_%

文件系统层调用相关file_%

内存监视相关memory_summary_%

启用事件阶段记录功能

update setup_instruments set enabled='YES' where name like 'stage/innodb/alter%';

update setup_consumers set enabled='YES' where name like '%stage%';

对大表进行DDL后，可以查看进展

select event_name,work_completed,work_estimated from events_stages_current;

select event_name,work_completed,work_estimated from events_stages_history;

启用MDL监控

update setup_instruments set enabled='YES' where name like '%wait/lock/metadata/sql/mdl%';

启用表锁监控

update setup_instruments set enabled='YES' where name like '%wait/io/table/sql/handler%';

监控TOP SQL

update setup_instruments set enabled='YES' where name like '%statement/sql/select%';
在监控方面，performance schema有如下功能：
①：元数据锁：
对于了解会话之间元数据锁的依赖关系至关重要。从MySQL5.7.3开始，就可以通过metadata_locks表来了解元数据锁的相关信息；
--哪些会话拥有哪些元数据锁
--哪些会话正在等待元数据锁
--哪些请求由于死锁被杀掉，或者锁等待超时而被放弃
②：进度跟踪：
跟踪长时间操作的进度（比如alter table），从MySQL5.7.7开始，performance schema自动提供了语句进度信息。我们可以通过events_stages_current表来查看当前事件的进度信息；
③：事务：
监控服务层和存储引擎层事务的全部方面。从MySQL5.7.3开始，新增了 events_transactions_current表，可以通过setup_consumers、setup_instruments表打开事务监控，
通过该表查询到当前事务的状态。如果线上数据库遇到undo log大量增长、数据库性能急剧下降的情况，可以通过该表查询当前是否存在处于未提交状态的事务。
如果发现的确有大量事务的state处于active，这时可以确定数据库有大量的事务未提交；
④：内存使用：
提供内存使用信息统计，有利于了解和调整服务器的内存消耗。从MySQL5.7.2开始，performance schema新增内存有关的统计信息，分别从账户、访问主机、线程、
用户及事件的角度统计了内存的使用过程；
⑤：存储程序：
存储过程、存储方法、事件调度器和表触发器的检测器。在MySQL5.7中的setup_objects表中，新增了event、function、procedure、trigger的检测器。
performance schema用于检测该表中匹配object_schema和object_name的对象；

 

MySQL 5.7引入了sys schema，有了它，我们排查分析一些问题时将更得心应手。sys schema里主要存储的是视图、存储过程、函数等。
视图：用于结果的汇总展示及配置持久化；
存储过程：用于对Performance schema的控制及收集；
函数：对于Performance schema的配置及数据格式化。

 

2、sys schema介绍：
 在MySQL5.7中新增的sys schema。是由一系列对象（视图、存储过程、存储方法、表和触发器）组成的schema，它本身不采集和存储什么信息，而是将performance_schema 和 information_schema中的数据以更容易理解的方式总结出来归纳为“视图”。

x$开头的，这种是适合工具采集数据，原始类数据

sys_开头的是schema配置表
---sys schema可用于典型的调优和诊断用例，这些对象包括如下三个：
①：将性能模式数据汇总到更容易理解的视图；
②：诸如性能模式配置和生成诊断报告等操作的存储过程
③：用于查询性能模式配置并提供格式化服务的存储函数
---sys schema在查询中的功能，可以查看数据库服务资源的使用情况？哪些主机对数据库服务器的访问量最大？实例上的内存使用情况？

 

3、sys schema里面的表的分类：
①：主机相关信息：
   以host_summary开头的视图，主要汇总了IO延迟的信息，从主机、文件事件类型、语句类型等角度展示文件IO的信息；
②：innodb相关信息：
   以innodb开头的视图，汇总了innodb buffer page信息和事务等待innodb锁信息；
③：IO使用情况：
   以IO开头的视图，总结了IO使用者的信息，包括等待IO的情况、IO使用量情况，从各个角度分组展示；
④：内存使用情况：
   以memory开头的视图，从主机、线程、用户、事件角度展示内存使用情况；
⑤：连接与会话信息：
   其中，processlist 和 session相关的视图，总结了会话相关的信息；
⑥：表相关信息：
   以schema_table开头的视图，从全表扫描、innodb缓冲池等方面展示了表统计信息；
⑦：索引信息：
   其中包含index的视图，统计了索引使用的情况，以及重复索引和未使用的索引情况；
⑧：语句相关信息：
   以statement开头的视图，统计的规范化后的语句使用情况，包括错误数、警告数、执行全表扫描的、使用临时表、执行排序等信息；
⑨：用户相关信息：
   以user开头的视图，统计了用户使用的文件IO，执行的语句统计信息等；
⑨：等待事件相关信息：
   以wait开头的视图，从主机和事件角度展示等待类事件的延迟情况；

 

 

1、sys schema数据来源
sys schema的数据主要源自performance_schema。其目标是把查询performance_schema的复杂度降低，让DBA能更好地利用这个库里的数据，更快地了解MySQL的运行情况。

 

2、查看sys库的版本
mysql> select * from sys.version;
+--------------+-----------------+
| sys_version  | mysql_version   |
+--------------+-----------------+
| 1.5.1        | 5.7.17-log      |
+--------------+-----------------+

 

3、sys schema里都有什么
英文字母开头的，这种是适合人类常规阅读，显示结果是格式化后的数据，比如host_summary：
(root@localhost) [sys]> select * from host_summary\G
*************************** 1. row ***************************
                  host: localhost
            statements: 5
     statement_latency: 15.13 ms
 statement_avg_latency: 3.03 ms
           table_scans: 1
              file_ios: 23
       file_io_latency: 5.44 ms
   current_connections: 1
     total_connections: 1
          unique_users: 1
        current_memory: 0 bytes
total_memory_allocated: 0 bytes
1 row in set (0.05 sec)

"x$"开头的，这种是适合工具采集数据，原始类数据，比如x$host_summary：
(root@localhost) [sys]> select * from x$host_summary\G
*************************** 1. row ***************************
                  host: localhost
            statements: 44
     statement_latency: 65672764000
 statement_avg_latency: 1492562818.1818
           table_scans: 2
              file_ios: 23
       file_io_latency: 5440757616
   current_connections: 1
     total_connections: 1
          unique_users: 1
        current_memory: 0
total_memory_allocated: 0
1 row in set (0.02 sec)

接下来看看sys schem可以支持查询哪些数据：
(root@localhost) [(none)]> select substring_index(table_name,"_",1),count(*) from information_schema.tables where table_schema='sys' and table_name not like 'x$%' group by substring_index(table_name,"_",1);
+-----------------------------------+----------+
| substring_index(table_name,"_",1) | count(*) |
+-----------------------------------+----------+
| host                              |        6 |
| innodb                            |        3 |
| io                                |        5 |
| latest                            |        1 |
| memory                            |        5 |
| metrics                           |        1 |
| processlist                       |        1 |
| ps                                |        1 |
| schema                            |        9 |
| session                           |        2 |
| statement                         |        1 |
| statements                        |        5 |
| sys                               |        1 |
| user                              |        6 |
| version                           |        1 |
| wait                              |        2 |
| waits                             |        3 |
+-----------------------------------+----------+
17 rows in set (0.00 sec)

 

4、sys schema详细介绍
视图名称  作用
"host"开头  以IP分组相关的统计信息
"innodb"开头  innodb buffer及row lock相关信息
"io"开头  数据内不同维度展的IO相关的信息
"memory"开头  以IP，连接，用户，分配的类型分组及总的占用显示内存的使用
"metrics"开头  DB的内部的统计值
"processlist"开头 线程相关的信息(包含内部线程及用户连接）
"ps_"开头  没有工具统计的一些变量（没看出来存在的价值）
"schema"开头  表结构相关的信息，例如： 自增，索引， 表里的每个字段类型，等待的锁等等
"session"开头  用户连接相关的信息
"statement"开头  基于语句的统计信息（重点）
"statements"开头 出错的语句，进行全表扫描， 运行时间超长，排序相等（重点）

5、常用应用
哪个用户或者来自哪个IP的客户端使用了最多的资源；
数据库连接来自哪里，以及这些连接对数据库的请求情况是怎样的；
数据库中哪些SQL被频繁执行；
哪个文件产生了最多的IO，读多，还是写的多；
哪个表上的IO请求最多；
哪个表被访问的最多；
哪些语句延迟比较严重；
哪些SQL语句使用了临时表，又有哪些用到了磁盘临时表；
哪个表占用了最多的buffer pool；
每个库（database）占用多少buffer pool；
每个连接分配多少内存；
MySQL内部有多个线程在运行；
其他...

6、基本视图介绍
host_summary视图
字段名    意义
host    从哪个客户机上连过来。如果是NULL，表示内部的进程
statements   该客户机共执行了多少语句
statement_latency                    该客户机发来等待语句执行的时间
statement_avg_latency  该客户机等待语句执行的平均时间
table_scans   该客户机发生全表扫描的次数
file_ios    该客户机上IO事件请求的次数
file_io_latency   该客户机请求等待IO的时间
current_connections   该客户机当前的连接数
total_connections   该客户机连接DB共有多少次
unique_user   该客户机上有几个不同用户名的帐户连接过来
current_memory   该客户机上当前连接占用的内存
total_memory_allocated  该客户机上的请求总共使用的内存量（历史累计值）

io_global_by_file_by_bytes视图
file    被操作的文件名
count_read   总共有多少次读
total_read    总共读了多少字节
avg_read    平均每次读的字节数
count_write   总共有多少次写
total_written   总共写了多少字节
avg_write    平均每次写的字节大小
total    读和写总共的IO大小
write_pct    写请求占总IO请求中的百分比（就是通常所说的读写比）

user_summary视图
user    客户端连接过来的用户名，如果是NULL，表示内部进程
statements   该用户执行了多少SQL
statement_latency   该用户执行SQL的总延迟时间
statement_avg_latency  该用户执行SQL的平均延迟时间
table_scans   该用户执行SQL时发生全表扫描的次数
file_ios    该用户发生的IO请求总量
file_io_latency   该用户发生的IO请求总延迟时间
current_connections   该用户当前的连接
total_connections   该用户总的连接数
unique_hosts   该用户从几个不同客户机连接过来
current_memory   该用户当前占用的内存
total_memory_allocated  该用户总共申请到的内存（历史累计值）

memory_global_total视图
total_allocated   Server总共分配出去的内存大小

memory_by_thread_by_current_bytes视图
thread_id    MySQL内部线程ID，可以和session视图中的thd_id关联
user    当前线程是哪个用户创建
current_count_used   当前线程正在使用且未释放的内存块（内存块不是固定大小的）
current_allocated   当前线程正在使用且未释放的内存块大小（字节）
current_avg_alloc   当前线程每个内存块平均分配内存大小（字节）
current_max_alloc   当前线程单次曾经分配的最多内存大小（字节）
total_allocated   当前线程总共分配的内存大小

statement_analysis视图
query    格式化后的SQL（将SQL中的参数替换成？）
db    在哪个DB中执行，如果为NULL表示在任何DB
full_scan    是否使用了全表扫描
exec_count   该SQL被执行的总次数
err_count    发生错误的次数
warn_count   发生警告的次数
total_latency   总共发生延迟的时间
max_latency   最大延迟的时间
avg_latency   平均延迟的时间
lock_latency   因锁等待占用的总时间
rows_sent    执行该SQL返回的总行数
rows_sent_avg   执行该SQL平均返回的行数
rows_examined   执行该SQL扫描的总行数
rows_examined_avg   执行该SQL平均每次扫描的行数
tmp_tables   该SQL生成内存临时表的总次数
tmp_disk_tables   该SQL生成磁盘文件临时表的总次数
rows_sorted   该SQL总共排序的行数
sort_merge_passes   用于排序中合并的总次数
digest    该语句的HASH值
first_seen    该SQL最早出现的时间
last_seen    该SQL最近出现的时间

processlist视图
thd_id    内部线程ID
conn_id    连接的ID（对应show processlist中的"Id"列）
user    该线程创建的用户名
db    连接的DB，如果是NULL表示后台线程
command    Client发起命令的类型提示
state    命令的状态
time    基于上面state停留的时间
current_statement   该线程执行的语句
statement_latency   语句运行总共占用时间
progress    该语句运行完成的百分比
lock_latency   该语句用于锁等待的时间
rows_examined   该语句扫描的行数
rows_send   该语句返回的行数
rows_affected   该语句影响到的行数(写入语句)
tmp_tables   形成内存临时表的次数
tmp_disk_tables   形成磁盘临时表的次数
full_scan    全表描扫的次数
last_statement   上一条被执行的SQL
last_statement_latency  上一条被执行的SQL时延
current_memory   当前线程占用的内存
last_wait    上一次等待事件
last_wait_latency   上一次等待时间时延
source    上一次等待事件对应的源码位置
trx_latency   事务时延
trx_state    当前事务状态
pid    对应到系统里的pid
program_name   连接进来的标识名

session视图
session视图和processlist视图基本一样，只是把后台线程过滤掉。

innodb_buffer_stats_by_schema视图
object_schema   schema名
allocated    该schema上分配的buffer pool大小（字节）
data    该schema中缓存的数据大小（字节）
pages    该schema中缓存的data page数
pages_hashed   该schema中分配了多少hashed page
pages_old   该schema中的old page数量
rows_cached   该schema中缓存的row data数量

innodb_buffer_stats_by_table视图
和innodb_buffer_stats_by_schema基本一致，只是比上面那个视图多了一个ojbect_name用于指定表名。

 

7、sys schema运用
哪个用户或者来自哪个IP的客户端使用了最多的资源
select * from host_summary limit 1\G;

查看某个数据文件上发生了多少IO请求
select * from io_global_by_file_by_bytes limit 1\G;

查看哪个用户消耗了多少资源
select * from user_summary limit 1\G;

查看总共分配了多少内存
select * from memory_global_total;

数据库中哪个SQL被频繁执行
select db,exec_count,query from statement_analysis order by exec_count desc limit 10;

哪个文件产生了最多的IO，读多，还是写的多
select * from io_global_by_file_by_bytes limit 10;

哪个表上的IO请求最多
select * from io_global_by_file_by_bytes where file like '%ibd' order by total desc limit 10;

哪个表被访问的最多
先访问statement_analysis，根据热门SQL排序找到相应的数据表。

哪些语句延迟比较严重
查看 statement_analysis 中 avg_latency的最高的SQL：
select * from statement_analysis order by avg_latency desc limit 10;

哪些SQL语句使用了临时表，又有哪些用到了磁盘临时表
查看 statement_analysis 中哪个SQL的 tmp_tables 、tmp_disk_tables  值大于0即可：
select db, query, tmp_tables, tmp_disk_tables  from statement_analysis where tmp_tables>0 or tmp_disk_tables >0 order by (tmp_tables+tmp_disk_tables) desc limit 20;

哪个表占用了最多的buffer pool
select * from innodb_buffer_stats_by_table order by allocated desc limit 10;

每个库（database）占用多少buffer pool
select * from innodb_buffer_stats_by_schema order by allocated desc limit 10;

每个连接分配多少内存
利用session表和memory_by_thread_by_current_bytes分配表进行关联查询：
select b.user, current_count_used, current_allocated, current_avg_alloc, current_max_alloc, total_allocated,current_statement from memory_by_thread_by_current_bytes a, session b where a.thread_id = b.thd_id;

---查看表的访问量：(可以监控每张表访问量的情况，或者监控某个库的访问量的变化)
select table_schema,table_name,sum(io_read_requests+io_write_requests) from schema_table_statistics;
select table_schema,table_name,io_read_requests+io_write_requests as io_total from schema_table_statistics;
---冗余索引和未使用索引的检查：（schema_redundant_indexes和schema_unused_indexes查看索引的情况）
select * from sys.schema_redundant_indexes\G
select * from sys.schema_unused_indexes;
(如果有冗余索引和长期未使用的索引，应该及时清理，)
---查看表自增ID使用情况：
select * from schema_auto_increment_columns\G
(可以使用schema_auto_increment_columns视图，就能很简单的查到每个表的自增量使用情况，甚至可以精确到某个表的自增量情况)
---监控全表扫描的sql语句：
select * from sys.statements_with_full_table_scans where db='test2'\G
(使用statements_with_full_table_scans视图可以查看哪些表查询使用了全表扫描，其中exec_count是执行的次数，等信息)
---查看实例消耗的磁盘I/O情况：()
select file,avg_read+avg_write as avg_io from io_global_by_file_by_bytes order by avg_io desc limit 10;
(查看io_global_by_file_by_bytes视图可以检查磁盘I/O消耗过大的原因，定位问题)

 

一、用户、连接、线程类

1、查看每个客户端IP过来的连接消耗资源情况

2、查看每个用户消耗资源情况

3、查看当前连接情况

4、查看正在执行的SQL

5.、查看当前的内部线程活动

二、TOP SQL/IO

1、查看TOP IO

2、查看TOP SQL

3、查看IO中TOP Read/Write

三、buffer pool、内存

1、查看总共分配了多少内存

2、每个库(database)占用多少buffer pool

3、统计InnoDB引擎的InnoDB缓存

4、统计每张表具体在InnoDB中具体的情况

5、查询每个连接分配了多少内存

四、字段、索引、锁

1、查看表自增字段最大值和当前值

2、MySQL索引使用情况统计

3、MySQL中有哪些冗余索引和无用索引

4、查看InnoDB锁信息

5、查看库级别的锁信息，这个需要先打开MDL锁的监控