日志记录:MySQL系列之十一
一、SQL命令历史
~/.mysql_history
记录了在mysql中执行的命令历史
二、事务日志
transaction log:事务型存储引擎自行管理和使用
在一个事务提交后还没有存到磁盘的情况下会记录到事务日志,这个时候如果系统断电,再次开机后会自动将已提交的事务重做(redo log)写入磁盘;如果事务还没有提交的情况下断电重启后会执行撤销操作(undo log)
相关变量
MariaDB [school]> SHOW VARIABLES LIKE 'innodb_log%';
+---------------------------+------------+
| Variable_name | Value |
+---------------------------+------------+
| innodb_log_block_size | 512 | -- 块大小
| innodb_log_buffer_size | 8388608 | -- 缓存大小
| innodb_log_file_size | 1073741824 | -- 每个日志文件大小
| innodb_log_files_in_group | 3 | -- 日志组成员个数,也就是有几个文件
| innodb_log_group_home_dir | ./ | -- 事务文件路径,相对于数据目录
+---------------------------+------------+
innodb_log_file_size默认大小为5M,innodb_log_files_in_group个数默认2个;强烈建议调大这俩个值;
如果事务操作的数据大于事务日志文件总大小,在执行ROLLBACK时:可以撤销,但是数据文件会被占用,需要使用OPTIMIZE TABLE命令来释放数据空间;
使用TRUNCATE删除表记录可以缩小占用空间,DELETE命令不会释放磁盘空间,如果需要释放需要使用OPTIMIZE命令从新整理碎片来释放空间。
注意:修改innodb_log_file_size时需要先删除原来的日志文件
三、错误日志
错误日志中记录项目:
- mysqld启动和关闭过程中输出的事件信息
- mysqld运行中产生的错误信息
- event scheduler运行一个event时产生的日志信息
- 在主从复制架构中的从服务器上启动从服务器线程时产生的信息
相关变量
MariaDB [school]> SHOW GLOBAL VARIABLES LIKE 'log_error'; #错误日志文件的路径
+---------------+------------------------------+
| Variable_name | Value |
+---------------+------------------------------+
| log_error | /var/log/mariadb/mariadb.log |
+---------------+------------------------------+
log_warnings=1|0
默认值1(是):是否记录警告信息至错误日志文件
四、查询日志
记录用户的操作日志,一般不建议启用
MariaDB [school]> SHOW VARIABLES LIKE 'general_log%';
+------------------+-------------+
| Variable_name | Value |
+------------------+-------------+
| general_log | OFF | -- 开启关闭通用日志,默认关闭
| general_log_file | centos7.log | -- 通用日志文件的文件名,/var/lib/mysql/HOSTNAME.log
+------------------+-------------+
MariaDB [school]> SHOW VARIABLES LIKE 'log_output';
+---------------+-------+
| Variable_name | Value |
+---------------+-------+
| log_output | FILE | -- 以什么方式存放日志,(TABLE|FILE|NONE)
+---------------+-------+
mysql.general_log:表存放查询日志,前提是以表方式存放的
五、慢查询日志
记录执行查询时长超出指定时长的操作
1、慢查询相关变量
MariaDB [school]> SHOW VARIABLES LIKE 'slow_query%';
+---------------------+------------------+
| Variable_name | Value |
+---------------------+------------------+
| slow_query_log | OFF | -- 开启或关闭慢查询日志
| slow_query_log_file | centos7-slow.log | -- 慢查询日志文件
+---------------------+------------------+
MariaDB [school]> SHOW VARIABLES LIKE 'long_query_time';
+-----------------+-----------+
| Variable_name | Value |
+-----------------+-----------+
| long_query_time | 10.000000 | -- 慢查询的阀值,单位秒,查询时间超过10则记录到慢查询日志
+-----------------+-----------+
MariaDB [school]> SHOW VARIABLES LIKE 'log_slow%';
+---------------------+-------+
| Variable_name | Value |
+---------------------+-------+
| log_slow_rate_limit | 1 | -- 多少次查询才记录,mariadb特有
| log_slow_verbosity | | -- 记录内容的详细程度(Query_plan,explain)
+---------------------+-------+
MariaDB [school]> SHOW VARIABLES LIKE 'log_queries_not_using_indexes';
+-------------------------------+-------+
| Variable_name | Value |
+-------------------------------+-------+
| log_queries_not_using_indexes | OFF | -- 记录没有利用索引查询,而使用全文扫描的语句;默认关闭,建议开启
+-------------------------------+-------+
log_slow_filter :根据查询结果过滤
- admin
- filesort
- filesort_on_disk
- full_join
- full_scan
- query_cache
- query_cache_miss
- tmp_table
- tmp_table_on_disk
2、补充:利用 profiling
跟踪查询语句所用的详细时间
MariaDB [school]> SHOW VARIABLES LIKE 'profiling';
+---------------+-------+
| Variable_name | Value |
+---------------+-------+
| profiling | OFF | -- 开启或关闭,默认关闭
+---------------+-------+
MariaDB [school]> SET profiling=ON; #开启查询语句跟踪功能
MariaDB [school]> SHOW profiles; #查询语句执行的时间列表
+----------+------------+------------------------------------------------------------+
| Query_ID | Duration | Query |
+----------+------------+------------------------------------------------------------+
| 1 | 0.00024497 | SELECT * FROM students |
| 2 | 0.00038528 | SELECT stuid,name,age FROM students WHERE stuid = 2 |
+----------+------------+------------------------------------------------------------+
MariaDB [school]> SHOW profile FOR query 2; #查询指定编号的SQL语句的详细执行过程
+----------------------+----------+
| Status | Duration |
+----------------------+----------+
| starting | 0.000035 |
| Opening tables | 0.000003 |
| After opening tables | 0.000006 |
| query end | 0.000003 |
| closing tables | 0.000002 |
| freeing items | 0.000011 |
| updating status | 0.000006 |
| cleaning up | 0.000001 |
+----------------------+----------+
六、二进制日志
记录已提交事务导致数据改变或潜在导致数据改变的SQL语句,通过“重放”日志文件中的事件来生成数据副本,不依赖存储引擎类型。
开启二进制日志,默认是关闭的,二进制日志和数据分开存放
开启记录二进制文件的功能:在my.cnf的[mysqld]下加入log_bin[=/path/somefile]
默认二进制日志在数据库目录下,mariadb-bin.000001
为二进制日志数据文件,mariadb-bin.index
为二进制日志索引文件
1、记录二进制日志的三种方式:
- 基于语句的记录方式,每一条改变数据的语句记录为一条语句,节省空间,系统默认为此模式,但是不推荐使用,会有隐藏的风险
- 基于行的记录方式,每一行的改变都会将使其改变的语句记录为一条语句,日志量会很大,但是对数据的安全保护非常高
- 混合模式:mixed, 让系统自行判定该基于哪种方式进行
MariaDB [(none)]> SHOW VARIABLES LIKE 'binlog_format';
+---------------+-----------+
| Variable_name | Value |
+---------------+-----------+
| binlog_format | STATEMENT | -- 记录方式,系统默认基于语句方式
+---------------+-----------+
SET binlog_format='ROW|STATEMENT|MIXED'; -- 修改二进制日志记录方式
2、二进制日志的相关变量
MariaDB [(none)]> SHOW MASTER|BINARY LOGS; -- 查看mariadb自行管理使用中的二进制日志文件列表
+--------------------+-----------+
| Log_name | File_size |
+--------------------+-----------+
| mariadb-bin.000002 | 290 |
| mariadb-bin.000003 | 264 |
| mariadb-bin.000004 | 529038 |
| mariadb-bin.000005 | 245 |
+--------------------+-----------+
MariaDB [(none)]> SHOW MASTER STATUS; -- 查看使用中的二进制日志文件
+--------------------+----------+--------------+------------------+
| File | Position | Binlog_Do_DB | Binlog_Ignore_DB |
+--------------------+----------+--------------+------------------+
| mariadb-bin.000005 | 245 | | |
+--------------------+----------+--------------+------------------+
MariaDB [(none)]> SHOW BINLOG EVENTS IN 'mariadb-bin.000004' FROM 1 LIMIT 2,3\G -- 查看二进制文件中的指定内容
MariaDB [(none)]> SHOW VARIABLES LIKE 'sql_log_bin'; -- 是否记录二进制日志,默认ON
MariaDB [(none)]> SHOW VARIABLES LIKE 'log_bin'; -- 指定文件位置;默认OFF,表示不启用二进制日志功能,上述两项都开启才可
MariaDB [(none)]> SHOW VARIABLES LIKE 'max_binlog_size';
+-----------------+------------+
| Variable_name | Value |
+-----------------+------------+
| max_binlog_size | 1073741824 | -- 单个二进制日志文件的最大体积,到达最大值会自动滚动,默认为1G
+-----------------+------------+
MariaDB [(none)]> SHOW VARIABLES LIKE 'sync_binlog';
+---------------+-------+
| Variable_name | Value |
+---------------+-------+
| sync_binlog | 0 | -- 设定是否启动二进制日志即时同步磁盘功能,默认0,由操作系统负责同步日志到磁盘
+---------------+-------+
MariaDB [(none)]> SHOW VARIABLES LIKE 'expire_logs_days';
+------------------+-------+
| Variable_name | Value |
+------------------+-------+
| expire_logs_days | 0 | -- 二进制日志可以自动删除的天数。 默认为0,即不自动删除
+------------------+-------+
3、mysqlbinlog命令
二进制日志的客户端命令工具
- --start-position=# 指定开始位置
- --stop-position=# 指定结束位置
- --start-datetime=(YYYY-MM-DD hh:mm:ss) 指定开始时间
- --stop-datetime=(YYYY-MM-DD hh:mm:ss) 指定结束时间
- --base64-output=decode-row
- -v |-vv |-vvv |-vvvv 显示详细信息
[root@centos7 mysql]# mysqlbinlog --start-position=528864 --stop-position=529019 mariadb-bin.000004 --base64-output=decode-row -v
# at 528864
#180611 20:59:46 server id 1 end_log_pos 528992 Query thread_id=29 exec_time=0 error_code=0
use `school`/*!*/;
SET TIMESTAMP=1528721986/*!*/;
INSERT students(StuID,Name,Age,Gender) VALUES (26,'Tom',22,'M') #改变数据的SQL语句
/*!*/;
事件发生的日期和时间:180611 20:59:46
事件发生的服务器标识:server id 1
事件的结束位置:end_log_pos 528992
事件的类型:Query
事件发生时所在服务器执行此事件的线程的ID:thread_id=29
语句的时间戳与将其写入二进制文件中的时间差:exec_time=0
错误代码:error_code=0
事件内容:
GTID:Global Transaction ID,mysql5.6以mariadb10以上版本专属属性:GTID
使用
mysqlbinlog mariadb-bin.000001 > file.sql
命令重定向到SQL文件中,再使用mysql -uroot -p < file.sql
命令可以直接导入数据,实现了备份还原的功能
4、二进制日志的管理
MariaDB [(none)]> PURGE BINARY LOGS TO 'mariadb.000002'; -- 删除到02,注意:02不删除
MariaDB [(none)]> PURGE BINARY LOGS BEFORE '2018-01-23'; -- 删除2018-01-23之前的日志
MariaDB [(none)]> PURGE BINARY LOGS BEFORE '2017-03-22 09:25:30';
MariaDB [(none)]> RESET MASTER; -- 删除所有二进制日志,index文件重新记数
MariaDB [(none)]> FLUSH LOGS; -- 手动触发日志滚动
七、中继日志
relay log :主从复制架构中,从服务器用于保存从主服务器的二进制日志中读取到的事件
日志记录:MySQL系列之十一的更多相关文章
- Mysql系列(十一)—— 性能分析慢查询日志
转载自:http://www.cnblogs.com/kerrycode/p/5593204.html 慢查询日志概念 MySQL的慢查询日志是MySQL提供的一种日志记录,它用来记录在MySQL中响 ...
- Mysql系列(十一)—— 性能分析其他常用监控
show status show status可以查询显示出当前mysql server的状态信息.该语句不需要任何权限. 对于show status可以时用like子句,模糊检索需要的状态信息.如: ...
- 基于SqlSugar的开发框架循序渐进介绍(8)-- 在基类函数封装实现用户操作日志记录
在我们对数据进行重要修改调整的时候,往往需要跟踪记录好用户操作日志.一般来说,如对重要表记录的插入.修改.删除都需要记录下来,由于用户操作日志会带来一定的额外消耗,因此我们通过配置的方式来决定记录那些 ...
- 第十一篇 Integration Services:日志记录
本篇文章是Integration Services系列的第十一篇,详细内容请参考原文. 简介在前一篇,我们讨论了事件行为.我们分享了操纵事件冒泡默认行为的方法,介绍了父子模式.在这一篇,我们会配置SS ...
- 【译】第十一篇 Integration Services:日志记录
本篇文章是Integration Services系列的第十一篇,详细内容请参考原文. 简介在前一篇,我们讨论了事件行为.我们分享了操纵事件冒泡默认行为的方法,介绍了父子模式.在这一篇,我们会配置SS ...
- 第十一篇:Mysql系列
Python开发基础之路 第十一篇:Mysql系列 Python-数据库 基本SQL语句 Python-数据类型 主键auto_increment Python-多表关联 外键 级联 Python-s ...
- Net Core平台灵活简单的日志记录框架NLog+Mysql组合初体验
Net Core平台灵活简单的日志记录框架NLog初体验 前几天分享的"[Net Core集成Exceptionless分布式日志功能以及全局异常过滤][https://www.cnblog ...
- MySQL系列详解三:MySQL中各类日志详解-技术流ken
前言 日志文件记录了MySQL数据库的各种类型的活动,MySQL数据库中常见的日志文件有 查询日志,慢查询日志,错误日志,二进制日志,中继日志 .下面分别对他们进行介绍. 查询日志 1.查看查询日志变 ...
- Atitit mysql 存储过程捕获所有异常,以及日志记录异常信息
Atitit mysql 存储过程捕获所有异常,以及日志记录异常信息 1.1. 异常的处理模式exit continue undo模式 1 1.2. 捕获所有异常使用 DECLARE ...
随机推荐
- codeforces 632B B. Alice, Bob, Two Teams(暴力)
B. Alice, Bob, Two Teams time limit per test 1.5 seconds memory limit per test 256 megabytes input s ...
- 关于android 图片加载优化
android应用对图片处理算是比较频繁的了,尤其是在程序加载大量图片和高分辨率图片时,最容易产生oom异常,下面是个人平时一些省内存加载方法 方法一: public Bitmap decodeFil ...
- 第K大子集-LH
题解:搜索+二分 对于每个数有选与不选两种情况.然后我们先搜前一半的状态,每个数选还是不选. 有2^17种,然后我将每种状态拍一个序先存着.然后我再搜后一半的状态,2^18种. 假设后一半某一种情况的 ...
- android获取时间差的方法
本文实例讲述了android获取时间差的方法.分享给大家供大家参考.具体分析如下: 有些时候我们需要获取当前时间和某个时间之间的时间差,这时如何获取呢? 1. 引用如下命名空间: import jav ...
- windows 创建和调用 动态库,静态库
windows创建和调用静态库 // MathFuncsLib.h namespace MathFuncs { class MyMathFuncs { public: // Returns a + b ...
- SQL 时间及字符串操作
都是一些很基础很常用的,在这里记录一下 获取年月日: year(时间) ---获取年,2014 month(时间) ----获取月,5 day(时间) -----获取天,6 如果月份或日期不足两位数, ...
- Java进阶之美文共享
2.在Java中如何避免"!=null"式的判空语句? 3.Java问答:终极父类(3) Java问答:终极父类(下) Java问答:终极父类(上) 内存不足:杀死进程还是牺牲 ...
- 关于SCANF 与 GETS(C语言)
SCANF遇到空格会自动停止录入字符串,而GETS不会,GETS可以用于输入带空格的字符串
- [原创]SQL表值函数:获取从当月计算起往前自定义月份数
今天我现在发现看一篇博文不能够太长,只要能够描述清楚自己想表达的东西,能够让大家知道你要讲什么就行了.因为我今天看了一些长篇博文,真的觉得知识点太多了, 会让人囫囵吞枣. 这篇博文跟我昨天发表的类 ...
- 看下面代码输出结果Java
编译错误 在调用子类构造器之前,会先调用父类构造器,当子类构造器中没有使用"super(参数或无参数)"指定调用父类构造器时,是默认调用父类的无参构造器,如果父类中包含有参构造器, ...