MySQL 日志的类型

日志文件对于一个服务器来说是非常重要的，它记录着服务器的运行信息，许多操作都会写日到日志文件，通过日志文件可以监视服务器的运行状态及查看服务器的性能，还能对服务器进行排错与故障处理，MySQl中有六种不同类型的日志。

日志类型
1、错误日志：记录启动、运行或停止时出现的问题，一般也会记录警告信息。
2、一般查询日志：记录建立的客户端连接和执行的语句。
3、慢查询日志：记录所有执行时间超过long_query_time秒的所有查询或不使用索引的查询，可以帮我们定位服务器性能问题。
4、二进制日志：任何引起或可能引起数据库变化的操作，主要用于复制和即时点恢复。
5、中继日志：从主服务器的二进制日志文件中复制而来的事件，并保存为的日志文件,与二进制日志几乎相同。
6、事务日志：记录InnoDB等支持事务的存储引擎执行事务时产生的日志,随机I/O转换为顺序I/O，一般在两个文件存储，一个存满了就换另外一个存。

默认情况下，MySQL只会启动错误日志文件，其他日志文件需要手动启动才可以被启动。使用日志有优点也有缺点，启动日志后，虽然可以实现对MySQL服务器进行维护，但是会降低MySQL软件的执行速度，对于繁忙的服务器建议慎重开启，比如查询日志。

进入mysql查看一下当前mysql服务所有的日志开启状态等信息：

show global variables like '%log%';

MySQL中日志相关常用的服务器变量说明：
expire_logs_days={0..99}
设定二进制日志的过期天数，超出此天数的二进制日志文件将被自动删除。默认为0，表示不启用过期自动删除功能。如果启用此功能，自动删除工作通常发生在MySQL启动时或FLUSH日志时。作用范围为全局，可用于配置文件，属动态变量。
general_log={ON|OFF}
设定是否启用查询日志，默认值为取决于在启动mysqld时是否使用了–general_log选项。如若启用此项，其输出位置则由–log_output选项进行定义，如果log_output的值设定为NONE，即使用启用查询日志，其也不会记录任何日志信息。作用范围为全局，可用于配置文件，属动态变量。
general_log_file=FILE_NAME
查询日志的日志文件名称，默认为“hostname.log”。作用范围为全局，可用于配置文件，属动态变量。
binlog-format={ROW|STATEMENT|MIXED}
指定二进制日志的类型，默认为STATEMENT，建议更改为MIXED。如果设定了二进制日志的格式，却没有启用二进制日志，则MySQL启动时会产生警告日志信息并记录于错误日志中。作用范围为全局或会话，可用于配置文件，且属于动态变量。
log={YES|NO}
是否启用记录所有语句的日志信息于一般查询日志(general query log)中，默认通常为OFF。MySQL 5.6已经弃用此选项。
log-bin={YES|NO}
是否启用二进制日志，如果为mysqld设定了–log-bin选项，则其值为ON，否则则为OFF。其仅用于显示是否启用了二进制日志，并不反应log-bin的设定值。作用范围为全局级别，属非动态变量。
log_bin_trust_function_creators={TRUE|FALSE}
此参数仅在启用二进制日志时有效，用于控制创建存储函数时如果会导致不安全的事件记录二进制日志条件下是否禁止创建存储函数。默认值为0，表示除非用户除了CREATE ROUTING或ALTER ROUTINE权限外还有SUPER权限，否则将禁止创建或修改存储函数，同时，还要求在创建函数时必需为之使用DETERMINISTIC属性，再不然就是附带READS SQL DATA或NO SQL属性。设置其值为1时则不启用这些限制。作用范围为全局级别，可用于配置文件，属动态变量。
log_error=/PATH/TO/ERROR_LOG_FILENAME
定义错误日志文件。作用范围为全局或会话级别，可用于配置文件，属非动态变量。
log_output={TABLE|FILE|NONE}
定义一般查询日志和慢查询日志的保存方式，可以是TABLE、FILE、NONE，也可以是TABLE及FILE的组合(用逗号隔开)，默认为TABLE。如果组合中出现了NONE，那么其它设定都将失效，同时，无论是否启用日志功能，也不会记录任何相关的日志信息。作用范围为全局级别，可用于配置文件，属动态变量。
log_query_not_using_indexes={ON|OFF}
设定是否将没有使用索引的查询操作记录到慢查询日志。作用范围为全局级别，可用于配置文件，属动态变量。
log_slave_updates
用于设定复制场景中的从服务器是否将从主服务器收到的更新操作记录进本机的二进制日志中。本参数设定的生效需要在从服务器上启用二进制日志功能。
log_slow_queries={YES|NO}
是否记录慢查询日志。慢查询是指查询的执行时间超出long_query_time参数所设定时长的事件。MySQL 5.6将此参数修改为了slow_query_log。作用范围为全局级别，可用于配置文件，属动态变量。
log_warnings=#
设定是否将警告信息记录进错误日志。默认设定为1，表示启用；可以将其设置为0以禁用；而其值为大于1的数值时表示将新发起连接时产生的“失败的连接”和“拒绝访问”类的错误信息也记录进错误日志。
long_query_time=#
设定区别慢查询与一般查询的语句执行时间长度。这里的语句执行时长为实际的执行时间，而非在CPU上的执行时长，因此，负载较重的服务器上更容易产生慢查询。其最小值为0，默认值为10，单位是秒钟。它也支持毫秒级的解析度。作用范围为全局或会话级别，可用于配置文件，属动态变量。
max_binlog_cache_size{4096 .. 18446744073709547520}
二进定日志缓存空间大小，5.5.9及以后的版本仅应用于事务缓存，其上限由max_binlog_stmt_cache_size决定。作用范围为全局级别，可用于配置文件，属动态变量。
max_binlog_size={4096 .. 1073741824}
设定二进制日志文件上限，单位为字节，最小值为4K，最大值为1G，默认为1G。某事务所产生的日志信息只能写入一个二进制日志文件，因此，实际上的二进制日志文件可能大于这个指定的上限。作用范围为全局级别，可用于配置文件，属动态变量。
max_relay_log_size={4096..1073741824}
设定从服务器上中继日志的体积上限，到达此限度时其会自动进行中继日志滚动。此参数值为0时，mysqld将使用max_binlog_size参数同时为二进制日志和中继日志设定日志文件体积上限。作用范围为全局级别，可用于配置文件，属动态变量。
innodb_log_buffer_size={262144 .. 4294967295}
设定InnoDB用于辅助完成日志文件写操作的日志缓冲区大小，单位是字节，默认为8MB。较大的事务可以借助于更大的日志缓冲区来避免在事务完成之前将日志缓冲区的数据写入日志文件，以减少I/O操作进而提升系统性能。因此，在有着较大事务的应用场景中，建议为此变量设定一个更大的值。作用范围为全局级别，可用于选项文件，属非动态变量。
innodb_log_file_size={108576 .. 4294967295}
设定日志组中每个日志文件的大小，单位是字节，默认值是5MB。较为明智的取值范围是从1MB到缓存池体积的1/n，其中n表示日志组中日志文件的个数。日志文件越大，在缓存池中需要执行的检查点刷写操作就越少，这意味着所需的I/O操作也就越少，然而这也会导致较慢的故障恢复速度。作用范围为全局级别，可用于选项文件，属非动态变量。
innodb_log_files_in_group={2 .. 100}
设定日志组中日志文件的个数。InnoDB以循环的方式使用这些日志文件。默认值为2。作用范围为全局级别，可用于选项文件，属非动态变量。
innodb_log_group_home_dir=/PATH/TO/DIR
设定InnoDB重做日志文件的存储目录。在缺省使用InnoDB日志相关的所有变量时，其默认会在数据目录中创建两个大小为5MB的名为ib_logfile0和ib_logfile1的日志文件。作用范围为全局级别，可用于选项文件，属非动态变量。
innodb_support_xa={TRUE|FLASE}
存储引擎事务在存储引擎内部被赋予了ACID属性，分布式(XA)事务是一种高层次的事务，它利用“准备”然后“提交”(prepare-then-commit)两段式的方式将ACID属性扩展到存储引擎外部，甚至是数据库外部。然而，“准备”阶段会导致额外的磁盘刷写操作。XA需要事务协调员，它会通知所有的参与者准备提交事务(阶段1)。当协调员从所有参与者那里收到“就绪”信息时，它会指示所有参与者进行真正的“提交”操作。
此变量正是用于定义InnoDB是否支持两段式提交的分布式事务，默认为启用。事实上，所有启用了二进制日志的并支持多个线程同时向二进制日志写入数据的MySQL服务器都需要启用分布式事务，否则，多个线程对二进制日志的写入操作可能会以与原始次序不同的方式完成，这将会在基于二进制日志的恢复操作中或者是从服务器上创建出不同原始数据的结果。因此，除了仅有一个线程可以改变数据以外的其它应用场景都不应该禁用此功能。而在仅有一个线程可以修改数据的应用中，禁用此功能是安全的并可以提升InnoDB表的性能。作用范围为全局和会话级别，可用于选项文件，属动态变量。
relay_log=file_name
设定中继日志的文件名称，默认为host_name-relay-bin。也可以使用绝对路径，以指定非数据目录来存储中继日志。作用范围为全局级别，可用于选项文件，属非动态变量。
relay_log_index=file_name
设定中继日志的索引文件名，默认为为数据目录中的host_name-relay-bin.index。作用范围为全局级别，可用于选项文件，属非动态变量。
relay-log-info-file=file_name
设定中继服务用于记录中继信息的文件，默认为数据目录中的relay-log.info。作用范围为全局级别，可用于选项文件，属非动态变量。
relay_log_purge={ON|OFF}
设定对不再需要的中继日志是否自动进行清理。默认值为ON。作用范围为全局级别，可用于选项文件，属动态变量。
relay_log_space_limit=#
设定用于存储所有中继日志文件的可用空间大小。默认为0，表示不限定。最大值取决于系统平台位数。作用范围为全局级别，可用于选项文件，属非动态变量。
slow_query_log={ON|OFF}
设定是否启用慢查询日志。0或OFF表示禁用，1或ON表示启用。日志信息的输出位置取决于log_output变量的定义，如果其值为NONE，则即便slow_query_log为ON，也不会记录任何慢查询信息。作用范围为全局级别，可用于选项文件，属动态变量。
slow_query_log_file=/PATH/TO/SOMEFILE
设定慢查询日志文件的名称。默认为hostname-slow.log，但可以通过–slow_query_log_file选项修改。作用范围为全局级别，可用于选项文件，属动态变量。
sql_log_bin={ON|OFF}
用于控制二进制日志信息是否记录进日志文件。默认为ON，表示启用记录功能。用户可以在会话级别修改此变量的值，但其必须具有SUPER权限。作用范围为全局和会话级别，属动态变量。
sql_log_off={ON|OFF}
用于控制是否禁止将一般查询日志类信息记录进查询日志文件。默认为OFF，表示不禁止记录功能。用户可以在会话级别修改此变量的值，但其必须具有SUPER权限。作用范围为全局和会话级别，属动态变量。
sync_binlog=#
设定多久同步一次二进制日志至磁盘文件中，0表示不同步，任何正数值都表示对二进制每多少次写操作之后同步一次。当autocommit的值为1时，每条语句的执行都会引起二进制日志同步，否则，每个事务的提交会引起二进制日志同步。 建议设置为1。

查询指定日志信息，统一使用show global variables like (参数名称)

错误日志（默认启用）：

服务器启动和关闭过程中的信息；

服务器运行过程中的错误信息；

事件调度器运行一个事件时产生的信息；

在复制架构中从服务器上启动从服务器线程时产生的信息；

参数设定：

log_error = /path/to/error_log_file # 定义错误日志文件
log_warnnings = {1|0} # 是否记录警告信息于错误日志中

一般查询日志（默认关闭）

参数设定：

log={ON|OFF} # 是否记录所有语句的日志信息于一般查询日志文件（general_log）中；
log_output={TABLE | FILE | NONE} # 定义log保存形式，none表示不保存日志；table和file可以同时出现，用逗号分隔即可；
general_log={ON|OFF} # 是否启动查询日志；
general_log_file # 定义一般查询日志保存的文件；

慢查询日志（默认关闭）

long_query_time # 定义慢查询的时长；
slow_query_log {ON|OFF} # 全局参数，设定是否启用慢查询日志；它的输出位置也取决于log_output的值；
slow_query_log_file # 定义日志文件路径及名称；
log_slow_filter # 慢查询日志过滤类型；
log_slow_queries # 是否启用慢查询日志，会话级别的；
log_rate_limit=1 # 定义其日志记录速率；
log_slow_verbosity # 是否记录详细格式的日志信息；

二进制日志

1、做时间点恢复，要想从哪个时间点恢复我们可以手动调的，所以这是一个备份恢复的重要工具；

2、mysql主从复制架构中使用；

因为我们的MySQL数据是单进程多线程的工作机制，所以他可以同时发起很多们修改的语句，但是我们服务器使用的日志只有一个，那如果同时进行的多个线程 的请求都同时往日志文件中写数据，日志文件就成了资源热点，也叫资源征用点，那就会混乱不堪，为了解决这种问题，这里，当我们的线程要往二进制日志文件中 写数据的时候，它不是直接写到日志文件中去，还是统一写到日志缓冲区中，由日志缓冲区逐一写入日志文件中去，然而我们的日志文件对于一个很繁忙的服务器来 讲，每天都会产生很大的数据量，如果所有的二进制日志数据都写在一个日志文件中，那管理起来就特点的不方便了，也很不合理，如是日志文件丢失，那所有的日 志数据信息都丢失了，不应该这么做，那我们就有日志滚动的机制了，二进制日志我们可以自己定义，有两种定义日志滚致力的方法，一种是按大小来定义的，比如 说我们定义一个日志文件的大小为1G，那他存储一了大概1G左右就会滚动，使用下一个日志来存放二进制日志数据；另一种可以按时间来定义的，比如说一周滚 动一次，或者说一个月，一天滚动一次都可以；或者每次重启服务时或者执行FLUSH LOGS命令时都会滚动一次日志。

SHOW BINARY LOGS;查看当前系统上所有的的二进制日志文件，其实就是数据目录下mysql-bin.index文件中的信息，这个文件就是保存已经滚动过的日志文件的条目

SHOW MASTER STATUS;可以查看当前服务器正在使用的二进制日志文件以及下一下个事件开始时基于的位置Position，如果当前使用的是00004，那么00001、2、3将不会再被使用，因为已经被滚动过去了。

PURGE;   清除日志文件的命令,不建议rf 命令

show binlog events in 'mysql-bin.000001';   #查看二进制文件中记录的内容

show binlog events in 'mysql-bin.000001' from 106;   #也可以从某个位置查看二进制文件

purge binary logs to 'mysql-bin.000001';  #删除某个序号之前的日志文件

二进制日志格式：

statement：基于语句

缺陷：执行带时间函数的语句时，会导致主从服务器执行结果不一致；

如 insert into tb1 value (current_date());

row：基于行

缺陷：批量更新操作将导致从服务器进行更多的操作 update tb2 set salary=salary+1000;

mixed：混合模式，由MySQL自行判断选择适合的方式基于语句或基于行记录日志;

设定参数：

og_bin = {ON|OFF|FileName} # 全局变量，控制二进制文件位置
log_bin_trust_function_creators # 全局变量，仅在启用二进制日志时有效，用于控制创建存储函数时如果会导致不安全的事件是否禁止创建存储函数
sql_log_bin = {ON|OFF} # 会话级别，用于控制二进制日志信息是否记录进日志文件
sync_binlog # 设定多久同步一次二进制日志至磁盘文件中，0表示不同步，任何正数值都表示对二进制每多少次写操作之后同步一次；
binlog_format={statement|row|mixed} # 指定二进制日志的类型
max_binlog_cache_size= # 二进制日志缓冲空间大小，仅用于缓冲事务类的语句, 其上限由max_binlog_stmt_cache_size决定
max_binlog_size= # 二进制日志文件大小上限，单位字节，默认大小1G
注：切勿将二进制日志与数据文件放在同一磁盘上，减少磁盘I/O，另外在磁盘损坏的情况下可以保证日志不丢失，恢复数据。

中继日志

它其实跟复制相关的，与二进制日志几乎相同，只不过它不是用于记录事件的，而是作为读取数据的源并且在本地执行的，当然中继日志是在从服务器上。

SHOW GLOBAL VARIABLES LIKE '%relay%';查看中继日志的相关参数信息

relay_log=file_name # 设定中继日志的文件名称
relay_log_index=file_name # 设定中继日志的索引文件名，默认为为数据目录中的host_name-relay-bin.index
relay_log_purge={ON|OFF} # 是否自动清理不再需要的中继日志
relay_log_space_limit= # 设定用于存储所有中继日志文件的可用空间大小，0表示不限制
relay_log_recovery：跟中继日志自动恢复相关的
relay_log={空}：是否启用中继日志的

事务日志（默认开启）

show global variables like 'innodb_flush_log_at_trx_commit';

事务日志

暂存事务提交的数据，实现将随机I/O转换成顺序I/O；

事务数据提交流程：innodb_buffer-->事务日志-->数据文件；

事务日志文件组，至少应该有2个日志文件，一般保存在数据目录下，为ib_logfile0和ib_logfile1；

注意事项

尽可能使用小事务以提升事务引擎的性能；因为事务越大，回滚开销越大；

崩溃恢复：将提交的事务从事务日志中同步至数据文件，将未提交的事务执行回滚操作，以保证数据一致性；

避免磁盘故障导致事务文件丢失：对事务日志所在的磁盘做数据镜像；

事务日志文件和数据文件应分离存放：防止对同一磁盘过于频繁的I/O操作；