MySQL的备份和还原

MySQL的备份和还原

备份：副本
    RAID1，RAID10：保证硬件损坏而不会业务中止；
        DROP TABLE mydb.tb1;

备份类型：
        热备份、温备份和冷备份（根据服务器是否在线）
            热备份：读、写不受影响；
            温备份：仅可以执行读操作；
            冷备份：离线备份；读、写操作均中止；

物理备份和逻辑备份（根据直接cp或者把文件导出）
            物理备份：复制数据文件；
            逻辑备份：将数据导出至文本文件中；

完全备份、增量备份和差异备份；
            完全备份：备份全部数据；
            增量备份：仅备份上次完全备份或增量备份以后变化的数据；
            差异备份：仅备份上次完全备份以来变化的数据；

在线：物理完全备份

还原：

备份什么：
            数据、配置文件、二进制日志、事务日志

热备份：
    MyISAM: 温备份
    InnoDB: xtrabackup, mysqldump

MySQL --> 从：

物理备份：速度快
逻辑备份：速度慢、丢失浮点数精度；方便使用文本处理工具直接对其处理、可移植能力强；

备份策略：完全+增量；完全+差异
    
MySQL备份工具：
mysqldump: 逻辑备份工具、MyISAM(温)、InnoDB(热备份)
mysqlhotcopy：物理备份工具、温备份

文件系统工具：
cp：冷备
lv: 逻辑卷的快照功能，几乎热备；
    mysql> FLUSH TABLES;
    mysql> LOCK TABLES

创建快照：释放锁，而后复制数据

InnoDB:

第三组工具：
    ibbackup: 商业工具
    xtrabackup: 开源工具

mysqldump: 逻辑备份
    mysqldump（完全备份）+ 二进制日志  锁表：flush tables with read lock 滚动二进制日志：flush logs
    完全+增量：

备份单个数据库，或库中特定表
    mysqldump DB_NAME [tb1] [tb2]   不包含创建数据库的命令，还原时候必须指定数据库，也可以只备份单张表

--master-data={0|1|2}
    0: 不记录二进制日志文件及路位置；
    1：以CHNAGE MASTER TO的方式记录位置，可用于恢复后直接启动从服务器；
    2：以CHANGE MASTER TO的方式记录位置，但默认为被注释；

--lock-all-tables：锁定所有表

--flush-logs: 执行日志flush；

如果指定库中的表类型均为InnoDB，可使用--single-transaction启动热备，不用再使用lock和flush；

备份多个库：
    --all-databases: 备份所有库，保存创建库的命令
    --databases DB_NAME,DB_NAME,...: 备份指定库，保存创建库的命令

--events：备份事件调度器
    --routines：备份存储过程和函数的
    --triggers：备份触发器
    
以下备份保留创建数据库：
 mysqldump -uroot -p --lock-all-tables --flush-logs --all-databases --master-data=2 > /root/all.sql

备份策略：每周完全+每日增量
    完全备份：mysqldump
    增量备份：备份二进制日志文件(flush logs)

手动模拟：
    mysqldump -uroot -p --master-data=2 --flush-logs --all-databases --lock-all-tables > /root/alldatabases.sql
    
    第一天全量备份之后，添加删除数据，
    第二天做增量备份：flush logs
    mysqlbinlog mysql-bin.000006 > /root/mon-increamental.sql
    增加删除数据，而后数据库数据全没了，但二进制文件依然保留
    还原数据：
    （1）如果data目录文件都没了，初始化库后启动mysqld [关掉二进制日志 set sql_log_bin=0]
    （2）还原全库 mysql -uroot -p < alldatabases.sql
    （3）还原第一天增量备份 mysql -uroot -p < mon-increamental.sql
    （4）还原当天的数据 mysqlbinlog mysql-bin.000007 | mysql -uroot -p  [set sql_log_bin=1]
    做成脚本，一个是全量，一个是增量

逻辑备份：
    1、浮点数据丢失精度；
    2、备份出的数据更占用存储空间；压缩后可大大节省空间；
    3、不适合对大数据库做完全备份；

对InnoDB:
    mysql> FLUSH TABLES WITH READ LOCK;

MVCC, REPEATABLE-READ
    --single-transaction

备份：
    SELECT * INTO OUTFILE '/path/to/somefile.txt' FROM tb_name [WHERE clause];

还原：
    LOAD DATA INFILE '/path/to/somefile.txt' INTO TABLE tb_name;

几乎热备：LVM
    snapshot:

前提：
        1、数据文件要在逻辑卷上；
        2、此逻辑卷所在卷组必须有足够空间使用快照卷；
        3、数据文件和事务日志要在同一个逻辑卷上；

步骤：
        1、打开会话，施加读锁，锁定所有表；
            mysql> FLUSH TABLES WITH READ LOCK;
            mysql> FLUSH LOGS;
        2、通过另一个终端，保存二进制日志文件及相关位置信息；
            $ mysql -uroot -p -e 'SHOW MASTER STATUS\G' > /path/to/master.info
        3、创建快照卷
            # lvcreate -L # -s -p r -n LV_NAME /path/to/source_lv
        4、释放锁
            mysql> UNLOCK TABLES;
        5、挂载快照卷，备份
            mount
            cp
        6、删除快照卷；
        7、增量备份二进制日志；

二进制日志相关的几个选项：

innodb_support_xa={TRUE|FLASE}
存储引擎事务在存储引擎内部被赋予了ACID属性，分布式(XA)事务是一种高层次的事务，它利用“准备”然后“提交”(prepare-then-commit)两段式的方式将ACID属性扩展到存储引擎外部，甚至是数据库外部。然而，“准备”阶段会导致额外的磁盘刷写操作。XA需要事务协调员，它会通知所有的参与者准备提交事务(阶段1)。当协调员从所有参与者那里收到“就绪”信息时，它会指示所有参与者进行真正的“提交”操作。
此变量正是用于定义InnoDB是否支持两段式提交的分布式事务，默认为启用。事实上，所有启用了二进制日志的并支持多个线程同时向二进制日志写入数据的MySQL服务器都需要启用分布式事务，否则，多个线程对二进制日志的写入操作可能会以与原始次序不同的方式完成，这将会在基于二进制日志的恢复操作中或者是从服务器上创建出不同原始数据的结果。因此，除了仅有一个线程可以改变数据以外的其它应用场景都不应该禁用此功能。而在仅有一个线程可以修改数据的应用中，禁用此功能是安全的并可以提升InnoDB表的性能。作用范围为全局和会话级别，可用于选项文件，属动态变量。

sync_binlog = 1

mysql> LOCK TABLES mydb.tb1 READ, mydb.tb2 READ, ...
mysql> FLUSH TABLES mydb.tb1, mydb.tb2, ...

mysq> SET SQL_LOG_BIN=0;
mysql> SOURCE somefile.sql;
mysql> SET SQL_LOG_BIN=1;

percona:
    ibbackup: InnoDB online physical backup
        full
        incremental
    MyISAM: warm backup, full

$5000

mysqldump

LVM --> mylvmbackup(perl scripts)

percona:
    xtrabackup
        xtradb: innodb的增强版
        innodb

xtrabackup+二进制日志；

mysql:

二进制日志
事务日志
错误日志
一般查询日志
中继日志
慢查询日志

二进制日志：
    数据目录
    mysql-bin.XXXXXX
        滚动：达到最大上限，flush logs，服务器重启
        mysql> PURGE

二进制日志的格式：
        statement
        row
        mixed

mysql-bin.index: 二进制日志文件索引文件

mysql> SHOW MASTER STATUS;
    mysql> SHOW BINARY LOGS;
    mysql> SHOW BINLOG EVENTS IN "file";

event:
        timestamp
        position, offset，OPERATION, server-id

即时点还原：
    MySQL: tx1

MySQL隔离级别：
        READ-UNCOMMITTED
        READ-COMMITTED
        REPEATABLE-READ
        SERIALIZABLE

expire_logs_days={0..99}
设定二进制日志的过期天数，超出此天数的二进制日志文件将被自动删除。默认为0，表示不启用过期自动删除功能。如果启用此功能，自动删除工作通常发生在MySQL启动时或FLUSH日志时。作用范围为全局，可用于配置文件，属动态变量。

general_log={ON|OFF}
设定是否启用查询日志，默认值为取决于在启动mysqld时是否使用了--general_log选项。如若启用此项，其输出位置则由--log_output选项进行定义，如果log_output的值设定为NONE，即使用启用查询日志，其也不会记录任何日志信息。作用范围为全局，可用于配置文件，属动态变量。
 
general_log_file=FILE_NAME
查询日志的日志文件名称，默认为“hostname.log"。作用范围为全局，可用于配置文件，属动态变量。

binlog-format={ROW|STATEMENT|MIXED}
指定二进制日志的类型，默认为STATEMENT。如果设定了二进制日志的格式，却没有启用二进制日志，则MySQL启动时会产生警告日志信息并记录于错误日志中。作用范围为全局或会话，可用于配置文件，且属于动态变量。

log={YES|NO}
是否启用记录所有语句的日志信息于一般查询日志(general query log)中，默认通常为OFF。MySQL 5.6已经弃用此选项。
 
log-bin={YES|NO}
是否启用二进制日志，如果为mysqld设定了--log-bin选项，则其值为ON，否则则为OFF。其仅用于显示是否启用了二进制日志，并不反应log-bin的设定值。作用范围为全局级别，属非动态变量。
 
log_bin_trust_function_creators={TRUE|FALSE}
此参数仅在启用二进制日志时有效，用于控制创建存储函数时如果会导致不安全的事件记录二进制日志条件下是否禁止创建存储函数。默认值为0，表示除非用户除了CREATE ROUTING或ALTER ROUTINE权限外还有SUPER权限，否则将禁止创建或修改存储函数，同时，还要求在创建函数时必需为之使用DETERMINISTIC属性，再不然就是附带READS SQL DATA或NO SQL属性。设置其值为1时则不启用这些限制。作用范围为全局级别，可用于配置文件，属动态变量。
 
log_error=/PATH/TO/ERROR_LOG_FILENAME
定义错误日志文件。作用范围为全局或会话级别，可用于配置文件，属非动态变量。
 
log_output={TABLE|FILE|NONE}
定义一般查询日志和慢查询日志的保存方式，可以是TABLE、FILE、NONE，也可以是TABLE及FILE的组合(用逗号隔开)，默认为TABLE。如果组合中出现了NONE，那么其它设定都将失效，同时，无论是否启用日志功能，也不会记录任何相关的日志信息。作用范围为全局级别，可用于配置文件，属动态变量。
 
log_query_not_using_indexes={ON|OFF}
设定是否将没有使用索引的查询操作记录到慢查询日志。作用范围为全局级别，可用于配置文件，属动态变量。
 
log_slave_updates
用于设定复制场景中的从服务器是否将从主服务器收到的更新操作记录进本机的二进制日志中。本参数设定的生效需要在从服务器上启用二进制日志功能。
 
log_slow_queries={YES|NO}
是否记录慢查询日志。慢查询是指查询的执行时间超出long_query_time参数所设定时长的事件。MySQL 5.6将此参数修改为了slow_query_log。作用范围为全局级别，可用于配置文件，属动态变量。
 
log_warnings=#
设定是否将警告信息记录进错误日志。默认设定为1，表示启用；可以将其设置为0以禁用；而其值为大于1的数值时表示将新发起连接时产生的“失败的连接”和“拒绝访问”类的错误信息也记录进错误日志。

long_query_time=#
设定区别慢查询与一般查询的语句执行时间长度。这里的语句执行时长为实际的执行时间，而非在CPU上的执行时长，因此，负载较重的服务器上更容易产生慢查询。其最小值为0，默认值为10，单位是秒钟。它也支持毫秒级的解析度。作用范围为全局或会话级别，可用于配置文件，属动态变量。

max_binlog_cache_size{4096 .. 18446744073709547520}
二进定日志缓存空间大小，5.5.9及以后的版本仅应用于事务缓存，其上限由max_binlog_stmt_cache_size决定。作用范围为全局级别，可用于配置文件，属动态变量。

max_binlog_size={4096 .. 1073741824}
设定二进制日志文件上限，单位为字节，最小值为4K，最大值为1G，默认为1G。某事务所产生的日志信息只能写入一个二进制日志文件，因此，实际上的二进制日志文件可能大于这个指定的上限。作用范围为全局级别，可用于配置文件，属动态变量。

max_relay_log_size={4096..1073741824}
设定从服务器上中继日志的体积上限，到达此限度时其会自动进行中继日志滚动。此参数值为0时，mysqld将使用max_binlog_size参数同时为二进制日志和中继日志设定日志文件体积上限。作用范围为全局级别，可用于配置文件，属动态变量。

innodb_log_buffer_size={262144 .. 4294967295}
设定InnoDB用于辅助完成日志文件写操作的日志缓冲区大小，单位是字节，默认为8MB。较大的事务可以借助于更大的日志缓冲区来避免在事务完成之前将日志缓冲区的数据写入日志文件，以减少I/O操作进而提升系统性能。因此，在有着较大事务的应用场景中，建议为此变量设定一个更大的值。作用范围为全局级别，可用于选项文件，属非动态变量。
 
innodb_log_file_size={108576 .. 4294967295}
设定日志组中每个日志文件的大小，单位是字节，默认值是5MB。较为明智的取值范围是从1MB到缓存池体积的1/n，其中n表示日志组中日志文件的个数。日志文件越大，在缓存池中需要执行的检查点刷写操作就越少，这意味着所需的I/O操作也就越少，然而这也会导致较慢的故障恢复速度。作用范围为全局级别，可用于选项文件，属非动态变量。
 
innodb_log_files_in_group={2 .. 100}
设定日志组中日志文件的个数。InnoDB以循环的方式使用这些日志文件。默认值为2。作用范围为全局级别，可用于选项文件，属非动态变量。
 
innodb_log_group_home_dir=/PATH/TO/DIR
设定InnoDB重做日志文件的存储目录。在缺省使用InnoDB日志相关的所有变量时，其默认会在数据目录中创建两个大小为5MB的名为ib_logfile0和ib_logfile1的日志文件。作用范围为全局级别，可用于选项文件，属非动态变量。

relay_log=file_name
设定中继日志的文件名称，默认为host_name-relay-bin。也可以使用绝对路径，以指定非数据目录来存储中继日志。作用范围为全局级别，可用于选项文件，属非动态变量。

relay_log_index=file_name
设定中继日志的索引文件名，默认为为数据目录中的host_name-relay-bin.index。作用范围为全局级别，可用于选项文件，属非动态变量。

relay-log-info-file=file_name
设定中继服务用于记录中继信息的文件，默认为数据目录中的relay-log.info。作用范围为全局级别，可用于选项文件，属非动态变量。

relay_log_purge={ON|OFF}
设定对不再需要的中继日志是否自动进行清理。默认值为ON。作用范围为全局级别，可用于选项文件，属动态变量。

relay_log_space_limit=#
设定用于存储所有中继日志文件的可用空间大小。默认为0，表示不限定。最大值取决于系统平台位数。作用范围为全局级别，可用于选项文件，属非动态变量。

slow_query_log={ON|OFF}
设定是否启用慢查询日志。0或OFF表示禁用，1或ON表示启用。日志信息的输出位置取决于log_output变量的定义，如果其值为NONE，则即便slow_query_log为ON，也不会记录任何慢查询信息。作用范围为全局级别，可用于选项文件，属动态变量。

slow_query_log_file=/PATH/TO/SOMEFILE
设定慢查询日志文件的名称。默认为hostname-slow.log，但可以通过--slow_query_log_file选项修改。作用范围为全局级别，可用于选项文件，属动态变量。

sql_log_bin={ON|OFF}
用于控制二进制日志信息是否记录进日志文件。默认为ON，表示启用记录功能。用户可以在会话级别修改此变量的值，但其必须具有SUPER权限。作用范围为全局和会话级别，属动态变量。

sql_log_off={ON|OFF}
用于控制是否禁止将一般查询日志类信息记录进查询日志文件。默认为OFF，表示不禁止记录功能。用户可以在会话级别修改此变量的值，但其必须具有SUPER权限。作用范围为全局和会话级别，属动态变量。

sync_binlog=#
设定多久同步一次二进制日志至磁盘文件中，0表示不同步，任何正数值都表示对二进制每多少次写操作之后同步一次。当autocommit的值为1时，每条语句的执行都会引起二进制日志同步，否则，每个事务的提交会引起二进制日志同步。