1. 简介

mysqlbinlog flashback(闪回)用于快速恢复由于误操作丢失的数据。在DBA误操作时,可以把数据库恢复到以前某个时间点(或者说某个binlog的某个pos)。比如忘了带where条件的update、delete操作,传统的恢复方式是利用全备+二进制日志前滚进行恢复,相比于传统的全备+增备,flashback显然更为快速、简单。

目前MySQL的flashback功能是利用binlog完成的,第一个实现该功能的是阿里云的彭立勋, 他在MySQL 5.5版本上就已实现,并将其提交给MariaDB。

2. 闪回原理

原理:flashback工具(-B 参数)可对rows格式的binlog可以进行逆向操作,delete反向生成insert、update生成反向的update、insert反向生成delete。

MySQL的binlog以event的形式,记录了MySQL中所有的变更情况,利用binlog我们就能够重现所记录的所有操作。

MySQL引入binlog主要有两个用途/目的:一是为了主从复制;二是用于备份恢复后需要重新应用部分binlog,从而达到全备+增备的效果。

MySQL的binlog有三种格式:

  • statement,基于SQL语句的模式,一般来说生成的binlog尺寸较小,但是某些不确定性SQL语句或函数在复制过程可能导致数据不一致甚至出错;
  • row,基于数据行的模式,记录的是数据行的完整变化。相对更安全,推荐使用(但通常生成的binlog会比其他两种模式大很多);
  • mixed,混合模式,可以根据情况自动选用statement抑或row模式;这个模式下也可能造成主从数据不一致。它属于MySQL 5.1版本时期的过渡方案,已不推荐使用了。

注意:使用mysqlbinlog flashback 工具必须设置:binlog_format = row

3. flashback安装

下载flashback工具 mysqlbinlog : https://pan.baidu.com/s/1c1Ub1x2,并将mysqlbinlog文件移至mysql安装路径的bin目录下(可备份原来的mysqlbinlog为mysqlbinlog_bak),执行mysqlbinlog --help命令,可能会报错(系统版本为 CentOS 6.4_x64):

[root@centos64-slave1 bin]# mysqlbinlog --help
mysqlbinlog: /usr/lib64/libstdc++.so.: version `GLIBCXX_3.4.15' not found (required by mysqlbinlog)

需要安装新版本的libstdc++.so.6,下载链接:https://pan.baidu.com/s/1gfIarCn

[root@centos64-slave1 ~]# cp libstdc++.so.6.0.  /usr/lib64/
[root@centos64-slave1 ~]# cd /usr/lib64/
[root@centos64-slave1 lib64]# mv libstdc++.so. libstdc++.so.6_bak
[root@centos64-slave1 lib64]# ln -s libstdc++.so.6.0. libstdc++.so.
[root@centos64-slave1 lib64]# ll libstdc*
lrwxrwxrwx root root 4月 : libstdc++.so. -> libstdc++.so.6.0.
-rwxr-xr-x. root root 7月 libstdc++.so.6.0.
-rw-r--r-- root root 4月 : libstdc++.so.6.0.
lrwxrwxrwx. root root 1月 : libstdc++.so.6_bak -> libstdc++.so.6.0.

安装完后执行mysqlbinlog --help,若报错:mysqlbinlog: /lib64/libc.so.6: version `GLIBC_2.14' not found (required by /usr/lib64/libstdc++.so.6),需要更新/lib64库文件。下载链接:https://pan.baidu.com/s/1kViGrIZ

# tar zxvf  glibc-2.14.tar.gz
# cd glibc-2.14
# mkdir build
# cd build
# ../configure --prefix=/opt/glibc-2.14
 ## 检查是否有问题。
# make ## (4核可加-j4 ,8核可加-j8)
# make install
# strings libc.so | grep GLIBC ## 这是我们需要的lib了,然后去更新系统的库
# cp libc.so /lib64/libc-2.14.so
# mv /lib64/libc.so. /lib64/libc.so.6_bak
# LD_PRELOAD=/lib64/libc-2.14.so ln -s /lib64/libc-2.14.so /lib64/libc.so.
# strings /lib64/libc.so. | grep GLIBC

安装完成后执行:

[root@centos64-slave1 ~]# mysqlbinlog -V
mysqlbinlog Ver 3.4-InnoSQL for Linux at x86_64
[root@centos64-slave1 ~]# mysqlbinlog --help |grep flashback
-B, --flashback Flashback data to start_postition or start_datetime.
-E, --fb-event=name only flashback this type of
flashback FALSE

发现mysqlbinlog版本已变为3.4-InnoSQL(之前的版本为3.4),且多了一个 -B 参数,此参数即用于实现flashback功能。到此,mysqlbinlog已安装完成!

4. ldconfig 解决依赖库

上面我们介绍过了直接替换 /lib64 的软连接来解决 mysqlbinlog 的依赖问题,但是这样做对于系统来说有一定的风险性,这里采用 ldconfig 解决。ldconfig 是一个动态链接库管理命令,其目的为了让动态链接库为系统所共享。

mysqlbinlog5. -V    #该命令已经集成到系统环境变量,可以直接调用
mysqlbinlog5.: /usr/lib64/libstdc++.so.: version `GLIBCXX_3.4.15' not found (required by mysqlbinlog5.7)

添加 MySQL的库环境到 ldconfig 配置文件:

echo "/data/mysql-5.7.21-linux-glibc2.12-x86_64/lib" >> /etc/ld.so.conf

然后把需要的库文件上传到  /data/mysql-5.7.21-linux-glibc2.12-x86_64/lib  目录下。

# chmod +x libc-2.14.so libstdc++.so.6.0.
# ldconfig  重载,系统会给库文件自动创建软连接
# mysqlbinlog5. -V
mysqlbinlog5.: /lib64/libc.so.: version `GLIBC_2.' not found (required by /data/dmx/mysql-5.7.21-linux-glibc2.12-x86_64/lib/libstdc++.so.6) 报错发生了变化,
echo $LD_LIBRARY_PATH
export LD_LIBRARY_PATH=/data/mysql-5.7.-linux-glibc2.-x86_64/lib
并将 LD_LIBRARY_PATH 写到 /etc/profile :
export LD_LIBRARY_PATH=/data//mysql-5.7.21-linux-glibc2.12-x86_64/lib
source /etc/profile
但是这个方法需要退出bash,重新登录,对于consul等一些监控程序不友好。

5. 使用简介

先创建一张表user,向user表中插入一条数据,查看binlog日志内容,可以找到刚才插入的记录:

# mysqlbinlog -vv mysql-bin.000004

### INSERT INTO `test`.`user`
### SET
### @= /* SHORTINT meta=0 nullable=1 is_null=0 */
### @='Stephen Curry' /* VARSTRING(80) meta=80 nullable=1 is_null=0 */

然后使用flashback工具(-B参数)查看binlog内容,可以找到刚才插入记录的逆向操作:

# mysqlbinlog -vv mysql-bin.000004 -B

### DELETE FROM `test`.`user`
### WHERE
### @= /* SHORTINT meta=0 nullable=1 is_null=0 */
### @='Stephen Curry' /* VARSTRING(80) meta=80 nullable=1 is_null=0 */

同理,delete操作将会被转换为insert,update被转换为反向的update;若在一个事务中既有insert、update、delete语句,通过使用-B参数后,不仅三种DML语句完成了逆向转换,并且语句顺序也会发生颠倒。

在binlog中找到误操作的pos变化区间后,使用mysqlbinlog -B 恢复:

# mysqlbinlog -B --start-position= --stop-position= mysql-bin. | mysql -uroot -p

 注意:MySQL5.7版本执行恢复时不能加 --base64-output=decode-rows 参数,-v 参数可以加,否则binlog中的语句不会被执行。

另外,如果遇到:ERROR 1782 (HY000) at line 13: @@SESSION.GTID_NEXT cannot be set to ANONYMOUS when @@GLOBAL.GTID_MODE = ON.

需要加上 --skip-gtids 参数, mysqlbinlog mysql-bin.001024 -B --start-position=908 --stop-position=1156 --skip-gtids | mysql

6. Flashback工具使用注意点

  • binlog日志格式必须是ROW格式:binlog_format = row ;
  • 一个事务中的DML语句不仅会逆向转换,并且语句顺序也会发生颠倒;
  • 只支持 insert、update、delete , 不支持drop 、truncate、alter等DDL语句。

美团点评又出了另一款闪回工具MyFlash,据说比 mysqlbinlog 具有更高效的闪回效果,项目地址:https://github.com/Meituan-Dianping/MyFlash

MySQL flashback 功能的更多相关文章

  1. MySQL Flashback 闪回功能详解

    1. 简介 mysqlbinlog flashback(闪回)用于快速恢复由于误操作丢失的数据.在DBA误操作时,可以把数据库恢复到以前某个时间点(或者说某个binlog的某个pos).比如忘了带wh ...

  2. MySQL Flashback 工具介绍

    MySQL Flashback 工具介绍 DML Flashback 独立工具,通过伪装成slave拉取binlog来进行处理 MyFlash 「大众点点评」 binlog2sql 「大众点评(上海) ...

  3. oracle flashback功能

    2). 检查Flashback 功能, 缺省时功能是关闭的. SQL> select name, current_scn, flashback_on from v$database; NAME  ...

  4. MySQL日志功能详解

    MySQL日志功能详解 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任. 一.查询日志 它是用来保存所有跟查询相关的日志,这种日志类型默认是关闭状态的,因为MySQL的用户有很多,如果 ...

  5. mysql分区功能(三个文件储存一张表)(分区作用)(分区方式)

    mysql分区功能(三个文件储存一张表)(分区作用)(分区方式) 一.总结 1.mysql数据表的存储方式(三个文件储存一张表): 一张表主要对应着三个文件,一个是frm存放表结构的,一个是myd存放 ...

  6. Ubuntu中开启MySQL远程访问功能,并将另一个数据库服务器中的数据迁移到新的服务器中

    一.开启MyS远程访问功能 1.进入服务器输入netstat -an | grep 3306确认3306是否对外开放,MySQL默认状态下是不对外开放访问功能的.输入以上命令之后如果端口没有被开放就会 ...

  7. 使用mysql profiling功能剖析单条查询

    5.1版本开始引入show profile剖析单条语句功能,支持show profiles和show profile语句,参数have_profiling;控制是否开启: 查看是否支持这个功能(查询为 ...

  8. PHP - PDO 之 mysql 事务功能

    <?php /* pdo 学习 */ $dsn = 'mysql:host=localhost;dbname=cswl';//构建连接dsn $db = new pdo($dsn,'root', ...

  9. mysql分区功能详细介绍,以及实例

    一,什么是数据库分区 前段时间写过一篇关于mysql分表的 的文章,下面来说一下什么是数据库分区,以mysql为例.mysql数据库中的数据是以文件的形势存在磁盘上的,默认放在/mysql/data下 ...

随机推荐

  1. 细谈sass和less中的变量及其作用域

    博客原文地址:Claiyre的个人博客 https://claiyre.github.io/ 博客园地址:http://www.cnblogs.com/nuannuan7362/ 如需转载,请在文章开 ...

  2. html5 新特性

    1.querySelector 返回文档中匹配指定css选择器的一个元素. 注意:uerySelector() 方法仅仅返回匹配指定选择器的第一个元素 如果你需要返回所有的元素,请使用 querySe ...

  3. 自行搭建私有云ownCloud,启用SSL,其他配置

    ownCloud简介 ownCloud(官网)是一款开源的私有云框架,可以通过它实现个人网盘的功能,如果拥有一个性能不错的VPS,那么就可以摆脱奇慢无比的百度云等网盘啦!我花了大约一天的时间总算搭好了 ...

  4. C#中运算符的使用

    通过学习知道了知道了运算符的分类及使用方法 运算符用于执行程序代码运算,会针对一个或一个以上操作数项目来进行运算.例如:2+3,其操作数是2和3,而运算符则是“+”. C#语言把除了控制语句和输入输出 ...

  5. 【Unity优化】我所理解的IL指令

    版权声明:本文为博主原创文章,欢迎转载.请保留博主链接:http://blog.csdn.net/andrewfan 指令格式 英文单词全写 指令解释 nop no operation perform ...

  6. Cloud9vue&vux上传github小步骤

    成功后创建出以下文件,再输入: git init 再输入:$ git remote add origin https://github.com/github用户名/vux1 然后:git add. 按 ...

  7. SqlService性能检测和优化工具

    工具概要 如果你的数据库应用系统中,存在有大量表,视图,索引,触发器,函数,存储过程,sql语句等等,又性能低下,而苦逼的你又要对其优化,那么你该怎么办?哥教你,首先你要知道问题出在哪里?如果想知道问 ...

  8. 你知道自己执行的是哪个jre吗?

    多个JRE 我在做<Java日志工具之java.util.logging.Logger>的DEMO时,修改java.util.logging.Logger的配置文件,怎么修改都不起作用,因 ...

  9. Bootstrap学习-排版

    1.标题 <h1>~<h6>,所有标题的行高都是1.1(也就是font-size的1.1倍). 2.副标题 <small>,行高都是1,灰色(#999) <h ...

  10. Erlang模块gen_server翻译

    gen_server 概要: 通用服务器行为描述: 行为模块实现服务器的客户端-服务器关系.一个通用的服务器进程使用这个模块将实现一组标准的接口功能,包括跟踪和错误报告功能.它也符合OTP进程监控树. ...