基于binlog恢复工具mysqlbinlog_flashback简介 mysqlbinlog_back.py 是在线读取row格式的mysqld的binlog,然后生成反向的sql语句的工具.一般用于数据恢复的目的. 所谓反向的sql语句就是如果是insert,则反向的sql为delete.如果delete,反向的sql是insert,如果是update, 反向的sql还是update,但是update的值是原来的值.这个项目需要安装 yum update nss     或者yum upda…

0.闪回技术与工具简介 mysql闪回工具比较流行三大类: [0.1]官方的mysqlbinlog:支持数据库在线/离线,用脚本处理binlog的输出,转化成对应SQL再执行.通用性不好,对正则.sed等需要较高熟练度. [0.2]第三方的mysqlbinlog工具,比官方的工具多了一个闪回功能 -B [0.3]开源的binlog2sql:兼容性比较好,使用难度小,使用简单,前提是mysql必须开启. 最佳实践:线上使用binlog2sql,线下用mysqlbinlog以及mysqlbinlog…

MySQL数据库备份还原(基于binlog的增量备份) 一.简介 1.增量备份      增量备份 是指在一次全备份或上一次增量备份后,以后每次的备份只需备份与前一次相比增加或者被修改的文件.这就意味着,第一次增量备份的对象是进行全备后所产生的增加和修改的文件:第二次增量备份的对象是进行第一次增量备份后所产生的增加和修改的文件,如此类推.这种备份方式最显著的优点就是:没有重复的备份数据,因此备份的数据量不大,备份所需的时间很短.但增量备份的数据恢复是比较麻烦的.您必须具有上一次全备份和所有增量备…

      最近写完mysql flashback,突然发现还有有这种使用场景:有些情况下,可能会统计在某个时间段内,MySQL修改了多少数据量?发生了多少事务?主要是哪些表格发生变动?变动的数量是怎么样的? 但是却不需要行记录的修改内容,只需要了解 行数据的 变动情况.故也整理了下.     昨晚写的脚本,因为个人python能力有限,本来想这不发这文,后来想想,没准会有哪位园友给出优化建议.       如果转载,请注明博文来源: www.cnblogs.com/xinysu/   ,版权归…

MySQL复制介绍 默认情况 下复制是异步进行的,从库也不需要一直连接到主库来同步数据 MySQL复制的数据粒度可以是主实例上所有的数据库,也可以是指定的一个或多个数据库 ,也可以是一个数据库里的指定的表 MySQL复制所带来的优势在于: 1.扩展能力: 通过复制功能可以将MySQL的性能压力分担到一个或多个slave上.这要求所有的写操作和修改操作都必须在Master上完成,而读操作可以被分配到一个或多个slave上.将读写分离到不同服务器执行之后,MySQL的读写性能得到提升 2.数据库备份…

1.1 增量备份简介 增量备份是指在一次全备份或上一次增量备份后,以后每次的备份只需备份与前一次相比增加或者被修改的文件.这就意味着,第一次增量备份的对象是进行全备后所产生的增加和修改的文件:第二次增量备份的对象是进行第一次增量备份后所产生的增加和修改的文件,如此类推.这种备份方式最显著的优点就是:没有重复的备份数据,因此备份的数据量不大,备份所需的时间很短.但增量备份的数据恢复是比较麻烦的.您必须具有上一次全备份和所有增量备份磁带(一旦丢失或损坏其中的一个增量,就会造成恢复的失败),并且它们必…

注:文中有个易混淆的地方 sql事务,即每次数据库操作生成的事务,这个事务trx_id只在undolog里存储,同时undolog维护了此事务是否完成的状态. 日志持久化事务,为了保证redolog和binlog的一致性而用的Mysql内部独立维护的2PC提交事务.这个xid只有在redolog和binlog持久化文件中存储. 各日志的存储内容 阅读前提:需要对mysql的数据存储结构有一定了解,即数据页的持久化和内存读取逻辑. binlog日志 binlog日志存储的是对数据库实际的数据操作,…

数据库配置注意事项 /etc/my.cnf 必须要开户binlog支持,字符集要求 是utf8 binlog类型为row server-id=121 log_bin=/home/mysqllog binlog-format=Row 数据恢复工具安装 binlog2sql https://github.com/danfengcao/binlog2sql mysqlbinlog_flashback https://github.com/58daojia-dba/mysqlbinlog_flashba…

    update.delete的条件写错甚至没有写,导致数据操作错误,需要恢复被误操作的行记录.这种情形,其实时有发生,可以选择用备份文件+binlog来恢复到测试环境,然后再做数据修复,但是这样其实需要耗费一定的时间跟资源.     其实,如果binlog format为row,binlog文件中是会详细记录每一个事务涉及到操作,并把每一个事务影响到行记录均存储起来,能否给予binlog 文件来反解析数据库的行记录变动情况呢?     业界已有不少相关的脚本及工具,但是随着MySQL版本的…

在一些业务场景中,像在数据分析中我们有时候需要捕获数据变化(CDC):在数据审计中,我们也往往需要知道数据从这个点到另一个点的变化:同样在实时分析中,我们有时候需要看到某个值得实时变化等. 要解决以上问题,我们可以实时解析mysql binlog日志,下面两个工具可以很好的处理这个问题: 1. canal(阿里巴巴开源项目,纯java开发) 2. python-mysql-replication(python开发) 使用场景: 1. MySQL到NoSQL的数据同步 2. MySQL到搜索引擎的…