揭秘MySQL主从数据不一致
前言:
目前MySQL数据库最常用的是主从架构,大多数高可用架构也是通过主从架构演变而来。但是主从架构运行时间长久后容易出现数据不一致的情况,比如因从库可写造成的误操作或者复制bug等,本篇文章将会详细探究出现主从不一致及如何解决这种问题。
1.造成主从不一致的原因
造成主从不一致的可能原因有很多,下面简单列举几条:
- 主库binlog格式为Statement,同步到从库执行后可能造成主从不一致。
- 主库执行更改前有执行set sql_log_bin=0,会使主库不记录binlog,从库也无法变更这部分数据。
- 从节点未设置只读,误操作写入数据。
- 主库或从库意外宕机,宕机可能会造成binlog或者relaylog文件出现损坏,导致主从不一致。
- 主从实例版本不一致,特别是高版本是主,低版本为从的情况下,主数据库上面支持的功能,从数据库上面可能不支持该功能。
- MySQL自身bug导致。
2.主从不一致修复方法
下面介绍下主从不一致的修复方法,注意,这里讲的是修复主从不一致而不是修复主从同步错误。
想要修复主从不一致,我们首先要发现主从不一致,下面将根据不同情形给出合适的修复方法。
第一种情况:比如说执行脚本时,为了更快的执行完,在脚本里增加了set sql_log_bin=0。那么这个脚本的所有数据变更将无法应用到从库,这个时候主从数据就不一致了,解决的方法是先停掉主从复制,然后手动在从库执行下这个脚本,最后开启主从复制即可。
第二种情况:可能你的从库并未设置只读,同事因不太清楚架构,误操作导致在从库做了数据写入,这种情况应该及时反馈并解决。解决方法:如果这些语句确实需要执行,则可以在主库先执行set sql_log_bin=0,然后再执行语句;如果不需要执行这些语句,则需要在从库上回滚掉先前的误操作。
不过有时候情况并不是那么简单,可能遇到比较多的情况是:主从两个实例已经运行很久了,某日进行一致性检验发现主从不一致了,很难找到具体发生不一致的原因及时间。那么这个时候应该怎么办呢,有人说,从库重做一遍,虽然这也是一种解决方法,但是这个方案恢复时间比较慢,而且有时候从库也是承担一部分的查询操作的,不能贸然重建。下面重点讲下这种情况下的修复方法。
使用percona-toolkit工具辅助。
PT工具包中包含pt-table-checksum和pt-table-sync两个工具,主要用于检测主从是否一致以及修复数据不一致情况。这种方案优点是修复速度快,不需要停止主从辅助,缺点是需要知识积累,如果你原来不太会用这个工具,可能需要时间去学习,去测试,特别是在生产环境,还是要小心使用的。
关于使用方法,可以参考下面链接:
https://www.cnblogs.com/feiren/p/7777218.html手动重建不一致的表。
比如我们在从库发现某几张表与主库数据不一致,而这几张表数据量也比较大,手工比对数据不现实,并且重做整个库也比较慢,这个时候可以只重做这几张表来修复主从不一致。例如:a1 b1 c1这三张表主从数据不一致,那么我们可以这么做:
1、从库停止Slave复制
mysql>stop slave;2、在主库上dump这三张表,并记录下同步的binlog和POS点
mysqldump -uroot -p123456 -q --single-transaction --master-data=2 yourdb a1 b1 c1 > ./a1_b1_c1.sql3、查看a1_b1_c1.sql文件,找出记录的binlog和POS点
more a1_b1_c1.sql
例如MASTER_LOG_FILE='mysql-bin.002974', MASTER_LOG_POS=55056952;4、把a1_b1_c1.sql拷贝到Slave机器上,并做Change master to指向
mysql>start slave until MASTER_LOG_FILE='mysql-bin.002974', MASTER_LOG_POS=55056952;
注:我来解释下,这步是什么意思。保障其他表的数据不丢失,一直同步,直到同步完那个点结束,a1,b1,c1表的数据在之前的dump已经生成了一份快照,我们只需要导入进入,然后开启同步即可。5、在Slave机器上导入a1_b1_c1.sql (若从库开启了binlog 为使导入加快,可以先执行set sql_log_bin=0)
mysql -uroot -p123456 yourdb < ./a1_b1_c1.sql6、导入完毕后,从库开启同步即可。
mysql>start slave;这样我们就恢复了3张表,并且同步也修复了。这种方案缺点是在执行导入期间需要停止从库复制,不过也是可以接受的。
可能还有其他修复方法,比如用Navicat等工具进行比对同步,不过这类工具只适用于小数据量,当有上千万数据时,再用这种方法就不现实了。你有没有类似经验呢,也可以留言分享下。
3.如何避免主从不一致
通过上面的介绍,可能你也大概知道了修复并不容易,所以我们要从源头上避免,那么我们该如何避免主从不一致的情况呢,下面给出几个建议,希望对你有用。
- 主库binlog采用ROW格式。
- 主从实例数据库版本保持一致。
- 主库做好账号权限把控,不可以执行set sql_log_bin=0。
- 从库开启只读,不允许人为写入。
- 定期进行主从一致性检验。
总结:
本篇文章详细介绍了造成主从不一致的原因,修复不一致的方法及如何避免主从不一致。特别是不一致修复方法,可能还有其他方案,这个要考虑实际情况选择合适的方法修复。原创不易,希望大家多多支持。

揭秘MySQL主从数据不一致的更多相关文章
- mysql 主从 数据不一致
用pt-table-checksum校验数据一致性 Jun 4th, 2013 主从数据的一致性校验是个头疼的问题,偶尔被业务投诉主从数据不一致,或者几个从库之间的 数据不一致,这会令人沮丧.通常我们 ...
- mysql 主从数据不一致 Slave_SQL_Running: No 解决方法
在slave服务器上通过如下命令 mysql> show slave status\G; 显示如下情况: Slave_IO_Running: Yes Slave_SQL_Running: No ...
- MySQL多字节字符集造成主从数据不一致问题
MySQL多字节字符集造成主从数据不一致问题 来自江羽 2013-04-27 16:03:56| 分类: 默认分类|举报|字号 订阅 转载: http://backend.blog.163.co ...
- MySQL主从数据一致性检验
MySQL主从数据一致性检验 检查主从数据一致性,我们使用pt-table-checksum ,pt-table-checksum是percona-tools一个工具,用来校验主从库数据是不是一致. ...
- pt-table-checksum检验主从数据不一致
测试环境:主从架构,操作系统liunx 运行pt-table-checksum需要先安装以下依赖包: yum install perl-IO-Socket-SSL perl-DBD-MySQL per ...
- mysql]一次主从数据不一致的问题解决过程()
问题 要解决问题就是怎么对比不一致,然后在不影响业务的情况下,修复数据不一致的问题,把从库缺少的数据补上 下面是能想到和找到的几个方案 1 从新从0开始同步,虽然对主库的使用没有影响,但是那么大的数据 ...
- [mysql]一次主从数据不一致的问题解决过程
之前一篇: 主从更换ip之后重新建立同步 情况时这样的 昨天晚上主动2个机器都迁移了,然后今天才把主动重新连接上,但是从库的偏移量是从今天当前时刻开始的,也就是说虽然现在主动看似正常,其实是少了昨天的 ...
- MySQL主从复制数据不一致问题【自增主键】
前言: 今天遇到主从表不一致的情况,很奇怪为什么会出现不一致的情况,因为复制状态一直都是正常的.最后检查出现不一致的数据都是主键,原来是当时初始化数据的时候导致的.现在分析记录下这个问题,避免以后再遇 ...
- 基于GTID Replication主从数据不一致操作
基本的M-S结构 现在master与slave主机数据一致: mysql> select * from t1; +------+ | id | +------+ | 1 | | ...
随机推荐
- Ql004(母牛的故事)
一,看题目 1,这个虽然我不想说,但是我确实不会,但是我的意思是你可以不会但是不能每次都不会那咋办? 二,看题解 1,你得大概知道这个东西是考啥的(虽然这个东西提前给你说了是d递归),但是考试肯定没人 ...
- maker使用说明书
1.以自带的示例数据为例 dpp_contig.fasta dpp_est.fasta dpp_protein.fasta te_proteins.fasta 2.生成控制文件 控制文件是特定于运行的 ...
- vue中异步请求渲染问题(swiper不轮播)(在开发过程中遇到过什么问题、踩过的坑)
问题描述: 用vue封装一个swiper组件的时候,发现轮播图不能轮播了. 原因: 异步请求的时间远大于生命周期执行的时间,mounted初始化DOM时数据未返回,渲染数据是空数组,导致轮播图的容器层 ...
- 创建java类中类出现is not an enclosing class
public class A { public class B { } }; 需要实例B类时,按照正逻辑是,A.B ab = new A.B(); 那么编译器就会出现一个错误--"is no ...
- sizeof 计算 struct 占字节数的方法总结
矛盾焦点: 1.结构体的内存对齐方式 字节对齐的目的: 1.提高CPU存储变量的速度 计算的核心点(默认对齐方式): 1.结构体内的每一个成员的起始地址跟结构体起始地址的偏移量要刚好是自己字节数的整数 ...
- SQL数据同步到ELK(四)- 利用SQL SERVER Track Data相关功能同步数据(上)
一.相关文档 老规矩,为了避免我的解释误导大家,请大家务必通过官网了解一波SQL SERVER的相关功能. 文档地址: 整体介绍文档:https://docs.microsoft.com/en-us/ ...
- Java编程思想之十一 持有对象
如果一个程序只包含固定数量的且其生命期都是已知的对象,那么这是一个非常简单的程序. 11.1 泛型和类型安全的容器 使用ArrayList:创建一个实例,用add()插入对象,然后用get()访问对象 ...
- 大数据(1)---大数据及HDFS简述
一.大数据简述 在互联技术飞速发展过程中,越来越多的人融入互联网.也就意味着各个平台的用户所产生的数据也越来越多,可以说是爆炸式的增长,以前传统的数据处理的技术已经无法胜任了.比如淘宝,每天的活跃用户 ...
- docker 学习操作记录 2
记录2 [BEGIN] // :: Connecting to ... Connection established. To escape to local shell, press Ctrl+Alt ...
- 源码casino-server剖析(1)--游戏服务的整体架构和实现
前言: 最近研究了一些游戏服务器的架构和实现, github上找了几个开源的实现. 有几个感觉不错, 打算仔细研读一下. 游戏服务器种类繁多, 这边主要是基于状态同步的棋牌类游戏, 适合入门, ^_^ ...