MySQL的诡异同步问题-重复执行一条relay-log
MySQL的诡异同步问题
近期遇到一个诡异的MySQL同步问题,经过多方分析和定位后发现居然是由于备份引发的,非常的奇葩,特此记录一下整个问题的分析和定位过程。
现象
同事扩容的一台slave死活追不上同步,具体的现象是SBM=0,但是Exec_Master_Log_Pos执行的位置和Read_Master_Log_Pos完全对不上,且服务器本身CPU和IO都消耗的非常厉害。
——total-cpu-usage---- -dsk/total- -net/total- ---paging-- ---system-- usr sys idl wai hiq siq| read writ| recv send| in out | int csw |8667B 862k| | | | 102M| 112k 12k| | 21k 50k | 101M| 89k 5068B| | 21k 49k | 103M| 97k 5170B| | 21k 50k | 103M| 80k 15k| | 21k 50k | 102M| 112k 8408B| | 21k 50k
分析
由于SBM并不能真正代表同步的状态,所以最开始我们认为有一个比较大的event在执行过程中,所以导致SBM=0但是pos位置不对,但是在观察一段之后发现,现象并没有变化,并且Relay_Log_File始终在同一个文件上。
为了找到这个现象的原因,我们使用strace来分析。由于服务器的现象是有非常大的磁盘写操作,故先使用iotop定位写入量较大的thread id,然后通过strace -p来分析。
通过strace采集的信息如下:
read(, "376bin>303275T1721325322Bg000k0000040005.5.31-"..., ) = lseek(, , SEEKSET) = write(, "./relay-bin.000914n107nmysql-bin"..., ) = read(, "", ) = close() = lseek(, , SEEKSET) = write(, "./relay-bin.000914n107nmysql-bin"..., ) = unlink("./relay-bin.rec") = - ENOENT (No such file or directory) open("./relay-bin.rec", ORDWR|OCREAT, ) = lseek(, , SEEKCUR) = fsync() = lseek(, , SEEKSET) = read(, "./relay-bin.000914n./relay-bin.0"..., ) = lseek(, , SEEKSET) = write(, "./relay-bin.000914n./relay-bin.0"..., ) = lseek(, , SEEKSET) = read(, "", ) = lseek(, , SEEKEND) = fsync() = lseek(, , SEEKSET) = close() = unlink("./relay-bin.rec") = lseek(, , SEEKSET) = read(, "./relay-bin.000914n./relay-bin.0"..., ) = open("./relay-bin.000914", ORDONLY) = lseek(, , SEEKCUR) = read(, "376bin>303275T1721325322Bg000k0000040005.5.31-"..., ) = lseek(, , SEEKSET) = write(, "./relay-bin.000914n107nmysql-bin"..., ) = read(, "", ) =
从上面可以看出MySQLD在不断的read和write35
、36
、38
这3个文件。通过内容,我们大概可以看出这3个文件应该是relay-bin.index、relay-bin.000914和relay-log.info这3个文件。但是如何确定这3个文件呢? 这时候就需要lsof了,通过lsof我们可以发现每个pid在proc下都会有一个fd的目录,在这个目录中就是各个文件的链接,通过fd号就可以直接确定具体是那个文件了
cd /proc/$pid/fd ll -h lr-x------ root root Jan : -> /dev/null l-wx------ root root Jan : -> /data1/mysql3361/error.log lrwx------ root root Jan : -> /data1/mysql3361/iblogfile1 lrwx------ root root Jan : -> /data1/mysql3361/iblogfile2 lr-x------ root root Jan : -> /data1/mysql3361/relay-bin.rec lrwx------ root root Jan : -> /data1/mysql3361/ibF0ovt9 (deleted) lrwx------ root root Jan : -> socket: lrwx------ root root Jan : -> /data1/mysql3361/relay-bin.index lrwx------ root root Jan : -> socket: lrwx------ root root Jan : -> /data1/mysql3361/sngdb/sngrankscore6.ibd lrwx------ root root Jan : -> /data1/mysql3361/mysql/host.MYI lrwx------ root root Jan : -> /data1/mysql3361/mysql/host.MYD l-wx------ root root Jan : -> /data1/mysql3361/error.log lrwx------ root root Jan : -> /data1/mysql3361/mysql/user.MYI lrwx------ root root Jan : -> /data1/mysql3361/mysql/user.MYD
定位
至此,我们已经非常确定是由于这3个文件导致,那么具体看一下这3个文件有什么异常?在挨个检查后发现,relay-bin.index文件非常异常,同样的relay-bin在index中存在了两行,这会不会就是问题的原因呢?
cat relay-bin.index ./relay-bin. ./relay-bin. ./relay-bin. ./relay-bin. cat relay-log.info ./relay-bin. mysql-bin.
人肉去掉一行之后,发现一切变正常了,那么看来问题的原因就在于relay-bin.index中存在着两行同样的记录导致的了,但是为什么会导致这种现象呢?
再分析
这时候纯想已经没有用了,只好从code中寻找答案,主要看slave.cc和log.cc。
具体来说就是MySQL在启动slave的时候会从relay-log.info中读取对应的filename和pos然后去execute relay log event,当执行完毕之后会进行删除操作,mysql会使用reinit_io_cache重置relay-log.index文件的文件指针,之后再采用find_log_pos里面的代码mcmcmp从relay-log.index第一行确认所需偏移,这时候就又回到了同样的relay-log,于是死循环产生了。
int MYSQLBINLOGfindlogpos(LOGINFO linfo, const char logname, bool needlock) (void) reinitiocache(&indexfile, READCACHE, (myofft) 0, 0, 0); for (;;) if (!logname (lognamelen == fnamelen-1 && fullfnamelognamelen == 'n' && !memcmp(fullfname, fulllogname, lognamelen))) DBUGPRINT("info", ("Found log file entry")); fullfnamefnamelen-1]= 0; // remove last n linfo->indexfilestartoffset= offset; linfo->indexfileoffset = mybtell(&indexfile); break; } } } }
简单来说:
- sql-thread读取relay-log.info,开始从000914开始执行。
- 执行完毕之后,从index中读取下一个relay-log,发现还是000914
- 于是将指针又定位到index文件的第一行
- 然后死循环就产生了
- 至于之后的000915等文件是由于io-thread生成的,和sql-thread无关,可以忽略
至此,出现SBM=0现象,并且产生很大的IO消耗的原因已经确定,就是由于relay-bin.index文件中的重复行导致。但是为什么会产生同样的两行数据呢?
分析产生原因
首先,这个绝对不可能是人闲的抽风手动vi的。
其次,手动执行flush logs的时候relay-log会自动增加一个。
再次,众所周知,MySQl再启动的时候会自动执行类似flush logs的操作,将relay-log自动向下创建一个。
结合上面的信息,并在同事的不断追查下,最终发现是由于我们的备份导致的。
第一、我们每天都会进行数据库的冷备,使用rsync方式。
第二、我们每天会对日志进行归档操作,定时执行flush logs。
当以上两个操作遭遇到一起之后,就会发生在拷贝完relay-log和relay-bin.index之间执行了flush logs操作,这样就导致relay-log和relay-bin.index中不等,也就导致了使用这个备份进行扩容都会产生index文件中的重复行。
总结改进
终于,这么奇葩,这么小概率的一个问题终于找到根源,在此之前,真是想破头也想不出来到底是怎么回事。感谢 @zolker @大自在真人 @zhangyang8的 深入调研和追查,没有锲而不舍的精神,我们是不会追查到这种地步的。
然后就是改进了:
- 加强对备份的文件一致性效验,从根源上避免。
- 加强还原程序的兼容性,由于index文件对于扩容的slave并没有实际意义,所以如果发现重复行可以直接置空index文件。
MySQL的诡异同步问题-重复执行一条relay-log的更多相关文章
- 执行一条cmd命令的window.bat 批处理代码:
. .执行一条cmd命令的window.bat 批处理代码: @echo off echo NodeJS SUPERVISOR...Server.js ::下面是批处理代码 supervisor d: ...
- MySQL复制报错(Slave failed to initialize relay log info structure from the repository)
机器重启以后,主从出现了问题,具体报错信息: Slave failed to initialize relay log info structure from the repository 解决方案: ...
- 执行一条sql语句update多条记录实现思路
如果你想更新多行数据,并且每行记录的各字段值都是各不一样,你会怎么办呢?本文以一个示例向大家讲解下如何实现如标题所示的情况,有此需求的朋友可以了解下 通常情况下,我们会使用以下SQL语句来更新字段值: ...
- 执行一条sql语句update多条不同值的记录实现思路
如果你想更新多行数据,并且每行记录的各字段值都是各不一样,你会怎么办呢?本文以一个示例向大家讲解下如何实现如标题所示的情况,有此需求的朋友可以了解下 通常情况下,我们会使用以下SQL语句来更新字段值: ...
- 执行一条SQL语句,插入多条数据!
insert into blog (bid, aid) values (2,1)(2,2)(2,3)
- hive如何执行一条sql的例子
SQL如何在Mapreduce执行 左边是数据表,右边是结果表,这条 SQL 语句对 age 分组求和,得到右边的结果表,到底一条简单的 SQL 在 MapReduce 是如何被计算, MapRedu ...
- Sql Server执行一条Update语句很慢,插入数据失败
今天同事要我修改服务器数据库里面的2条数据,查看服务器上的SQL Server数据库的时候,发现这几天数据没有添加成功,然后发现磁盘很快就满了,执行Update语句时,执行半天都提示还在执行,查询语句 ...
- MySQL 主主同步
双机热备的概念简单说一下,就是要保持两个数据库的状态自动同步.对任何一个数据库的操作都自动应用到另外一个数据库,始终保持两个数据库数据一致. 这样做的好处多. 1. 可以做灾备,其中一个坏了可以切换到 ...
- mysql单向自动同步
mysql自动同步 以下教程均使用mysql自带的自动同步功能 全库单向自动同步 本例把192.168.3.45上名称为ewater_main的数据库自动同步到192.168.3.68的ewater_ ...
随机推荐
- java 版的复利计算器(张俊毅 周修文)
(带有本金的选项卡的意思就是计算你在知道利率.年限和本息的情况下计算本金) 在利率的输入中能限制小数点的输入并且输入字母会被直接去除 每一个选项卡都有复利和单利的计算,并且在你计算之后会立即更新在下面 ...
- 【Win10】页面导航的实现
注:本文基于 Windows 10 10240 及其 SDK 编写,若以后有变化,请以新版本为准. 页面导航我们是再熟悉不过了,浏览器.手机 App 大多都使用这种方式来展示内容.在 Windows ...
- 禁止苹果浏览器Safari将数字识别成电话号码的方法
偶然发现用ipad访问我的网站时,发现网站上的一串数字变颜色了(原来是红色的),现在变成了蓝色.一开始以为网站出了什么问题,后来在PC端查看,发现颜色依旧是红色.在ipad上点击还会弹出菜单呼叫的选项 ...
- 新的Visual C++代码优化器
微软在 5 月 4 日发布了新的高级代码优化器,服务于 Visual C++ 的后端编译器.提高了代码性能,可以压缩代码体积,将编译器带入了一个新的境界. Visual C++ 的团队在博客上称,这将 ...
- 与众不同 windows phone (36) - 8.0 新的瓷贴: FlipTile, CycleTile, IconicTile
[源码下载] 与众不同 windows phone (36) - 8.0 新的瓷贴: FlipTile, CycleTile, IconicTile 作者:webabcd 介绍与众不同 windows ...
- 隐藏android系统标题栏和状态栏
//隐藏系统title requestWindowFeature(Window.FEATURE_NO_TITLE); //隐藏状态栏 getWindow().addFlags(WindowManage ...
- js 创建对象 经典模式
1. 概述 通过构造函数创建对象, 有时忘记了写new, 这时函数就会返回undefined 可以创建一个函数createXXX, 在内部封装new. function Student(props){ ...
- MyEclipse8.6安装SVN 教程 与遇到的问题
按网上的多种方式都不好用 最后这种好用 了! 写此文做记录. MyEclipse版本:8.6 SVN版本:1.6.9 MyEclipse版本要对应SVN版本.否则会出错. 教程: 1.下载最新 ...
- javascript 之注意url特殊字符限制
引子 浏览器URl地址,上网一定会用到,但是浏览器地址有中文或者浏览器url参数操作的时候,经常会用到encodeURIComponent()和decodeURIComponent()以及encode ...
- ahjesus C# 4.0 Parallel 并行运算
Parallel.For - for 循环的并行运算 Parallel.ForEach - foreach 循环的并行运算 Parallel.Invoke - 并行调用多个任务 Task - 任务,基 ...