Metadata Lock原理4
今天发生一个故障,MM复制结构(主备库),备库slave delay越来越大,造成在备库上的读与主库数据不一致,登上备库分析:
1.show processlist
drop table tmp_table 在 Waiting for table metadata lock
2.ps
mysqldump 在备份整个实例数据
kill了备份进程,drop table tmp_table执行成功,slave delay逐步减少
疑问:
1.metadata lock是什么东西
2.mysqldump中什么操作hold table metadata lock,hold范围是单表还是实例上全部表
mysqldump原理:
1.FLUSH TABLES
2.FLUSH TABLES WITH READ LOCK
- sets the global read lock
- closes open tables
- sets a flag to block commits
3.SET SESSION TRANSACTION ISOLATION LEVEL REPEATABLE READ;
4.start transaction
5.记录log pos
6.unlock tables
7.select * from ...
8.commit
测试(5.5.18):
Time |
sessionA |
sessionB |
1 |
Set auto_commit=0; |
Set auto_commit=0; |
2 |
create table tmp1(a int); |
|
3 |
create table tmp2(a int); |
|
4 |
create table tmp3(a int); |
|
5 |
FLUSH TABLES WITH READ LOCK; |
|
6 |
start transaction; |
|
7 |
unlock tables; |
|
8 |
insert into tmp1 value(1); (执行成功) |
|
9 |
drop table tmp1;(执行成功) |
|
10 |
Select * from tmp1;(表不存在) |
|
11 |
Select * from tmp2; |
|
12 |
insert into tmp2 value(1); (执行成功) |
|
13 |
drop table tmp2; (Waiting for table metadata lock) |
|
14 |
Kill drop table tmp2; |
|
15 |
Select * from tmp3; |
|
16 |
drop table tmp2; (Waiting for table metadata lock) |
|
17 |
commit; |
|
18 |
drop table tmp2; (执行成功) |
- DML操作在备份期间是不会被block(time 8)
- DDL操作在备份进程未获取某个table的meta data lock时,并发的DDL语句是可以执行的(time 9)
- DDL是不遵循MVCC的,session2执行DDL后,session1受到影响,一致性被破坏(time 10)
- Select tmp2获取table tmp2的table meta data lock,导致session2无法执行DDL,保证一致性(time 13)
- Mysqldump备份过程逐一获取table meta data lock,但是不是逐一释放,而是等到备份结束时统一释放 (time 16)
测试(5.1.48):
由于5.1中没有引入meta data lock,所有在mysqldump备份过程中,并发session都可以执行DDL,导致备份集不一致,最终表现是使用此备份集恢复的备库在relay主库binlog会出现slave error,如DML找不到表,DDL重复操作等问题,之前一直以为是备份中断导致备份集不完整,现在终于找到原因了
思考:
虽然5.5中引入了meta data lock,但是仍然无法完全解决并发DDL对备份的影响:
- 5.1中由于没有引入meta data lock,在备份整个过程中并发DDL都会对其产生影响
- 5.5中引入meta data lock后,只是保证针对已经备份表的DDL会被block,只是降低了并发DDL影响的概率,解决方式是在start transaction与unlock tables之间获取实例上全部表的meta data lock,但是当表数量很大时,这个操作可以很耗时,而这个过程由于处于FLUSH TABLES WITH READ LOCK下,所以DML会被block,也许是因为DML执行频率远大于DDL操作,所以mysqldump选择了最大DML并发度

Metadata Lock原理4的更多相关文章
- Metadata Lock原理6
一 简介 上一篇文章 <MetaData Lock 之一> 简单的介绍了MySQL 引入MDL 的前因后果,本文深入了解MDL的实现原理和运行机制.二 MDL 的类型 meta ...
- Metadata Lock原理5
[MySQL] 之一2015-09-05 15:46:51 分类: MySQL 一 简介 和MySQL打交道比较多的朋友,肯定遇到过 "Waiting for table metadata ...
- Metadata Lock原理8
http://www.kancloud.cn/taobaomysql/monthly/67141 MySQL· 5.7优化·Metadata Lock子系统的优化 背景 引入MDL锁的目的,最初是为了 ...
- Metadata Lock原理7
http://blog.itpub.net/22664653/viewspace-1791744/ 一 简介 通过前面两篇文章的介绍,相信读到这里的各位对MDL 锁已经有了比较深入的了解了,本文将结合 ...
- Metadata Lock原理3
http://blog.itpub.net/26515977/viewspace-1208250/ 腾讯工程师 随着5.5.3引入MDL,更多的Query被“Waiting for table ...
- Metadata Lock原理2
同事说开发机更改一个表结构,加字段,但是一直挂在那里,没反应.一开始以为表测试数据量很大,因为mysql增加表字段会重写表,后来看了下数据量很小,就另外查看过程.原因分析和处理如下: 一.环境 m ...
- Metadata Lock原理1
https://www.percona.com/blog/2013/02/01/implications-of-metadata-locking-changes-in-mysql-5-5/ impli ...
- mysql metadata lock(三)
前言 MDL锁主要用来保护Mysql内部对象的元数据,通过MDL机制保证DDL与DML以及SELECT查询操作的并发.MySQL Meta Lock(一)和MySQL Meta Lock(二)已经讲了 ...
- mysql metadata lock(二)
上一篇<mysql metadata lock(一)>介绍了为什么引入MDL,MDL作用以及MDL锁导致阻塞的几种典型场景,文章的最后还留下了一个小小的疑问.本文将更详细的介绍MDL,主要 ...
随机推荐
- gradle 学习
gradle是个构建工具,目的是为了更方便的管理项目. 学习gradle看下面的资料: 中文资料,总共六篇,看完之后基础差不多了: 简介 第一个Java项目 依赖管理 创建二进制发布版本 创建多项目构 ...
- Leetcode Largest Number c++ solution
Total Accepted: 16020 Total Submissions: 103330 Given a list of non negative integers, arrange t ...
- 关于LyX的一些小问题
LyX转HTML(MS WORD)的脚本elyxer的更新: 首先从官网下载最新版的软件包.解压后,在命令行下python install.py执行安装(直接双击install.py应该也可以),py ...
- as3 中trace() 函数对效率的影响
进行页游开发的过程中,很多开发者都有一个习惯,在数据输出中添加trace()函数来跟踪数值 - 不进行条件编译,发布的时候也不删除.实际上大量的trace函数会降低程序的效率,我们可以用一个简单的例子 ...
- C++11 能好怎?
0. 摘要 近期读了一些关于C++11标准的材料. 本篇博客将从新标准的优点.与旧版本的区别和使用方法三个角度,大致介绍我对C++11的认识. C++11标准,原名C++0x, 是03版旧标准的更新. ...
- 2016 CocosPods安装教程
CocoaPods简介 CocoaPods是一个管理Swift和Objective-C的Cocoa项目的依赖工具.它现在有超过一万八千多个库,可以优雅地帮助你扩展你的项目.简单的说,就是替你管理Swi ...
- 给 TTreeView 添加复选框
//1.引用单元 uses Commctrl ; //2.定义私有过程 procedure tvToggleCheckbox(TreeView: TTreeView;Node: TTreeNode;i ...
- Spring入门(10)-Spring JDBC
Spring入门(10)-Spring JDBC 0. 目录 JdbcTemplate介绍 JdbcTemplate常见方法 代码示例 参考资料 1. JdbcTemplate介绍 JdbcTempl ...
- HDU 1856 More is better(并查集)
http://acm.hdu.edu.cn/showproblem.php?pid=1856 More is better Time Limit: 5000/1000 MS (Java/Others) ...
- ThinkPHP框架的网站url重写
nginx location / { root /var/www; index index.html index.htm index.php; if (!-e $request_filename) { ...