MySQL如何安全的给小表加字段
MySQL学习笔记-如何安全的给小表加字段
如果要给一个大表加字段,你一般都会非常谨慎小心,以免对线上业务造成影响,但实际上给一个小表加字段不慎操作也会导致线上业务出问题,这篇文章主要学习一下MySQL
中MDL
锁对性能的影响,防止采坑。
1.笔记图
2.全局锁
- 全局锁就是对整个数据库实例加锁
- 命令:
Flush tables with read lock (FTWRL)
- 全局锁现象:数据更新语句(数据的增删改)、数据定义语句(包括建表、修改表结构等)和更新类事务的提交语句会被阻塞
3.数据逻辑备份的方式
- 加全局锁(MyISAM):
- 通过
FTWRL
确保不会有其他线程对数据库做更新,然后对整个库做备份 - 如果在主库上备份,备份期间都不能执行更新
- 如果在从库上备份,备份期间从库不能执行主库同步过来的
binlog
,会导致主从延迟 - 备份为什么要加锁?:
- 假设现在要维护购买系统,用户账户余额表和用户课程表
- 发起一个逻辑备份,不加锁的话,备份系统备份的得到的库不是一个逻辑时间点
- 通过
- 事务(InnoDB):
- 方自带的逻辑备份工具是
mysqldump
mysqldump
使用single-transaction
参数,导数据之前就会启动一个事务,拿到一致性视图- 由于
MVCC
的支持,这个过程中数据是可以正常更新的
- 方自带的逻辑备份工具是
4.表级锁
- 表锁:
- 加表锁的语法是
lock tables … read/write
- 如果在某个线程
A
中执行lock tables t1 read, t2 write
这个语句,则其他线程写t1
、读写t2
的语句都会被阻塞 - 同时,线程
A
在执行unlock tables
之前,也只能执行读t1
、读写t2
的操作,不能访问其他表 - 对于
InnoDB
这种支持行锁的引擎,一般不使用lock tables
命令来控制并发 - 可以用
unlock tables
主动释放锁,也可以在客户端断开的时候自动释放
- 如果在某个线程
- 加表锁的语法是
- 元数据锁(meta data lock,MDL)
- 如果一个查询正在遍历一个表中的数据,执行期间另一个线程对这个表结构做变更,删了一列,查询线程拿到的结果跟表结构对不上,肯定是不行的
- 在访问一个表的时候会被自动加上
MDL
锁,其作用是保证读写的正确性 - 当对一个表做增删改查操作的时候,加
MDL
读锁,读锁之间不互斥,可以有多个线程同时对一张表增删改查 - 当要对表做结构变更操作的时候,加
MDL
写锁,读写锁之间、写锁之间是互斥的,用来保证变更表结构操作的安全性
5.给一个小表加个字段,导致整个库挂了
现象:给一个小表加个字段,导致整个库挂了
给一个表加字段,或者修改字段,或者加索引,需要扫描全表的数据,一般在对大表操作的时候,会特别小心,以免对线上服务造成影响,实际上,即使是小表,操作不慎也会出问题
session A
先启动,这时候会对表t
加一个MDL
读锁session B
需要的也是MDL
读锁,因此可以正常执行session A
的MDL
读锁还没有释放,session C
需要MDL
写锁,因此只能被阻塞之后所有要在表
t
上新申请MDL
读锁的请求也会被session C
阻塞,所有对表的增删改查操作都需要先申请MDL
读锁,这个表此时完全不可读写
6.如何安全地给小表加字段?
- 事务中的
MDL
锁,在语句执行开始时申请,但是语句结束后并不会马上释放,而会等到整个事务提交后再释放 - 首先要解决长事务,事务不提交,会一直占着
MDL
锁,如果要做DDL
变更的表刚好有长事务在执行,要考虑先暂停DDL
,或者kill
掉这个长事务 - 如果要变更的表是一个热点表,请求很频繁,不得不加个字段,该怎么做呢?
- 在 alter table 语句里面设定等待时间,在这个指定的等待时间里面能够拿到
MDL
写锁最好,拿不到也不要阻塞后面的业务语句,先放弃 - 再通过重试命令重复这个过程
MariaDB
已经合并了AliSQL
的这个功能,所以这两个开源分支目前都支持DDL NOWAIT/WAIT n
这个语法
- 在 alter table 语句里面设定等待时间,在这个指定的等待时间里面能够拿到
ALTER TABLE tbl_name NOWAIT add column ...
ALTER TABLE tbl_name WAIT N add column ...
7.课后问题
当备库用single-transaction
做逻辑备份的时候,如果从主库的binlog
传来一个DDL
语句会怎么样?
- 从库备份过程中几个关键的语句:
Q1:SET SESSION TRANSACTION ISOLATION LEVEL REPEATABLE READ;
Q2:START TRANSACTION WITH CONSISTENT SNAPSHOT;
/* other tables */
Q3:SAVEPOINT sp;
/* 时刻 1 */
Q4:show create table `t1`;
/* 时刻 2 */
Q5:SELECT * FROM `t1`;
/* 时刻 3 */
Q6:ROLLBACK TO SAVEPOINT sp;
/* 时刻 4 */
/* other tables */
Tips:
Q1
表示为了确保RR
(可重复读)隔离级别,设置RR
隔离级别(Q1)
,Q2
表示WITH CONSISTENT SNAPSHOT
这个语句执行完就可以得到一个一致性视图(Q2)
,Q3
表示设置一个保存点,Q4
表示show create
是为了拿到表结构,Q5
表示正式导数据,Q6
表示回滚到SAVEPOINT sp
,作用是释放t1
的MDL
锁。
- 如果主库
DDL
命令在Q4
之前到达从库,没有影响 - 如果主库
DDL
在时刻2
到达从库,此时会有MDL写锁
,会造成Q5
执行失败,备份过程被终止 - 如果主库
DDL
在时刻3
到达从库,由于备份过程占用读锁,会导致binlog
复制被阻塞,会造成主从延迟,直到备份完成Q6
执行之后从库才能继续复制主库binlog
- 如果主库
DDL
在时刻4
到达从库,没有影响
MySQL如何安全的给小表加字段的更多相关文章
- MySQL锁(二)表锁:为什么给小表加字段会导致整个库挂掉?
概述 表级锁是MySQL中锁定粒度最大的一种锁,表示对当前操作的整张表加锁,它实现简单,资源消耗较少,被大部分MySQL引擎支持.最常使用的MYISAM与INNODB都支持表级锁定.表级锁定分为表共享 ...
- MyISAM表加字段的特殊方法
最近一个统计系统的大表需要加字段,表的引擎是myisam,表大小在3亿,物理文件在106G.想想都蛋疼.那么这种情况下怎么把字段撸上去呢? 1. 首先想到了<高性能MySQL>提到的直接更 ...
- 关于Oracle.ManagedDataAccess数据库表加字段后,必须重启的问题
关于Oracle.ManagedDataAccess数据库表加字段后,必须重启的问题,解决方法如下:在数据库连接字串中,增加一个参数:Metadata Pooling=false如“Data Sour ...
- MySQL 给已存在的数据表 增加字段和注释
MySQL 给已存在的数据表 增加字段和注释 问题描述 在开发一个系统的过程中,经常会遇到随着系统服务功能的扩展,或者服务之间的关联,需要适当的修改原有的表结构,比如,增加一些必要的字段. 示例:在已 ...
- Mysql命令alter add:增加表的字段
alter add命令用来增加表的字段. alter add命令格式:alter table 表名 add字段 类型 其他; 例如,在表MyClass中添加了一个字段passtest,类型为int(4 ...
- (笔记)Mysql命令alter add:增加表的字段
alter add命令用来增加表的字段. alter add命令格式:alter table 表名 add字段 类型 其他; 例如,在表MyClass中添加了一个字段passtest,类型为int(4 ...
- mysql控制台入门级--简单的创建表,字段。。。(用于网站测试)
一:在Mysql控制台创建数据表 [sql] use ceshi; create table student ( stuid int primary key auto_incremen ...
- ecshop中user.php中的$user说明---user表加字段
今天想对user表加个字段,打开user.php发现有个$user,其中它有很多方法,像登陆,注册,退出.都要用到它.可找了大半天也找不到这个函数调用的是哪个类.又坚持找了半天,发现$user在ini ...
- mysql合并查询结果及为表和字段取别名
利用union关键字,可以给出多条select语句,并将它们的结果组合成单个的结果. 合并是,两个表对应的列数和数据类型必须相同. 各个select语句之间使用union或union all关键字分隔 ...
随机推荐
- kill的使用
Linux中Kill进程的N种方法 (2011-12-23 17:27:59) 转载▼ 标签: 杂谈 分类: ubuntu系统操作 常规篇: 首先,用ps查看进程,方法如下: $ ps -ef -- ...
- 出现org.apache.ibatis.binding.BindingException异常
出现绑定式异常 查看target文件夹里面再mapper中,发现运行时缺少xml文件 解决办法 1.将xml文件复制到target中Mapper文件夹下面. 2.将xml放到resource目录下 3 ...
- 为什么Java中lambda表达式不能改变外部变量的值,也不能定义自己的同名的本地变量呢?
作者:blindpirate链接:https://www.zhihu.com/question/361639494/answer/948286842来源:知乎著作权归作者所有.商业转载请联系作者获得授 ...
- PHP 自定义 alert 跳转方法
/** * 跳转方法 * @param $msg * @param null $path * @param null $parent */ public function alert($msg,$pa ...
- 攻防世界_MISC进阶区_Get-the-key.txt(详细)
攻防世界MISC进阶之Get-the-key.txt 啥话也不说,咱们直接看题吧! 首先下载附件看到一个压缩包: 我们直接解压,看到一个文件,也没有后缀名,先用 file 看一下文件属性: 发现是是L ...
- 攻防世界 - Web(三)
PHP2: 1.进入页面,进行抓包或后台扫描都没有什么发现,然后网上查一波wp,发现是关于.phps文件,进入index.phps,弹出一段代码,查看源代码, <?php if("ad ...
- Lnux:实验 Linux C 编程
实验题目: 实验 3 Linux C 编程 实验目的和要求: 熟悉 Linux 操作系统环境 在 Linux 下编写.执行简单的 C 程序 用 C 语言写自己的 Linux 命令 实验过程: 认真 ...
- 小白的经典CNN复现(二):LeNet-5
小白的经典CNN复现(二):LeNet-5 各位看官大人久等啦!我胡汉三又回来辣(不是 最近因为到期末考试周,再加上老板临时给安排了个任务,其实LeNet-5的复现工作早都搞定了,结果没时间写这个博客 ...
- DC-DC变换器,24v转5v稳压芯片,3A输出电流
在24V输入中,比较合适的LDO可以选择:PW6206,输出电压3V,3.3V,5V 输入电压最高40V,功耗也低4uA左右,采用SOT23-3封装. PW6206系列是一个高精度,高输入电压低静态电 ...
- 在HTML中改变input标签中的内容
在HTML中改变input标签的内容 1.使用js自带的方法: document.getElementById('roadName').value='武汉路';//通过标签选择器来选择标签,然后设置值 ...