MySQL Online DDL的改进与应用
1 早期DDL实现原理(5.6.7之前 )
- copy table方式
- 新建跟原表格一致的临时表,并在该临时表上执行DDL语句
- 锁原表,不允许DML,允许查询
- 逐行数据从原表拷贝到临时表中(这个过程是没有排序的)
- 拷贝结束后,原表禁止读操作,也就是原表此时不提供读写服务
- 进行rename操作,完成DDL过程
- inplace方式(fast index creation,仅针对索引的创建跟删除)
- 新建frm临时文件
- 锁原表,不允许DML,允许查询
- 按照聚集索引的顺序,查询数据,找到需要的索引列数据,排序后插入到新的索引页中
- 原表禁止读操作,也就是原表此时不提供读写服务
- 进行rename操作,替换frm文件,完成DDL过程
inplace在copy table的基础上做了一个较大的改进,则是不需要copy整个表格,只需要在原来的ibd文件上,新建所需要的索引页,这个过程比copy table节约极大的IO资源占用 且 DDL SQL执行速度大大提高,减少了该表格不提供写服务的时长。但是inplace仅支持索引的创建于删除,不支持其他的DDL操作,其他的DDL操作,仍然是copy table方式执行。
2 Online DDL实现原理
- PREPARE
- 创建新的临时frm文件
- 持有EXCLUSIVE_MDL锁,禁止读写
- 根据alter类型,确定执行方式(copy,rebuild,no-rebuild)
- 更新数据字典的内存对象
- 若是需要rebuild,分配row_log对象记录的增量
- 若是需要rebuild, 生成新的临时ibd文件
- EXECUTE
- 如果是仅修改元数据:
- 这部分无操作
- 其他,则是:
- 降低EXCLUSIVE-MDL锁,允许读写(copy 不允许写)
- 记录ddl执行过程中产生的增量row-log(仅rebuild类型需要)
- 扫描old_table的聚集索引每一条记录record
- 遍历新表的聚集索引和二级索引,逐一处理
- 根据record构造对应的索引项
- 将构造索引项插入sort_buffer块
- 将sort_buffer块插入新的索引
- 把row-log中的操作应用到新临时表中,应用到最后一个Block
- 如果是仅修改元数据:
- COMMIT
- 升级到EXECLUSIVE-MDL锁,禁止读写
- 重做最后一部分的row_log增量
- 更新innodb的数据字典表
- 提交事务,写redo日志
- 修改统计信息
- rename 临时的ibd文件、frm文件
- DDL完成
- Online DDL期间,查询和DML操作在多数情况下可以正常执行,对表格的锁时间也会大大减少,尽可能的保证数据库的可扩展性;
- 允许 in-place 操作的 DDL,避免重建表格占用过多磁盘IO及CPU资源,减少对数据库的整体负荷,使得在DDL期间,能够维持数据库的高性能及高吞吐量;
- 允许 in-place 操作的 DDL,比需要COPY到临时文件的操作要更少占用buffer pool,避免以往DDL过程中性能的临时下降,因为以前需要拷贝数据到临时表,这个过程会占用到buffer pool ,导致内存中的部分频繁访问的数据会被清理出去。
3 Online DDL涉及参数及选项
3.1 innodb_online_alter_log_max_size
3.2 Online DDL语法
- Alter table …. , ALGORITHM [=] {DEFAULT|INPLACE|COPY}, LOCK [=] { DEFAULT| NONE| SHARED| EXCLUSIVE }
3.3 lock 选项
LOCK=EXCLUSIVE
- 对整个表格添加独占锁(x锁),不允许查询跟修改操作
LOCK=SHARED
- 对整个表格添加(s锁),允许查询操作,但是不支持数据变更操作
LOCK=NONE
- 不添加锁,既允许查询操作,也支持数据库变更操作,该模式下并发最好
LOCK=DEFAULT
- 没有指定LOCK的时候,则是默认为这个选项
- 根据DDL的操作类型,最小程度的加锁,尽可能支持查询及0DML操作
- 首先判断当前操作是否可以使用NONE模式,如果不能,判断是否可以使用SHARED模式,如果不能,判断是否可以使用
EXCLUSIVE模式
3.4 ALGORITHM选项
ALGORITHM=INPLACE
ALGORITHM=COPY
4 Online DDL支持语法情况
- In-Place?
- 说明: 是否支持
ALGORITHM=INPLACE
- 说明: 是否支持
- Rebuilds Table?
- 说明:是否会重建表格
- 重建表格分为两种方式:INPLACE跟COPY (原地修改或者复制到临时文件修改)
- 如果支持
ALGORITHM=INPLACE
,那么则是原地修改 INPLACE(淡黄色标记) - 如果不支持
ALGORITHM=INPLACE
,那么则是COPY,拷贝到临时文件修改,并且不支持UPDATE DELETE INSERT操作(深褐色标记)
- Permits Concurrent DM
- 说明: 是否支持在DDL期间并发对该表格操作DML SQL
- 新增空间索引及全文索引时,不支持DML操作
- 当允许时,可以通过LOCK选项来控制是否要提供查询或者修改操作
- LOCK=NONE,支持查询跟UPDATE INSERT DELETE操作
- LOCK=SHARED,仅支持查询
- Only Modifies Metadata?
- 是否只修改元数据
5 测试记录
5.1 4个典型DDL操作分析
5.1.1 DDL测试内容
- 测试DB环境:表格名 tbddl,表格大小:1G ,500W行记录
- 测试流程:开启事务查询,不提交 => 执行DDL => 提交查询事务 => 执行DML =>开启事务,执行DML不提交 =>提交DML
- 测试DDL SQL
- ALTER TABLE tbddl MODIFY COLUMN ItemId VARCHAR(20);
- ALTER TABLE tbddl ADD xinysu int;
- CREATE INDEX IX_PROID ON tbddl (providerid);
- ALTER TABLE tbddl ALTER COLUMN xinysu SET DEFAULT 123456;
- ALTER TABLE tbddl ALTER COLUMN ItemId VARCHAR(50); #UTF8字符集,3个字节一个字符,50个字符则是150个字节,小于256bytes
- ALTER TABLE tbddl ALTER COLUMN ItemId VARCHAR(100); #UTF8字符集,3个字节一个字符,100个字符则是300个字节,大于256bytes
- 测试关注点
- 启动与关闭 old_alter_table
- prepare,commit阶段的锁是怎么样的
- excute阶段的锁是怎么样的
- 执行期间服务器的性能情况(zabbix监控)
- 执行期间数据库的并发情况(sysbench压测)
5.1.2 DDL测试结论
- 当 3M<256,3N<256,存储长度的字节不需要变化,都为1,则不需要变动行记录,仅需要修改元数据;
- 当 3M>256,3N>256,存储长度的字节不需要变化,都为2, 则不需要变动行记录,仅需要修改元数据;
- 当 3M<256,3N>256,存储长度的字节需要变化,由1变2, 则需要变动行记录,Online DDL使用COPY TABLE方式;
- 当 3M>256,3N>256,存储长度的字节需要变化,由2变1,则需要变动行记录,Online DDL使用COPY TABLE方式
5.2 同表格多个DDL处理
- 除了个别不支持inplace的DDL语句,其他DDL语句在执行期间是不会加X锁的,也就是表格仍然提供DML操作
- 锁的粒度,同个DDL语句中,按照最高级别的锁处理
- 维护的方便性
- 为啥copy table单独出来呢?
- 因为这一类操作过程中是不允许DML操作的,建议把这一类的合成单独一条DDL SQL执行,不与IPLACE的DDL SQL合并;
- 为啥iplace的要分为2类呢?
- 方便维护
- 仅元数据修改的DDL较快执行结束,为了方便管理维护,不至于所有SQL贴一堆,仅元数据修改的DDL语句归一类
- 需要REBUILD的归一类,避免重复rebuild,浪费磁盘IO跟CPU资源。
5.3 DDL执行期间数据库性能异常处理
- show processlist;
- kill 进程id;
5.4 DDL执行期间数据库宕机
5.5 DDL对主从的影响
- 使用注意
- 在从库严重落后主库的情况下,可以开启该参数实现多线程并行执行
- 在业务量低的数据库,不建议开启,从库同步性能反而会比拖累
- 配置注意
- 注意 master_info_repository relay_log_info_repository 设置为 table,默认是写入mater_info.log 及 relay_info.log ,刷下这两个文件的频率带来的性能影响比较大,据 姜承骁姜老师 压测,性能相差 20-50%间
- slave_parallel_workers 建议设置为从库 核心 数
- slave_parallel_type
- database,不同库的事务,触发从库并行回放
- logical_clock,组提交事务,按照组提交设置,从库并行回放,如果是为了改善DDL的滞后情况,应使用这个配置。
6 Online DDL注意事项
- 磁盘空间
- rebuild 的时候,datadir空间是否足够
- 因为会拷贝ibd文件,所以要确保空间足够
- rebuild 的时候,innodb_online_alter_log_max_size是否足够
- rebuild过程中,产生的DML涉及到行记录变更日志,是否足够存储
- inplace的时候,考虑tmpdir空间是否足够
- rebuild 的时候,datadir空间是否足够
- ddl对从库延迟的影响是否可以接受
- 主库online DDL的过程中,由于没有commit,所以其他并发操作可以正常同步到从库
- 主库commit后,DDL同步到从库
- 由于从库是单线程执行SQL_THREAD,假设DDL执行过程需要1个小时,那么从库将会滞后1小时+
- 是否允许从库的滞后,如果不允许,可以通过并行复制来优化处理
- row-log会检查重复值或者修改冲突吗?
- 会根据主键及唯一约束来检查
- copy table ,inplace下如何暂停DDL操作
- show full processlist;
- kill id; #( DDL SQL的id号)
- 这里kill完后,仍然可以再次正常执行DDL,不会存在冲突,其创建的临时idb及frm文件会自动删除
- copy table ,inplace下宕机
- 这两种情况下宕机后,没有完成的DDL语句不会继续执行
- 但是,其生成的frm跟idb临时文件不会被删除,可以手动删除,也可以不手动删除,即使不删除,也不会影响再次执行DDL
- 但建议mysql服务后,删除无用的临时文件
- 同个表格多个DDL语句,不要一个个执行
- 请按照是否支持inplace及是否需要rebuild分类合并执行
- 如何查看ddl进度(未解决)
- 如果有rebuild,则是通过ibd文件的增长来评估;但是如果是inplace,如何查看呢?有没有什么比较好的方式查看?performance_schema是否有提供相应的查询方式?
MySQL Online DDL的改进与应用的更多相关文章
- 详谈 MySQL Online DDL
作为一名DBA,对数据库进行DDL操作非常多,如添加索引,添加字段等等.对于MySQL数据库,DDL支持的并不是很好,一不留心就导致了全表被锁,经常搞得刚入门小伙伴很郁闷又无辜,不是说MySQL支持O ...
- mysql online ddl
大家知道,互联网业务是典型的OLTP(online transaction process)应用,这种应用访问数据库的特点是大量的短事务高并发运行.因此任何限制高并发的动作都是不可接受的,甚至 ...
- [资料收集]MySQL在线DDL工具pt-online-schema-change
MySQL在线DDL工具pt-online-schema-change pt-online-schema-change使用说明(未完待续) 官网
- 关于MySQL Online DDL
1. Online DDL 在 MySQL 5.1 (带InnoDB Plugin)和5.5中,有个新特性叫 Fast Index Creation(下称 FIC),就是在添加或者删除二级索引的时候, ...
- MySQL在线DDL gh-ost 使用说明
背景: 作为一个DBA,大表的DDL的变更大部分都是使用Percona的pt-online-schema-change,本文说明下另一种工具gh-ost的使用:不依赖于触发器,是因为他是通过模拟从库, ...
- MySQL使用DDL语句创建表
一.使用DDL语句创建表 DDL语言全面数据定义语言(Data Define Language) 主要的DDL动词: CREATE(创建).DROP(删除).ALTER(修改) TRUNCATE(截断 ...
- MySQL Online DDL导致全局锁表案例分析
MySQL Online DDL导致全局锁表案例分析 我这边遇到了什么问题? 线上给某个表执行新增索引SQL, 然后整个数据CPU打到100%, 连接数暴增到极限, 最后导致所有访问数据库的应用都奔溃 ...
- MySQL在线DDL工具 gh-ost
一.简介 gh-ost基于 golang 语言,是 github 开源的一个 DDL 工具,是 GitHub's Online Schema Transmogrifier/Transfigurator ...
- 【科普】MySQL中DDL操作背后的并发原理
一. 简介 DQL:指数据库中的查询(select)操作. DML:指数据库中的插入(insert).更新(update).删除(delete)等行数据变更操作. DDL:指数据库中加列(add co ...
随机推荐
- html基础知识1(基本标签)2017-03-07
摘要:php基础知识1 内容:大学中虽有接触,却是以学生的心态去应付考试的,学的都是理论知识:从今天开始我同样还是要以学生的心态去学习,但却要以要从事工作的心态去练习. 以下为第一天所学内容,因电脑原 ...
- cookie 详解 与 封装 实用的cookie
在WEB前端开发中,cookie是必不可少的,网上也有很多开源的库可以使用,不过我还是想自己总结一下,做个笔记并封装一个实用的库.(1)什么是cookie? 从web 角度 cookie是用于存储信息 ...
- 重回博客 谈一谈Node中的异步和单线程
重回博客,这个帐号之前注册后就只发了一篇博客.听朋友建议,决定一周两次更新. 第一篇谈论一下最近想的比较多的异步的问题. 传统多线程异步 传统的异步是多线程的,当要同时做两件事的时候,他们是执行在不同 ...
- 1197: [HNOI2006]花仙子的魔法
1197: [HNOI2006]花仙子的魔法 Time Limit: 10 Sec Memory Limit: 162 MBSubmit: 762 Solved: 443[Submit][Stat ...
- 基于SSH协议的端口转发
[前言] 最近一直在使用ssh协议的端口转发(隧道)功能,完成对内网空透等.这篇文章将主要讲解3种常用的ssh tunnelling使用方法和基本原理. 在介绍具体内容前,我先奉上端口转发的常用情景: ...
- struct和typedef struct在c语言中的用法
在c语言中,定义一个结构体要用typedef ,例如下面的示例代码,Stack sq:中的Stack就是struct Stack的别名. 如果没有用到typedef,例如定义 struct test1 ...
- (1) 类构造块,this(),static,单例模式串讲
类构造块 在类只用一对大括号包含的内容,构造所有的对象时都会执行的内容,如果某个类有好几个够赞函数,公共部分抽取出来,放到构造块中. clas Boy { ... { syso("哭...& ...
- 【2017-03-24】CSS样式表
CSS样式表:层叠式样式表 一.样式表的分类 1.内联式 写在标记的属性位置,优先级最高,重用性最差. 格式: <div style="width:100px;height:100px ...
- JS-DOM . 01 简单了解DOM
DOM概述 html加载完毕,渲染引擎会在内存中把html文档生成一个DOM树,getElementById是获取内DOM上的元素,然后操作的时候修改的是该元素的属性 体验事件/事件三要素1.事件源( ...
- Spring初识(通过小实例清晰认识Spring)
1.spring架构: spring是J2EE应用程序框架,是轻量级的IoC和AOP的容器框架,主要是针对javaBean的生命周期进行管理的轻量级容器,可以单独使用,也可以和Struts框架,iba ...