MySQL变更之:Online DDL 和 PT-OSC 该选谁?
参考:
http://www.fromdual.ch/online-ddl_vs_pt-online-schema-change
在MySQL 5.6版本以前,最昂贵的数据库操作之一就是执行数据定义语言(DDL,例如CREATE,DROP,ALTER等)语句,特别是ALTER语句,因为在修改表时,MySQL会阻塞整个表的读写操作。
对于巨大的表,可能需要几个小时才能完成表的DDL,如此势必会影响应用程序,因此需要对这些操作进行良好的规划,以避免在高峰时段进行这些更改。对于那些有全天候服务(24*7)或有限维护时间的人来说,大表上的DDL是一场真正的噩梦。
Percona开发了一个非常好的工具,称为 pt-online-schema-change,在线执行此类操作,而不会阻塞或影响应用程序,且允许对正在更改的表进行读/写操作。
MySQL也对DDL语句进行了一些增强,并在MySQL 5.6中引入了在线DDL功能。
PT-ONLINE-SCHEMA-CHANGE
OVERVIEW
pt-osc 用于 alter table 时不锁表,简单地说,这个工具创建一个与原始表一样的新的空表,并根据需要更改表结构,然后将原始表中的数据以小块形式复制到新表中,然后删除原始表,然后将新表重命名为原始名称。在复制过程中,对原始表的所有新的更改(insert,delete,update)都将应用于新表,因为在原始表上创建了一个触发器,以确保所有新的更改都将应用于新表。有关 pt-online-schema-change 工具的更多信息,请查阅手册文档 。大致的工作流程总结如下:
pt-osc工作过程
- 创建一个和要执行 alter 操作的表一样的新的空表结构(是alter之前的结构)
- 在新表执行alter table 语句(速度应该很快)
- 在原表中创建触发器3个触发器分别对应insert,update,delete操作
- 以一定块大小从原表拷贝数据到临时表,拷贝过程中通过原表上的触发器在原表进行的写操作都会更新到新建的临时表(会限制每次拷贝数据的行数以保证拷贝不会过多消耗服务器资源,采用 LOCK IN SHARE MODE 来获取要拷贝数据段的最新数据并对数据加共享锁阻止其他会话修改数据,不过每次加S锁的行数不多,很快就会被释放)
- Rename 原表到old表中,在把临时表Rename为原表(整个过程只在rename表的时间会锁一下表,其他时候不锁表)
- 如果有参考该表的外键,根据alter-foreign-keys-method参数的值,检测外键相关的表,做相应设置的处理
- 默认最后将旧原表删除
EXAMPLE
给表 test.scutech 的 name 字段加一个索引 idx_name (下面的输出完整的描述了该工具在后台执行的所有步骤):
# pt-online-schema-change --print --execute --alter="add index idx_name(name)" D=test,t=scutech,h=localhost,u=root,p=xxxxxx
No slaves found. See --recursion-method if host CentOS6.-zabbix has slaves.
Not checking slave lag because no slaves were found and --check-slave-lag was not specified.
Operation, tries, wait:
analyze_table, ,
copy_rows, , 0.25
create_triggers, ,
drop_triggers, ,
swap_tables, ,
update_foreign_keys, ,
Altering `test`.`scutech`...
Creating new table...
CREATE TABLE `test`.`_scutech_new` (
`id` int() NOT NULL AUTO_INCREMENT,
`number` int() DEFAULT NULL,
`name` varchar() DEFAULT NULL,
PRIMARY KEY (`id`)
) ENGINE=InnoDB AUTO_INCREMENT= DEFAULT CHARSET=utf8mb4
Created new table test._scutech_new OK.
Altering new table...
ALTER TABLE `test`.`_scutech_new` add index idx_name(name)
Altered `test`.`_scutech_new` OK.
--11T17:: Creating triggers...
CREATE TRIGGER `pt_osc_test_scutech_del` AFTER DELETE ON `test`.`scutech` FOR EACH ROW DELETE IGNORE FROM `test`.`_scutech_new` WHERE `test`.`_scutech_new`.`id` <=> OLD.`id`
CREATE TRIGGER `pt_osc_test_scutech_upd` AFTER UPDATE ON `test`.`scutech` FOR EACH ROW BEGIN DELETE IGNORE FROM `test`.`_scutech_new` WHERE !(OLD.`id` <=> NEW.`id`) AND `test`.`_scutech_new`.`id` <=> OLD.`id`;REPLACE INTO `test`.`_scutech_new` (`id`, `number`, `name`) VALUES (NEW.`id`, NEW.`number`, NEW.`name`);END
CREATE TRIGGER `pt_osc_test_scutech_ins` AFTER INSERT ON `test`.`scutech` FOR EACH ROW REPLACE INTO `test`.`_scutech_new` (`id`, `number`, `name`) VALUES (NEW.`id`, NEW.`number`, NEW.`name`)
--11T17:: Created triggers OK.
--11T17:: Copying approximately rows...
INSERT LOW_PRIORITY IGNORE INTO `test`.`_scutech_new` (`id`, `number`, `name`) SELECT `id`, `number`, `name` FROM `test`.`scutech` FORCE INDEX(`PRIMARY`) WHERE ((`id` >= ?)) AND ((`id` <= ?)) LOCK IN SHARE MODE /*pt-online-schema-change 124376 copy nibble*/
SELECT /*!40001 SQL_NO_CACHE */ `id` FROM `test`.`scutech` FORCE INDEX(`PRIMARY`) WHERE ((`id` >= ?)) ORDER BY `id` LIMIT ?, /*next chunk boundary*/
Copying `test`.`scutech`: % : remain
Copying `test`.`scutech`: % : remain
Copying `test`.`scutech`: % : remain
Copying `test`.`scutech`: % : remain
Copying `test`.`scutech`: % : remain
Copying `test`.`scutech`: % : remain
Copying `test`.`scutech`: % : remain
Copying `test`.`scutech`: % : remain
Copying `test`.`scutech`: % : remain
Copying `test`.`scutech`: % : remain
--11T17:: Copied rows OK.
--11T17:: Analyzing new table...
--11T17:: Swapping tables...
RENAME TABLE `test`.`scutech` TO `test`.`_scutech_old`, `test`.`_scutech_new` TO `test`.`scutech`
--11T17:: Swapped original and new tables OK.
--11T17:: Dropping old table...
DROP TABLE IF EXISTS `test`.`_scutech_old`
--11T17:: Dropped old table `test`.`_scutech_old` OK.
--11T17:: Dropping triggers...
DROP TRIGGER IF EXISTS `test`.`pt_osc_test_scutech_del`;
DROP TRIGGER IF EXISTS `test`.`pt_osc_test_scutech_upd`;
DROP TRIGGER IF EXISTS `test`.`pt_osc_test_scutech_ins`;
--11T17:: Dropped triggers OK.
Successfully altered `test`.`scutech`.
PT-ONLINE-SCHEMA-CHANGE 的局限性
- 在使用此工具之前,应为表定义PRIMARY KEY或唯一索引,因为它是DELETE触发器所必需的;
- 如果表已经定义了触发器,则不支持 pt-osc ;(显然不是不能有任何触发器,只是不能有针对insert、update、delete的触发器存在,因为一个表上不能有两个相同类型的触发器)
- 如果表具有外键约束,需要使用选项 --alter-foreign-keys-method ;
- 还是因为外键,对象名称可能会改变(indexes names 等);
- 在Galera集群环境中,不支持更改MyISAM表,系统变量 wsrep_OSU_method 必须设置为 TOI(total order isolation)。
ONLINE DDL
OVERVIEW
在MySQL 5.6中,引入了在线 DDL方法,以便访问和写入正在更改的表。在线DDL语法与指定两个参数后的正常 alter语句完全相同:
ALGORITHM:
- INPLACE: 表的更改将在原表进行,而不用重建整个表格(在大多数情况下,不需要将数据复制到临时表)
- COPY: 将数据复制到临时表中,重建表格并重建二级索引(相当于传统方法)
LOCK:
- NONE: Read and write operations are allowed during the altering process.
- SHARED: Only read operations are allowed during the altering operations (DML is not allowed).
- EXCLUSIVE: The entire table will be locked for both reading and writing (neither select nor DML are allowed).
Online DDL 在手册文档中有详细说明,您可以在这里查看更多信息。
哪些 ddl 操作可以使用 inplace算法?
EXAMPLE
给表 test.test2 的 name 字段加一个索引 name_idx
mysql> alter table test2
-> add index name_idx (name),algorithm=inplace, lock=none;
Query OK, 0 rows affected (0.03 sec)
Records: 0 Duplicates: 0 Warnings: 0
- 仅适用于InnoDB(语法上它可以与其他存储引擎一起使用,如MyISAM,但MyISAM只允许algorithm = copy,与传统方法相同);
- 无论使用何种锁(NONE,共享或排它),在开始和结束时都需要一个短暂的时间来锁表(排它锁);参考这里
- 在添加/删除外键时,应该禁用 foreign_key_checks 以避免表复制;
- 仍然有一些 alter 操作需要 copy 或 lock 表(老方法), 有关哪些表更改需要表复制或表锁定,请查看手册;
- 如果在表上有 ON ... CASCADE 或 ON ... SET NULL 约束,则在 alter table 语句中不允许LOCK = NONE;
- Online DDL 会被复制到从库(同主库一样,如果 LOCK = NONE,从库也不会加锁),但复制本身将被阻止,因为 alter 在从库以单线程执行,这将导致主从延迟问题。
COMPARISON RESULTS
下图是 Online DDL 和 PT-OSC 的一些操作的比较,表有 1,078,880 行。
rows affected 为 0,说明使用 in-place 方法,非0 则使用 copy-table 方法。当 rows affected 非0 时,建议使用 pt-osc 进行表变更。
另外,如果原表已经是 InnoDB 引擎,执行 alter table tb_name engine=innodb; 影响的行数是 0 ,可以使用 in-place ,此方法可以清理表空间的磁盘碎片。
WHICH METHOD SHOULD BE USED?
虽然pt-online-schema-change允许对被修改的表进行读写操作,但它仍然将表数据复制到后台的临时表中,这会在MySQL服务器上增加开销。 所以基本上,如果Online DDL不能有效地工作,我们才应该使用pt-online-schema-change。换句话说,如果在线DDL需要将数据复制到临时表(algorithm=copy),并且该表将被阻塞很长一段时间(lock = exclusive)或者在复制环境中更改大表时,则应该使用 pt-online-schema-change 工具。
使用 pt-osc 和原生 5.6 online ddl相比,如何选择?
- online ddl在必须copy table时成本较高,不宜采用
- pt-osc工具在存在触发器时,不适用
- 修改索引、外键、列名时,优先采用online ddl,并指定 ALGORITHM=INPLACE
- 其它情况使用pt-osc,虽然存在copy data
- pt-osc比online ddl要慢一倍左右,因为它是根据负载调整的
- 无论哪种方式都选择的业务低峰期执行
- 特殊情况需要利用主从特性,先alter从库,再改原主库(sql_log_bin),可避免主从延迟
在执行 ALTER TABLE 语句时,如果不清楚是否可以用上 Online DDL 的 inplace 算法,可以直接在语句后面加上 ALGORITHM = INPLACE,如果语句不能使用 in-place 机制,该语句会立即停止。
MySQL变更之:Online DDL 和 PT-OSC 该选谁?的更多相关文章
- mysql 5.6 在线 DDL
原文链接地址:http://seanlook.com/2016/05/24/mysql-online-ddl-concept/ 做MySQL的都知道,数据库操作里面,DDL操作(比如CREATE,DR ...
- Mysql 数据库操作之DDL、DML、DQL语句操作
Mysql 数据库操作之DDL.DML.DQL语句操作 设置数据库用户名密码 l Show databases 查看数据库列表信息 l 查看数据库中的数据表信息 ,格式: use 数据库名: sh ...
- mysql 5.6 online ddl
innodb存储引擎实现online ddl的原理是在执行创建或删除操作的同时,将DML操作日志写入到一个缓存中,待完成索引创建后再重做应用到表上,以此达到数据的一致性,这个缓存大小由参数innodb ...
- mysql一个事务中有DDL语句的binlog情况
在autocommit=1的情况下,开启一个事务,如果里面有DDL语句,那么事务开始到DDL语句之间的DML语句都会被提交.再开启新的事务.可以从binlog中看出 session语句: 09 ...
- MySQL(五)DDL(数据定义语言)
SHOW CREATE TABLE 表名\G前言 前面在数据库的讲解中,其实很多东西都非常的细节,在以前的学习过程中我都是没有注意到的.可能在以后的工作中会碰到所以都是做了记录的. 接下来,我将分享的 ...
- MySQL 8.0支持DDL原子化
在MySQL 5.5/5.6/5.7版本中,DDL操作是非原子型操作,在执行过程中遇到实例故障重启,可能导致DDL没有完成也没有回滚.如 1.执行DROP TABLE T1,T2操作,实例重启恢复后, ...
- mysql之 openark-kit online ddl
MySQL工具集openark-kit (官方网站 http://code.openark.org/forge/openark-kit),内部包含很多小工具,在5.6之前用于实现online ddl操 ...
- MySQL在线大表DDL操作
在线大表DDL操作的方法: 1.主从架构轮询修改 需要注意: a.主库会话级别的记录binglog的参数关闭 b.500\502错误异常捕捉 c.检查备库的second behind master是否 ...
- mysql变更数据的捕获和入库
问题:涉及状态的信息,mysql中是update的,缺少中间状态的记录.数据分析中需要这部分数据. 思路:后端服务通过监控某张表的某个字段,根据mysql的binlog文件,还原数据,发送到kafka ...
随机推荐
- 一个商品SKU是怎么生成的
首先说一说什么是SKU.......自己百度去... 类似京东上面,未来人类S5这个台笔记本(没错,我刚入手了) 都是S5这个型号,但是因为CPU,显卡,内存,硬盘等不同,价格也不一样.CPU,显卡, ...
- 跟我一起学Git (十) Patches【转】
本文转载自:http://cs-cjl.com/2014/05/05/learn_git_with_me_10 Git实现了以下三条用于交换patch的命令: git format-patch 用于创 ...
- 右上角鼠标滑过展开收缩动画效果js代码的演示页面
http://files.cnblogs.com/files/tanlingdangan/top_right.rar.gz 右上角鼠标滑过展开收缩动画效果js代码的演示页面http://www.51x ...
- unix下面是常用命令及简单说明
摘自:http://blog.sina.com.cn/s/blog_629b80af01018k7x.html 命令 功能简述 acctcom 等于进程记帐文件 accton 启动或中止记帐进程 ad ...
- CentOS7 默认防火墙firewalld
firewalld基础 firewalld是CentOS7源生支持的防火墙,firewalld最大的好处有两个:支持动态更新,不用重启服务:第二个就是加入了防火墙的“zone”概念. firewall ...
- arm-linux-gcc4.4.3编译s3c2410平台linux内核
写在前面:2.6.14版本的内核用arm-linux-gcc4.4.3没有编译成功,下载2.6.37版本的内核用arm-linux-gcc4.4.3编译通过. 一.首先下载linux内核: linux ...
- MySQL如何计算动销率_20161025
动销率一般反映在采购管理上,它的公式为:商品动销率=(动销品种数 /仓库总品种数)*100% . 也可以理解为销售的商品数量和仓库库存的商品数量,假如你仓库里有100个品种,在上月销售了50种,动销率 ...
- HDU 1166 敌兵布阵 (线段树单点修改和区间和查询)
Input 第一行一个整数T,表示有T组数据.每组数据第一行一个正整数N(N<=50000),表示敌人有N个工兵营地,接下来有N个正整数,第i个正整数ai代表第i个工兵营地里开始时有ai个人(1 ...
- 设置一个.exe文件开机启动
运行"regedit",编辑注册表 HKEY_LOCAL_MACHINE -- SOFTWARE -- Microsoft -- Windows -- CurrentVersion ...
- 湖南程序设计竞赛赛题总结 XTU 1237 Magic Triangle(计算几何)
这个月月初我们一行三人去湖南参加了ccpc湖南程序设计比赛,虽然路途遥远,六月的湘潭天气燥热,不过在一起的努力之下,拿到了一块铜牌,也算没空手而归啦.不过通过比赛,还是发现我们的差距,希望这几个月自己 ...