前言:

  在系统正常运作一定时间后,随着市场、产品汪的需求不断变更,比较大的一些表结构面临不得不增加字段的方式来扩充满足业务需求;

   而 MySQL 在体量上了千万、亿级别数据的时候,Alter Table 的操作,可以让你等一天,而且在高峰期执行这种 SQL 让你的数据库也承担着压力。

  第一时间想到的解决方案就是新建一张表,去掉索引等关联关系,然后加上需要修改的字段,接着写上 insert select 语句进行导数据,  

  后面发现加上重建索引的操作,时间上几乎没有出入;

  针对这种问题,赶紧翻翻 《高性能 MySQL》 ,里面有写出一种解决方案,与大家分享一下。

一、工具

  // “影子拷贝”,针对不同的场景而言的方式,在一台不提供服务的机器上执行 Alter Table 操作,然后和提供服务器的机器进行切换;

  Facebook 数据库运维团队的“online scherma change”工具:

    https://launchpad.net/mysqlatfacebook

  Shlomi Noach 的 openrak toolkit 工具:

    https://launchpad.net/mysqlatfacebook

  // 不是所有的 Alter Table 操作都会引起表重建。

二、修改 .frm 文件

  // .frm MySQL 数据库表结构定义文件;(.myd 数据文件、.myi 索引文件、.idb 数据&索引文件 [前者 MyISAM 后者 InnoDB])

  修改 .frm 文件非官方支持的,也没有文档记录,并且也有可能无法正常工作了,采用这些技术自己承担风险,做好备份!

  下面这些操作有可能不需要重建表的:

  1、移除(不是增加)一个列的 AUTO_INCREMENT 属性。

  2、增加、移除,或更改 ENUM 和 SET 常量。如果移除的是已有行数据用到其值的常量,查询将会返回一个空字符串。

  基本的技术是为想要的表结构创建一个新的 .frm 文件,然后用它替换掉已经存在的那张表的 .frm 文件,如下:

  1、创建一张有相同结构的空表,并进行所需要的修改(例如增加 ENUM 常量);

  2、执行 FLUSH TABLES WITH READ LOCK。这将会关闭所有正在使用的表,并且禁止任何表被打开;

  3、交换 .frm 文件;

  4、执行 UNLOCK TABLE 来释放第 2 步的读锁;

  假如我们需要为那些对电影更加谨慎的父母们增加一个 PG-14 的电影分级:

  

   注意,我们是在常量列表的末尾增加一个新的值。如果把新增的值放在中间,

  例如 PG-13 之后,则会导致已存在的数据的含义被改变:已经存在的 R 值将变成 PG-14,

  而已经存在的 NC-17 将成为 R,等等。

  

  接下来用操作系统的命令替换 .frm 文件:

/var/lib/mysql/sakial# mv film.frm film_tmp.frm
/var/lib/mysql/sakial# mv film_new.frm film.frm
/var/lib/mysql/sakial# mv film_tmp.frm film_new.frm

  再回到 MySQL 命令行,现在可以解锁并查看变更后的效果了:

UNLOCK TABLES;
SHOW COLUMNS FROM sakila.film LIKE 'rating'\G

  最后需要做的就是删除这个临时的辅助表了。

MySQL 大数据量修改表结构问题的更多相关文章

  1. mysql5.5大数据量下表结构升级

    升级一张4万多行(增加一个字段),且包含blob字段的表(blob字段包含100KB左右的数据),运行alter语句:ALTER TABLE `imgdetail` ADD COLUMN  `uplo ...

  2. 【1】MySQL大数据量分页查询方法及其优化

    ---方法1: 直接使用数据库提供的SQL语句---语句样式: MySQL中,可用如下方法: SELECT * FROM 表名称 LIMIT M,N---适应场景: 适用于数据量较少的情况(元组百/千 ...

  3. MySQL大数据量分页查询

    mysql大数据量使用limit分页,随着页码的增大,查询效率越低下. 测试实验 1.   直接用limit start, count分页语句, 也是我程序中用的方法: select * from p ...

  4. MySQL 大数据量快速插入方法和语句优化

    MySQL大数据量快速插入方法和语句优化是本文我们主要要介绍的内容,接下来我们就来一一介绍,希望能够让您有所收获! INSERT语句的速度 插入一个记录需要的时间由下列因素组成,其中的数字表示大约比例 ...

  5. mysql大数据量下的分页

    mysql大数据量使用limit分页,随着页码的增大,查询效率越低下. 测试实验 1.   直接用limit start, count分页语句, 也是我程序中用的方法: select * from p ...

  6. MySQL大数据量分页查询方法及其优化

    MySQL大数据量分页查询方法及其优化   ---方法1: 直接使用数据库提供的SQL语句---语句样式: MySQL中,可用如下方法: SELECT * FROM 表名称 LIMIT M,N---适 ...

  7. MySQL大数据量分页性能优化

    mysql大数据量使用limit分页,随着页码的增大,查询效率越低下. 测试实验 1.   直接用limit start, count分页语句, 也是我程序中用的方法: select * from p ...

  8. Mysql 大数据量导入程序

    Mysql 大数据量导入程序<?xml:namespace prefix = o ns = "urn:schemas-microsoft-com:office:office" ...

  9. MySQL大数据量快速分页实现(转载)

    在mysql中如果是小数据量分页我们直接使用limit x,y即可,但是如果千万数据使用这样你无法正常使用分页功能了,那么大数据量要如何构造sql查询分页呢?     般刚开始学SQL语句的时候,会这 ...

随机推荐

  1. (2)linux未使用eth0,未使用IPV4导致无法连接

    首先ifconfig查看网络IP 看,我这里默认启用了2个网卡,一个是eth0,另一个是lo(基于loopback方式) 1.如果有eth0则做:界面修改 (1)输入命令setup,选择network ...

  2. c语言复制文件程序

    #include <stdio.h> #include <stdlib.h> #include <string.h> #define SIZE 1024*1024* ...

  3. 001-OSI七层模型,TCP/IP五层模型

    一.概述 OSI(Open System Interconnection)参考模型是国际标准化组织(ISO)制定的一个用于计算机或通信系统间互联的标准体系,一般称为OSI参考模型或七层模型. OSI/ ...

  4. vue_router打包(webpack)

    把组件按组分块 有时候我们想把某个路由下的所有组件都打包在同个异步 chunk 中.只需要 给 chunk 命名,提供 require.ensure第三个参数作为 chunk 的名称: require ...

  5. 分层架构下的纯JDBC事务控制简单解决方案【转】

    http://blog.csdn.net/qjyong/article/details/5464835 对目前的JavaEE企业应用开发来说,基本都会采用分层的架构, 这样可以分散关注.松散耦合.逻辑 ...

  6. 解释*args和**kwargs的含义

    当我们不知道向函数传递多少参数时,比如我们向传递一个列表或元组,我们就使用*args def func(*args): for i in args: print(i) func(3,2,1,4,7) ...

  7. Polar 投影c#版本移植

    from:http://hi.baidu.com/sungaoyong/item/0c4584d25873f131e3108f05 ///刘泽军java版本的极坐标投影c#版本的移植 using Sy ...

  8. Java访问网络url,获取网页的html代码

    在Java中,Java.net包里面的类是进行网络编程的,其中,java.net.URL类和java.net.URLConection类是编程者方便地利用URL在Internet上进行网络通信.有两种 ...

  9. $ python正则表达式系列(1)——正则元字符

    本文主要介绍python中正则表达式的基本用法,做一个初步的认识. 1. 初识 python通过re内置模块来处理正则表达式(regex),底层使用C引擎.一个简单的正则匹配的例子: import r ...

  10. Linux基本命令 文件搜索命令

    1.文件搜索命令find ================================================================================== 命令名称 ...