解答你也看一下MySQL5.6在线DDL不锁表,现在我有一张1亿的表,需要增加一个字段,假如我让你去增加这个字段,你应该注意什么,具体怎么操作? 操作如下:1.注意磁盘空间(临时表目录 参数 tmpdir ,因为需要创建临时表使用 algorithm=default,inplace,copy copy是用临时表的方法 lock=default,none,shared,exclusive)2.当前内存剩余量3.当前有没有大的事务在执行4.innodb_online_alter_log_max_si…

Innodb性能改善方面: --Users can add indexes and perform standard table alterations while the database remains available for application updates. 支持在线操作(add index.alter table): 例子一:在线添加索引:开启一个session,对italk库下的data_userinfo表做创建索引的操作,(该表大概70万数据):mysql>>creat…

尝试对mysiam表(1500万)删除索引失败 #uk表字段类型比较简单,都是int/tinyint/timestamp类型. CREATE TABLE `uk` (  `id` int(11) NOT NULL AUTO_INCREMENT,  `a` int(11) NOT NULL DEFAULT '0',  `b` int(11) NOT NULL,  `c` int(11) NOT NULL DEFAULT '0',  `d` int(11) NOT NULL DEFAULT '0',…

在MySQL5.5和之前版本,在运行的生产环境对大表(超过数百万纪录)执行Alter操作是一件很困难的事情.因为将重建表和锁表,影响用户者的使用.因此知道Alter操作何时结束对我们是非常重要的.甚至当执行Create index的时候.如果启用了 fast_index_creation,则不会重建表,但是仍然会锁表.fast_index_creation特性引进在MySQL5.5和更高版本里.在MySQL5.1中如果使用了innodb plugin则也可以使用该特性.   自从MySQL5.6…

DDL(data definition language) : 数据库定义语言 用来定义创建操作表的时候用到的一些sql命令,比如CREATE.ALTER.DROP等等. DML(data manipulation language) :数据操纵语言 对表中具体数据的操作,比如UPDATE.INSERT.DELETE这样的. DCL(Data Control Language):数据库控制语言 用于数据库的控制设置功能,比如数据库角色,登录权限授予. TCL(Transaction Contro…

最近经常在线上经常遇到有性能问题的SQL,有些表没有合理添加索引,有些表添加的索引不合理,各种各样的问题,导致SQL的执行效率不高.这时DBA们不得不重构SQL,使其达到最好的性能,这时我们往往要在线添加或者删除索引.字段等等的操作.如果是MySQL 5.5的版本在DDL方面是要付出代价的,虽然已经有了Fast index Creation,但是在添加字段还是会锁表的,而且在添加删除辅助索引是会加S锁,也就是无法进行写操作.所以,这里就有相关工具的出现,那就是pt-online-schema-c…

性能测试 一.测试背景 1.机器配置和版本 机器配置(下面测试qps数据都是以本机器配置为准) 型号:Dell s3710 磁盘:SSD 3T CPU:32 内存:128G MySQL版本:5.7.22 gh-ost版本:1.0.46 pt-osc版本:3.0.12 2.数据准备和业务模拟 ----插入1000万条数据,表大小约2G-- sysbench --mysql-user=darren --mysql-password=darren --mysql-host=10.126.126.164…

[1.mysql-8.0.x 新特性之 DDL 原子性] 在没有 DDL 原子性之前 DBA 对 DDL 语句基本上是无能为力的,比如说 DDL 执行的过程中停电了,这下就只有天知道了.实现上最终的愿景还是希望得到一个确定的结果,要么成功了,要么失败了.mysql-8.0.x 带来了 DDL 原子性 [2.mysql-5.6.x DDL 操作的表现] mysql-5.6.x 并不保证原子性,所以当我们一次 drop 多个表的时候就有可能遇到部分成功的情况 mysql> select @@vers…

1 OSC介绍 在我们的数据库操作中,更改表结构是一个常见的操作,而当我们的表数据量非常大时,我们更改表结构的时间是非 常的长,并且在跟改期间,会生成一个互斥锁,阻塞对整个表的所有操作,这样,对于我们线上数据来说是无法容忍 的,以往的做法中,为了不影响线上业务,我们一般采用:先在线下从库更改表结构,然后替换线上从库,这样一台 台的修改,最后做一下主库切换,这个过程会耗费很长时间,并且在做主库切换时,风险也非常的大,OSC(Online Schema Change)大多都是利用了触发器的原理,实现…

最近工作的内容涉及MySQL运维内容,陆陆续续读了几本相关的书,其中一本是<MySQL管理之道:性能调优.高可用与监控>. 内容涵盖性能调优(包括sql优化等).备份.高可用,以及读写分离等,对于普及MySQL基础非常有用.记录一下,以便于后面查阅. 附目录: 1章 MariaDB架构与历史1 1.1 MariaDB的介绍 1 1.2 MariaDB和MySQL的兼容性 2 1.3 MariaDB 10.0新增的功能 3 1.3.1 更多的存储引擎 4 1.3.2 速度的提升 5 1.3.3…

系列文章 五.如何选择普通索引和唯一索引<死磕MySQL系列 五> 六.五分钟,让你明白MySQL是怎么选择索引<死磕MySQL系列 六> 七.字符串可以这样加索引,你知吗?<死磕MySQL系列 七> 八.无法复现的"慢"SQL<死磕MySQL系列 八> 参与了好几个项目开发,每个项目随着业务量的增大,MySQL数据日益剧增,例如其中一个项目中得用户足迹表,那是非常的疯狂,只怪我大意了,没有闪. 这篇文章我会从delete对性能的影响,以…

MySQL管理之道,性能调优,高可用与监控(第二版) 书中内容以实战为导向,所有内容均来自于笔者多年实践经验的总结和新知识的拓展,同时也针对运维人员.DBA等相关工作者会遇到的有代表性的疑难问题给出了实用的情景模拟,并给出了解决方案.不论你目前有没有遇到过此类问题,相信对你以后处理相关问题都会有所借鉴.本书适合所有希望构建和管理高性能.高可用性的MySQL数据库系统的开发者和DBA阅读. ​ 整本书的目录结构 第1章 MariaDB架构与历史 1.1 MariaDB的介绍 1.2 MariaDB…

1. 问题:怎么给线上表加字段? 工作中最常遇到的问题,怎么给线上频繁使用的大表添加字段? 比如:给下面的用户表(user)添加年龄(age)字段. CREATE TABLE `user` ( `id` int NOT NULL AUTO_INCREMENT COMMENT '主键', `name` varchar(100) DEFAULT NULL COMMENT '姓名', PRIMARY KEY (`id`) ) ENGINE=InnoDB COMMENT='用户表'; 有同学会说,这还不…

原创作品,允许转载,转载时请务必以超链接形式标明文章 原始出处 .作者信息和本声明.否则将追究法律责任.http://suifu.blog.51cto.com/9167728/1855872 Part1:写在最前 Online DDL,当新手听到这个名字的时候,非常高兴,以为无论什么情况下,修改表结构都不会锁表,理想很丰满,现实很骨感!读完本文,教你如何避开这些雷区,安全的修改表结构.话不多说,我们分别来看下MySQL5.6和MySQL5.7在修改表结构上的相同和异同. Part2:5.6.25…

MySQL5.7在线修改varchar字段不在锁表,测试过程如下: mysql> select version(); +------------+ | version() | +------------+ | 5.7.18-log | +------------+ mysql> select count(*) from T_USER_INFO; +----------+ | count(*) | +----------+ | 7147528 | +----------+ 打开两个命令行窗口:…

数据库版本: mysql> select @@version; +------------+ | @@version | +------------+ | 5.7.26-log | +------------+ 事务隔离级别: mysql> show variables like '%iso%'; +-----------------------+----------------+ | Variable_name | Value | +-----------------------+-----…

binlog作为mysql中最重要的日志之一,能实现异常恢复以及主从复制. 我们主要讨论的是主从复制中的binlog,这里将以mysql5.7.13的源码为主要依据来分析binlog. 在主从复制中,binlog一般使用row模式,在主服务器上是binlog,在副服务器上是relaylog,在sql\binlog.h中is_relay_log这个变量来区分该情况. 在整个mysql中只有一个MYSQL_BIN_LOG实例,那就是在mysqld.h中定义的mysql_bin_log 1.binlo…

一. server参数默认值设置的变化http://dev.mysql.com/doc/refman/5.6/en/server-default-changes.html 二. innodb增强1.全文本搜索(full-text search).2.支持online DDL.3.独立表空间的.ibd文件可以在建表时指定目录:http://dev.mysql.com/doc/refman/5.6/en/tablespace-placing.html4.导入和导出表空间:copy文件的方式比mysq…

    大家知道,互联网业务是典型的OLTP(online transaction process)应用,这种应用访问数据库的特点是大量的短事务高并发运行.因此任何限制高并发的动作都是不可接受的,甚至会给网站带来灾难.对于数据库而言,高并发通常与事务ACID是一对矛盾体,为了保证事务的ACID特性,必需用一定的手段来控制并发,比如基于锁的并发控制,亦或是基于MVCC的并发控制.基于MVCC的并发控制只是一定程度上解决了读不阻塞的问题,但对于DML或DDL依然通过锁机制来保证事务的隔离性. 所有数…

<?php /* InnoDB事务模型和锁定 15.2.10.1. InnoDB锁定模式 15.2.10.2. InnoDB和AUTOCOMMIT 15.2.10.3. InnoDB和TRANSACTION ISOLATION LEVEL 15.2.10.4. 持续非锁定读 15.2.10.5. 锁定读SELECT ... FOR UPDATE和SELECT ... LOCK IN SHARE MODE 15.2.10.6. Next-Key锁定:避免匪夷所思的问题 15.2.10.7. 持续读…

<?php /* MySQL_5.5中文参考手册 587开始 与GROUP BY子句同时使用的函数和修改程序 12.10.1. GROUP BY(聚合)函数 12.10.2. GROUP BY修改程序 12.10.3. 具有隐含字段的GROUP BY 12.10.1. GROUP BY(聚合)函数 本章论述了用于一组数值操作的 group (集合)函数.除非另作说明, group 函数会忽略 NULL 值. 假如你在一个不包含 ROUP BY子句的语句中使用一个 group函数,它相当于对所有行…

MySQL5.7开始支持表空间加密了,增强了MySQL的数据文件的安全性,这是一个很不错的一个功能,这个特性默认是没有启用的,要使用这个功能要安装插件keyring_file. 下面就来看看怎么安装,安装这个插件不用重启MySQL 1.安装插件 1.1 安装插件 (mysql5.7)root@localhost [(none)]> INSTALL PLUGIN keyring_file  soname 'keyring_file.so';Query OK, 0 rows affected ( 0…

"D:\mysql-5.6.22-winx64\bin"添加到系统环境变量path中了,然后在任意目录可访问mysql等命令,这样如登录等操作就不需要进入MySQL安装目录才好执行!j在最后记得还要加个;.;. MySQL下载(两个):网址: www.oracle.com1)下载MySQL Community Server (GPL) ---MySQL数据库2) MySQL Connectors ---jdbc驱动 登录: mysql -u root -p1234 查看有哪些数据库:…

http://blog.chinaunix.net/uid-10661836-id-4278807.html 在MySQL5.6的Information_Schema引入新的INNODB_METRICS,此表用来监控InnoDB运行是否正常,并且该表包括很多计数器 mysql> select version(); +------------------+ | version() | +------------------+ -debug-log | +------------------+ ro…

1.下载mysql-5.5.20-win32.zip,解压到D:\dev,D盘的dev文件夹下就会出现mysql-5.5.20-win32目录,将其重命名为mysql. 2.配置MYSQL的环境变量 新增系统变量MYSQL_HOME: D:\dev\mysql 在PATH变量的最后面添加: ;%MYSQL_HOME%\bin 保存即可. 3.打开文件my-default.ini另存为my.ini,删除my.ini中的所有配置,在my.ini文件中加入如下简单配置:(my.ini是保存在与my-d…

MySQL Windows安装包说明: 1.mysql-5.5.20-win32.msi:Windows 安装包,图形化的下一步下一步的安装. 2.mysql-5.5.20.zip,这个是windows源文件,需要编译,对应的Linux源文件是mysql-5.5.20.tar.gz 3.mysql-5.5.20-win32.zip,这个文件解包后即可使用,是编译好的windows32位Mysql. 1.下载mysql-5.5.20-win32.zip,解压到D:\dev,D盘的dev文件夹下就会…

最近一个日常实例在做DDL过程中,直接把数据库给干趴下了,问题还是比较严重的,于是赶紧排查问题,撸了下crash堆栈和alert日志,发现是在去除唯一约束的场景下,MyRocks存在一个严重的bug,于是紧急向官方提了一个bug.其实问题比较隐蔽,因为直接一条DDL语句,数据库是不会挂了,而是在特定情况下,并且对同一个索引操作多次才会发生,因此排查问题也费了一些时间,具体bug排查和复现过程不在此展开,有兴趣的童鞋可以直接看bug链接:https://github.com/facebook/my…

随着需求的变化越来越快,在线修改表结构变得越来越需要. 在mysql5.6以前,mysql的修改表结构操作会锁表,这样就会造成开发人员或者DBA修改表结构必须要等到凌晨流量谷值或者停服修改.这样必定会流失一部分用户,在当下的互联网需求里是不太能容忍的. 在mysql5.6之后,虽然mysql支持在线ddl,但是一些操作仍然会造成锁表.详情请看mysql官方文档介绍. 所以博主在查阅工具手册,他人经验后,采取了一种相对稳妥的办法.采用pt-osc工具. 注:pt-osc不适用于 1:修改带有触发器…

导读:在MySQL5.6之前版本,Innodb表的许多DDL操作是非常昂贵.许多ALTER TABLE操作的原理是通过创建新的空表,定义被要求的表选项和索引,然后逐行拷贝已存在记录到新表,在插入行时更新索引.在旧表所有行被拷贝完,旧表被删除和那新表被重命名为旧的表名.MySQL5.5,和MySQL5.1 有了InnoDB Plugin,优化了CREATE INDEX和DROP INDEX 避免表的拷贝行为.这个特性被称为Fast index Creation.MySQL 5.6 加强ALTER…

概述 一般来说数据库结构一经设计,不能轻易更改,因为更改DDL(Data Definition Language)操作代价很高,所以在进行数据库结构设计时需要谨慎. 但是业务发展是未知的,特别是那些变化很大的业务,所以不可避免的需要修改数据库结构,本文主要对MySQL5.6+ InnoDB存储引擎字段的修改进行探讨. 对于不同的场景,所使用的方式也会大不相同,尤其是修改百万级,千万级的表字段时,要特别注意. DDL操作类型 数据库结构的DDL操作总体来说有如下几种: 索引操作(Index Ope…