单表数据量：670W；

删除一个老的索引，新建一个新的索引。

事故原因：

先删除索引，应用访问量大，没有索引自然慢，数据库CPU飚到100%；新索引创建失败。

直接造成交易打烊。

日志：

------[2019-03-26 19:39:48]------

检查Threads_running(运行中的线程数量)，它在一定程度上代表了当前数据库的负荷。

[Threads_running : 28 ] 正常。

------[2019-03-26 19:39:48]------

set lock_wait_timeout=10

------[2019-03-26 19:39:48]------

开始执行SQL...

------[2019-03-26 19:39:59]------

Lock wait timeout exceeded; try restarting transaction

------[2019-03-26 19:39:59]------

重试执行第1次...

------[2019-03-26 19:39:59]------

检查Threads_running(运行中的线程数量)，它在一定程度上代表了当前数据库的负荷。

------[2019-03-26 19:39:59]------

[Threads_running : 142 ]当前数据库繁忙。暂停5S后将执行第1次重试，请等待...

------[2019-03-26 19:40:04]------

开始重试检查Threads_running。

------[2019-03-26 19:40:04]------

[Threads_running : 143 ]当前数据库繁忙。暂停5S后将执行第2次重试，请等待...

------[2019-03-26 19:40:09]------

开始重试检查Threads_running。

------[2019-03-26 19:40:09]------

[Threads_running : 143 ]当前数据库繁忙。暂停5S后将执行第3次重试，请等待...

------[2019-03-26 19:40:14]------

开始重试检查Threads_running。

------[2019-03-26 19:40:14]------

[Threads_running : 143 ]当前数据库繁忙。暂停5S后将执行第4次重试，请等待...

------[2019-03-26 19:40:19]------

开始重试检查Threads_running。

------[2019-03-26 19:40:19]------

[Threads_running : 143 ]当前数据库繁忙。暂停5S后将执行第5次重试，请等待...

------[2019-03-26 19:40:24]------

开始重试检查Threads_running。

------[2019-03-26 19:40:24]------

[Threads_running : 143 ] 当前数据库繁忙！任务取消执行，请稍后数据库空闲后重试！

处理方案：

下线应用，kill掉CPU链接，等CPU降下来手工创建索引。启动应用，正常。

经验教训：

1、加强DDL语句审核

2、先建索引，再删索引，顺序一定要对，尤其产线。

产线事故：删除创建mysql索引的更多相关文章

  1. 创建mysql索引的方式

    创建索引方式: 1.create index 索引名   on 表名 (字段) 2.alter table 表  add index 索引名  (字段) -- 普通索引 alter table 表名 ...

  2. MySQL索引，如何正确创建MySQL索引？

    索引可以提高数据的检索效率,也可以降低数据库的IO成本,并且索引还可以降低数据库的排序成本.排序分组操作主要消耗的就是CPU资源和内存,所以能够在排序分组操作中好好的利用索引将会极大地降低CPU资源的 ...

  3. mysql索引总结(1)-mysql 索引类型以及创建

    mysql索引总结(1)-mysql 索引类型以及创建 mysql索引总结(2)-MySQL聚簇索引和非聚簇索引 mysql索引总结(3)-MySQL聚簇索引和非聚簇索引 mysql索引总结(4)-M ...

  4. mysql索引总结(4)-MySQL索引失效的几种情况

    mysql索引总结(1)-mysql 索引类型以及创建 mysql索引总结(2)-MySQL聚簇索引和非聚簇索引 mysql索引总结(3)-MySQL聚簇索引和非聚簇索引 mysql索引总结(4)-M ...

  5. mysql索引总结(3)-MySQL聚簇索引和非聚簇索引

    mysql索引总结(1)-mysql 索引类型以及创建 mysql索引总结(2)-MySQL聚簇索引和非聚簇索引 mysql索引总结(3)-MySQL聚簇索引和非聚簇索引 mysql索引总结(4)-M ...

  6. mysql索引总结(2)-MySQL聚簇索引和非聚簇索引

    mysql索引总结(1)-mysql 索引类型以及创建 mysql索引总结(2)-MySQL聚簇索引和非聚簇索引 mysql索引总结(3)-MySQL聚簇索引和非聚簇索引 mysql索引总结(4)-M ...

  7. MySql索引要注意的8个事情

    设计好MySql索引可以让你的数据库查询效率大为提高.设计MySql索引的时候,有一些问题需要值得我们注意的: 1,创建MySql索引 对于查询占主要的应用来说,索引显得尤为重要.很多时候性能问题很简 ...

  8. MySQL索引的创建、删除和查看

    MySQL索引的创建.删除和查看 此文转自http://blogold.chinaunix.net/u3/93470/showart_2001536.html 1．索引作用 在索引列上,除了上面提到的 ...

  9. MySQL索引的创建，查看，删除

    在执行CREATE TABLE语句时可以创建索引,也可以单独用CREATE INDEX或ALTER TABLE来为表增加索引. 1．ALTER TABLE ALTER TABLE用来创建普通索引.UN ...

随机推荐

  1. js数组详解

        1,什么是数组 数组是值得有序集合,每个值叫做一个元素,而每个元素在数组中有一个位置,以数字表示,称为索引.js的数组是无类型的,数组元素可以是任意类型,同一个数组中的不同元素可能是对象或数组 ...

  2. hadoop 3.0.0 alpha3 安装、配置

    1. 官网下载 wget  http://mirror.bit.edu.cn/apache/hadoop/common /hadoop-3.0.0-alpha3/hadoop-3.0.0-alpha3 ...

  3. Android蓝牙自动配对Demo，亲测好使！！！

    蓝牙自动配对,即搜索到其它蓝牙设备之后直接进行配对,不需要弹出配对确认框或者密钥输入框. 转载请注明出处http://blog.csdn.net/qq_25827845/article/details ...

  4. 05_dubbo_aop

    [对这行代码进行源码分析] ExtensionLoader<Protocol> loader = ExtensionLoader.getExtensionLoader(Protocol.c ...

  5. 23_ConcurrentLinkedQueue

    [简述] ConcurrentLinkedQueue是一个适用于高并发场景下的队列,通过无锁的方式,实现了高并发状态下的高性能,通常ConcurrentLinkedQueu性能好于BlockingQu ...

  6. 【阿里云产品公测】OpenSearch初体验

    OpenSearch是一个非常有意义的功能,对于很多数据量较大的站点, SF2<   如果搜索功能自己做的话,或者用数据库里的查询语句,首先效率低下,而且占用资源. ); <Le6   另 ...

  7. idea智能提示 不管用 问题

    今天碰到个问题,idea的智能提示 死活不能使用了.同一个包下的类竟然还没有智能提示,无语了... 搜了好多篇文章,虽然知道 重装可以解决...  这样设置就可以了:

  8. Linux系统下安装Gitlab

    Linux系统下安装Gitlab 一.简介 GitLab是利用 Ruby on Rails 一个开源的版本管理系统,实现一个自托管的Git项目仓库,可通过Web界面进行访问公开的或者私人项目.它拥有与 ...

  9. Postfix的工作原理

    传统的Sendmail将所有功能都集中在同一个程序里,这种结构我们称之为“单体式设计”(monolithic).Postfix采用专职负责的策略,不同的功能分别交由不同的专门程序处理,这种结构称为“模 ...

  10. javascript tips and snippets

    如何给javascript对象动态创建动态key // ES2015 var key = 'DYNAMIC_KEY', obj = { [key]: 'ES6!' }; console.log(obj ...