--MySQL Flush导致的等待问题

-------------------------------2014/07/13

前言

在实际生产环境中有时会发现大量的sql语句处于waiting for table.. 状态中,有时候看起来会让人觉得困惑,本文将讲解此状态产生的原因及解决办法。

正文

本文中用到了lock table来模拟实际情况, 首先介绍一个lock tables需要注意的事项,如果在一个session中使用了lock tables,那么在此session中将只能访问获取到lock的表。官方解释:

If the LOCK TABLES statement must wait due to locks held by other sessions on any of the tables, it blocks until all locks can be acquired.

A session that requires locks must acquire all the locks that it needs in a single LOCK TABLES statement. While the locks thus obtained are held, the session can access only the locked tables. For example, in the following sequence of statements, an error occurs for the attempt to access t2 because it was not locked in the LOCK TABLES statement:

mysql> LOCK TABLES t1 READ;

mysql> SELECT COUNT(*) FROM t1;

+----------+
| COUNT(*) |
+----------+
|        3 |
+----------+ mysql> SELECT COUNT(*) FROM t2; ERROR 1100 (HY000): Table 't2' was not locked with LOCK TABLES Tables in the INFORMATION_SCHEMA database are an exception. They can be accessed without being locked explicitly even while a session holds table locks obtained with LOCK TABLES.

基于这样的原因,往往在备份时选择flush table with read lock;是个不错的选择,如果成功,它会锁住所有表。

回顾一下官方文档关于flush table的解释

Closes all open tables, forces all tables in use to be closed, and flushes the query cache. FLUSH TABLES also removes all query results from the query cache, like the RESET QUERY CACHE statement.

模拟Flush操作导致的waiting tables等待问题。

a) 在终端1中执行lock table锁住jackjhu库中的一张表

mysql> lock table t1 read;

Query OK, 0 rows affected (0.00 sec)

b) 在终端2中执行flush tables

mysql> flush tables;

       --无返回,被阻塞..

c) 此时终端3欲连接到jackjhu库,如果mysql连接时没有使用-A,将出现阻塞。

mysql> use jackjhu

Reading table information for completion of table and column names

You can turn off this feature to get a quicker startup with -A

 

      --无返回,被阻塞,后面会解释原因…

重新使用-A选项连接终端3执行select jackjhu库中表t1,阻塞。

mysql> select * from t1;

      --无返回,被阻塞..

d) 新建终端4,使用-A选项连接mysql,到jackjhu库中查询其他表,正常。

mysql> select * from t2;

+----+---------+
| id | name    |
+----+---------+
|  5 | mysql   |
|  6 | test    |
+----+---------+
2 rows in set (0.01 sec)

退出终端,重新使用不带-A选项连接mysql,选中jackjhu。

mysql> use jackjhu

Reading table information for completion of table and column names

You can turn off this feature to get a quicker startup with -A

       --无返回,被阻塞..

查看现在的线程情况,并分析阻塞的原因。

mysql> show full processlist;

+----+------+-----------+---------+------------+------+-------------------------+-----------------------+

| Id | User | Host      | db      | Command    | Time | State                   | Info                  |

+----+------+-----------+---------+------------+------+-------------------------+-----------------------+

|  2 | root | localhost | jackjhu | Query      |    0 | init                    | show full processlist |

|  3 | root | localhost | jackjhu | Query      |   33 | Waiting for table flush | flush tables          |

|  7 | root | localhost | jackjhu | Query      |   20 | Waiting for table flush | select * from t1      |

| 12 | root | localhost | jackjhu | Field List |   10 | Waiting for table flush |                       |

+----+------+-----------+---------+------------+------+-------------------------+-----------------------+

4 rows in set (0.00 sec) 

首先查看waiting for table ..的官方解释:

The thread got a notification that the underlying structure for a table has changed and it needs to reopen the table to get the new structure. However, to reopen the table, it must wait until all other threads have closed the table in question.

This notification takes place if another thread has used FLUSH TABLES or one of the following statements on the table in question: FLUSH TABLES tbl_name, ALTER TABLE, RENAME TABLE, REPAIR TABLE, ANALYZE TABLE, orOPTIMIZE TABLE.

分析

ID 3:终端2,由于t1被终端1锁住(lock table t1 read),flush操作中需要刷新表t1缓冲并关闭表,被阻塞,表被锁无法关闭。

ID 7:终端3,查询t1表的内容,由于查询前有flush操作,flush操作会发出表需要被重新打开的信号。终端3的查询需要重新打开t1表,显然也被阻塞,由我们上面的实验知道,打开其他没有被锁定的表是可以的,他们已经完成flush并可以被打开。

ID 12:不使用-A连接mysql,被阻塞。线程状态:Field List。解释:

The thread is retrieving information for table columns. 

由于表t1需要被reopen阻塞,所以这里也被阻塞。

从show full processlist这个表象上看,好像是flush tables引起的问题,其实问题的根源在于这个操作被阻塞,也就是表t1被锁住,或无法释放被关闭。

同样ALTER TABLE, RENAME TABLE, REPAIR TABLE, ANALYZE TABLE,  OPTIMIZE TABLE等操作也会出现这样的问题,这面是实验结果。

条件1:lock table t1 read

repair table, alter table(create index…),rename table,optimize table

以上操作和之后的select出现 Waiting for table metadata lock

analyze table t1操作正常,但是后面的select出现 Waiting for table metadata lock

--无field List锁

条件2:lock table t1 write

仅仅说一下和条件1中情况不同的,其他一样。

analyze table

以上操作和之后的select出现 Waiting for table metadata lock

--无field List锁

注意这里使用了lock table .. read简单的进行了模拟,实际上生产环境中大多数是由于长查询,导致flush table一直等待无法关闭该表导致。

MySQL Flush操作的bug

现象:如上文模拟的情况,如果在生产环境中发现waiting for table flush,阻塞了大量的sql。这时候为了解决问题,kill掉flush tables这个操作,这并不能解决问题, 需要reopen的标记依然会存在而没有被清除,后面的select依然没能被继续。

MySQL Bug:       http://bugs.mysql.com/bug.php?id=44884

出现waiting for table.. 的解决办法

找到阻塞FLUSH TABLES, ALTER TABLE, RENAME TABLE, REPAIR TABLE, ANALYZE TABLE, OPTIMIZE TABLE等操作的源头,或许是lock table操作和有表锁,或许是一个长长的查询(可以从proceelist的time列找到),总之,我们可以很容易定位到哪张表引起的问题,再去定位sql语句,从这个方向去思考,可以比较容易的解决这样的问题。

最后看看flush tables with read lock的行为,先看看官方解释:

Closes all open tables and locks all tables for all databases with a global read lock.

关闭打开的表。

mysql> flush table with read lock;

Query OK, 0 rows affected (0.00 sec)

 

mysql> show global status like '%open%';

+--------------------------+-------+

| Variable_name            | Value |

+--------------------------+-------+

| Com_ha_open              | 0     |

| Com_show_open_tables     | 0     |

| Open_files               | 7     |

| Open_streams             | 0     |

| Open_table_definitions   | 0     |       --表结构文件被关闭

| Open_tables              | 0     |       --表被关闭

| Opened_files             | 561   |

| Opened_table_definitions | 101   |

| Opened_tables            | 101   |

| Slave_open_temp_tables   | 0     |

+--------------------------+-------+

10 rows in set (0.00 sec)

给mysql全局的读锁。

mysql> flush table with read lock;

Query OK, 0 rows affected (0.00 sec)

 

mysql> show global status like '%open%';

+--------------------------+-------+

| Variable_name            | Value |

+--------------------------+-------+

| Com_ha_open              | 0     |

| Com_show_open_tables     | 0     |

| Open_files               | 7     |

| Open_streams             | 0     |

| Open_table_definitions   | 0     |

| Open_tables              | 0     |

| Opened_files             | 561   |

| Opened_table_definitions | 101   |

| Opened_tables            | 101   |

| Slave_open_temp_tables   | 0     |

+--------------------------+-------+

10 rows in set (0.00 sec)

对于写入操作近些阻塞,写入操作被锁等待

mysql> insert into t3 values(3,'uncommit');

--无返回,等待,processlist中状态如下:

|Query   |    37 | Waiting for global read lock                                                  | insert into t3 values(3,'uncommit') |

如果事务在flush with read lock前已经有数据写入,但是还没有提交,此时提交的话也会被阻塞。

Query   |     3 | Waiting for commit lock                                                       | commit

MySQL Flush导致的等待问题的更多相关文章

  1. 转 mysql 备份导致 waiting for global read lock

    ######转 https://blog.csdn.net/weixin_34038652/article/details/92129498 近业务高峰期间经常会有开发跳起来说应用连接数据库超时了! ...

  2. MySQL flush privileges 명령어

    INSERT나 UPDATE, DELETE문을 이용해서 MySQL의 사용자를 추가,삭제하거나, 사용자 권한 등을 변경하였을 때, MySQL에 변경사항을 적용하기 위해서 사용하는 명령 ...

  3. MySQL flush tables with read lock

    mysql> flush tables with read lock; flush tables with read lock 会去关闭已经打开的所有文件,它要做这个操作就先要拿到锁:当发起这个 ...

  4. MySQL skip-character-set-client-handshake导致的一个字符集问题

    http://www.quweiji.com/mysql-skip-character-set-client-handshake%E5%AF%BC%E8%87%B4%E7%9A%84%E4%B8%80 ...

  5. 8.0 以上版本 mySQL数据库导致的命令行可连接,NaviCat不可连接的问题

    错误代码: client does not support authentication 原因: 没有开启Mysql的远程连接配置 解决办法: 1 使用命令行进入数据库 C:\Users\wushao ...

  6. MySQL 事务没有提交导致 锁等待 Lock wait timeout exceeded

    java.lang.Exception: ### Error updating database.  Cause: java.sql.SQLException: Lock wait timeout e ...

  7. 排查MySQL事务没有提交导致 锁等待 Lock wait timeout exceeded

    解决思路: select * from information_schema.innodb_trx 之后找到了一个一直没有提交的只读事务, kill 到了对应的线程后ok 了. 转载自:http:// ...

  8. 【MySQL】事务没有提交导致 锁等待Lock wait timeout exceeded异常

    异常:Lock wait timeout exceeded; try restarting transaction 解决办法:(需要数据库最高权限) 执行select * from informati ...

  9. mysql flush操作

    FLUSH语法 FLUSH [LOCAL | NO_WRITE_TO_BINLOG] flush_option [, flush_option] ... 如果您想要清除MySQL使用的部分内部缓存,您 ...

随机推荐

  1. C语言之复杂链表的复制(图示详解)

    什么是复杂链表? 复杂链表指的是一个链表有若干个结点,每个结点有一个数据域用于存放数据,还有两个指针域,其中一个指向下一个节点,还有一个随机指向当前复杂链表中的任意一个节点或者是一个空结点.今天我们要 ...

  2. Java面试常考------------------------垃圾收集算法

    对于Java系学生而言,Java虚拟机中的垃圾收集算法是一个很重要的面试考点. 常用的垃圾收集算法主要可划分为以下三类: 1. 标记-清除算法 标记清除算法是一种比较简单的方法,直接标记内存中待回收的 ...

  3. laravel5.4+vue+element-ui配置及简单使用

    前言:网上能找到的关于这个方面的教程实在是太少啦,所以踩了好多坑,特意来分享一下,原创哦.想要打包带走的小伙伴还请注明出处

  4. Codeforces Round #418 (Div. 2).C two points

    C. An impassioned circulation of affection time limit per test 2 seconds memory limit per test 256 m ...

  5. Linux下mysql远程连接问题

    [旧博客转移 - 发布于2015年9月6日 18:42]   在Linux上装好Mysql后 发现远程客户端连接不上 出现这种情况是因为mysql服务器出于安全考虑,默认只允许本地登录数据库服务器. ...

  6. easyui点击搜索的时候获取不要文本框里面的值的问题

    jsp的代码 <div id="tb"> <input id="AppID" placeholder="请根据申请人ID搜索&quo ...

  7. 3,Spring Boot热部署

    问题的提出: 在编写代码的时候,你会发现我们只是简单把打印信息改变了,就需要重新部署,如果是这样的编码方式,那么我们估计一天下来就真的是打几个Hello World就下班了.那么如何解决热部署的问题呢 ...

  8. 谈谈localhost与127.0.0.1

    localhost意为本地主机,指这台计算机,是给回路网络接口的标准主机名,对应的IP地址为127.0.0.1,可访问本地服务器的web项目(http://localhost). 那么它们有什么区别呢 ...

  9. 51nod_1100:斜率最大

    题目链接 斜率最大点对横坐标必相邻 #include <bits/stdc++.h> using namespace std; ; struct point { int x, y, pos ...

  10. 微信小程序开发问答《五十四》同步请求授权 & 用户拒绝授权,重新调起授权 ... ...

    1.同步请求授权 需求分析: 1.在小程序首次打开的时候,我需要同时请求获取多个权限,由用户逐一授权. (['scope.userInfo','scope.userLocation','scope.a ...