MySQL open table
背景:
MySQL经常会遇到Too many open files,MySQL上的open_files_limit和OS层面上设置的open file limit有什么关系?
源码中也会看到不同的数据结构,TABLE, TABLE_SHARE,跟表是什么关系?
MySQL flush tables又做了些什么,这几个东西放在一起,就会比较迷惑,下面进行梳理一下:
1 数据结构
table: MySQL为每一个查询sql中的表建一个TABLE对象
table_share: MySQL为每一张表建立一个table_share对象,与frm文件对应
handler: 对应于每个TABLE对象,innodb引擎创建一个handler
dict_table_t: innodb为每一个ibd表load一个数据字典对象
简略图如下:
1. open table的过程
测试sql:select * from xpchild.pp
函数调用栈:
open_and_lock_tables
open_tables
open_and_process_table
open_table:打开一个table,并赋值给table_list->table
下面进入核心的逻辑:
开始锁lock_open:
1.1 table_share:
首先根据db&&table_name创建一个table_share.
函数调用栈:
get_table_share_with_discover: 创建或者查找table_share对象。
get_table_share:如果全局cache:table_def_cache中存在,就直接使用,如果不存在,就创建一个table_share
alloc_table_share: 如果不存在,先分配一个share的对象。
open_table_def: 打开frm文件。
mysql_file_open: my_open打开
inline_mysql_file_close: my_close关闭
share->ref_count++;
要点:
- MySQL server层维护了一个全局的table definition cache即table_def_cache,所以一个table_share只会创建一次,后续进行共享。
- 初始化table_share的过程中,调用文件系统打开frm文件,初始化完成后,关闭frm文件。
- share结构中ref_count来表示有多少个table关联
1.2 打开table:
open_table_from_share
step1: 初始化table中的变量,包括file handler (get_new_handler(share->db_type()))
step2: 添加各种索引,字段结构
step3: file->ha_open:ha_innobase::open 为innodb的table创建一个handler。
要点:
1. 在open table的过程中,innodb会创建一个handler,并打开ibd文件,初始化dict_table结构。
释放锁lock_open
1.3 close table:
sql执行结束之前,会调用close table
close_open_tables(thd)
table_def_unuse_table:
要点:
1.table_share维护了两个双向链表used_tables,free_tables,当close table的时候,
1.1 table->in_use=NULL,
1.2 把table从used_tables移除
1.3 加入到free_tables
2.全局参数table_cache_size,已经当前table_cache_count计数控制cache的置换策略
2. 再次执行sql
因为第一步已经完成了table_share的创建,并且cache了table,再次执行sql时,open table的过程就比较简单:
2.1: get_table_share:从cache中直接获取table_share对象
2.2:open_table_from_share:从s->free_tables中获取缓存的可以使用的table,然后增加ref计数。
if (!share->free_tables.is_empty())
table= share->free_tables.front();
++share->ref_count;
3 系统计数:
opened_tables:系统在open_table_from_share中,对新建的table,进行thd->status_var.opened_tables++计数。
opened_shares: 系统在 open_table_def的函数中,对于首次进行open的table_share进行thd->status_var.opened_shares++计数
注: 所以当系统的status:open_tables增长比较多的时候,可以适当的增加table_cache_size,用于缓存更多的table,毕竟open table的开销还是不小的。
4 status统计
使用show status命令,跟open有关的几个:
{"Open_files", (char*) &my_file_opened, SHOW_LONG_NOFLUSH}
注释:【全局变量】MySQL和innodb通过文件系统打开的文件的计数,这里包括了所有的文件,binlog,relay,alert,slow log等。
{"Open_table_definitions", (char*) &show_table_definitions, SHOW_FUNC},
注释:【全局变量】server当前打开的table_share数量,等于table_def_cache.records的数量
{"Open_tables", (char*) &show_open_tables, SHOW_FUNC}
注释:【全局变量】 server当前打开的table数量,server维护了一个全局变量table_cache_count
{"Opened_files", (char*) &my_file_total_opened, SHOW_LONG_NOFLUSH}
注释:【全局变量】 启动以来打开过的文件的总数
{"Opened_tables", (char*) offsetof(STATUS_VAR, opened_tables), SHOW_LONG_STATUS}
注释: 【线程变量】 在真正open_table_from_share的过程中,累计计数
{"Opened_table_definitions", (char*) offsetof(STATUS_VAR, opened_shares), SHOW_LONG_STATUS}
注释: 【线程变量】 在真正打开share的时候,累计计数
注: use test的过程:
在use test的过程中,会轮询把test db下的所有表的table_share都创建一遍,即open所有的frm文件,并创建table_share对象,最后close 所有的frm文件。
为了方便调试,写了一个进程监控的程序:pidmon.py
在gdb的时候,可以看到mysqld进程打开的所有文件:
Too many open files:
这里包括了server层的open frm,和innodb层open ibd的时候,当打开的文件超过limit限制,就会报这个错误。
但这个限制牵涉到两个参数:
一个是MySQL配置的open_files_limit
一个是OS层配置的进程的open file limit
下一篇:
flush tables究竟做了什么:close了server层创建的所有的table_share和table。
MySQL open table的更多相关文章
- MySQL Create Table创建表
表的创建命令需要: 表的名称 字段名称 定义每个字段(类型.长度等) 语法 下面是通用的SQL语法用来创建MySQL表: CREATE TABLE table_name (column_name co ...
- 【转】MySQL Temporary Table相关问题的探究
本文转载自:http://itindex.net/detail/10901-mysql-temporary-table 问题的引入 让我们先来观察几条非常简单的MySQL语句: mysql> c ...
- mysql create table - data_type length -- clwu
mysql create table 时,有时需要指定 data_type length http://dev.mysql.com/doc/refman/5.5/en/create-table.ht ...
- MySQL create table 语法
MySQL中create table语句的基本语法是: CREATE [TEMPORARY] TABLE [IF NOT EXISTS] tbl_name [(create_definitio ...
- MySQL ALTER TABLE: ALTER vs CHANGE vs MODIFY COLUMN
ALTER COLUMN 语法: ALTER [COLUMN] col_name {SET DEFAULT literal | DROP DEFAULT} 作用: 设置或删除列的默认值.该操作会直接修 ...
- MySQL DROP TABLE操作以及 DROP 大表时的注意事项【转】
删表 DROP TABLE Syntax DROP [TEMPORARY] TABLE [IF EXISTS] tbl_name [, tbl_name] ... [RESTRICT | CASCAD ...
- linux下apt安装mysql导致mysql.user table is damaged
笔者在ubuntu下用 apt install mysql-server类似的命令安装mysql, 安装了最新版的mysql5.7,覆盖了操作系统内置的数据库mysql系统库. 最初启动mysql出错 ...
- mysql中Table is read only错误解决方法
今天再我把数据库data 拷贝到linux 下运行程序 ”mysql中Table is read only的解决“ 出现这样的问题,查询资料. linux下执行如下命令即可 #mysqladmin - ...
- MySQL check table/optimize table/analyze table/REPAIR TABLE
MySQL check table/optimize table/analyze table/REPAIR TABLE 转自:https://www.cnblogs.com/datastack/p/3 ...
- MySQL: OPTIMIZE TABLE: Table does not support optimize, doing recreate + analyze instead
show create table history;-------------------------- CREATE TABLE `foo` ( `itemid` bigint(20) unsig ...
随机推荐
- C# 获取中文星期的两种方法
//方法一 public string Week() { string[] weekdays = { "星期日", "星期一", "星期二" ...
- RabbitMQ基础总结
MQ全称为Message Queue, 消息队列(MQ)是一种应用程序对应用程序的通信方法.应用程序通过读写出入队列的消息(针对应用程序的数据)来通信,而无需专用连接来链接它们.消 息传递指的是程序之 ...
- MySQL --log-slave-updates
官方说明:--log-slave-updates Command-Line Format --log-slave-updates Option-File Format log-slave-updat ...
- Ubuntu上部署C# 网站 步骤简单记录
对于刚接触linux的同学,由于命令不熟悉,所以要想在上面部署C#网站,容易迷茫,可以参考此简易步骤: 安装 mono: apt-get install mono 按tab搜索 找到mono相关的组 ...
- HTML 背景图片自适应
CSS body.loginpage { background-image: url(../images/background-image.jpg); background-size:cover; } ...
- Spring的配置文件
Web.xml将会配置Spring的配置文件位置: <servlet> <servlet-name>x</servlet-name> & ...
- 制作滚动视图(ScrollView)
怎样判断是否应当使用滚动视图 所谓的滚动视图,是指一个可以滑动的视窗,视窗大小和位置固定不变,视窗内的内容用户可以通过手指滑动或者拖动滚动天来进行滚动浏览. 滚动视图的目的是为了解决同类内容过多,一个 ...
- hdu 4717 The Moving Points(第一个三分题)
http://acm.hdu.edu.cn/showproblem.php?pid=4717 [题意]: 给N个点,给出N个点的方向和移动速度,求每个时刻N个点中任意两点的最大值中的最小值,以及取最小 ...
- BZOJ 1710: [Usaco2007 Open]Cheappal 廉价回文
Description 为了跟踪所有的牛,农夫JOHN在农场上装了一套自动系统. 他给了每一个头牛一个电子牌号 当牛走过这个系统时,牛的名字将被自动读入. 每一头牛的电子名字是一个长度为M (1 &l ...
- 谈谈js中for in 需要注意的地方
js中for in 可以遍历对象或数组的显性属性,也就是说我们自己定义的属性是可以遍历的,那些原型上默认已有的属性,例如:Object.prototype.toString.Object.protot ...