【mysql】Innodb三大特性之insert buffer
一、什么是insert buffer
insert buffer是一种特殊的数据结构(B+ tree)并不是缓存的一部分,而是物理页,当受影响的索引页不在buffer pool时缓存 secondary index pages的变化,当buffer page读入buffer pool时,进行合并操作,这些操作可以是 INSERT
, UPDATE
, or DELETE
operations (DML)
最开始的时候只能是insert操作,所以叫做insert buffer,现在已经改叫做change buffer了
insert buffer 只适用于 non-unique secondary indexes 也就是说只能用在非唯一的索引上,原因如下
1、primary key 是按照递增的顺序进行插入的,异常插入聚族索引一般也顺序的,非随机IO
2 写唯一索引要检查记录是不是存在,所以在修改唯一索引之前,必须把修改的记录相关的索引页读出来才知道是不是唯一、这样Insert buffer就没意义了,要读出来(随机IO)
所以只对非唯一索引有效
二、insert buffer的原理
对于为非唯一索引,辅助索引的修改操作并非实时更新索引的叶子页,而是把若干对同一页面的更新缓存起来做,合并为一次性更新操 作,减少IO,转随机IO为顺序IO,这样可以避免随机IO带来性能损耗,提高数据库的写性能
具体流程
先判断要更新的这一页在不在缓冲池中
a、若在,则直接插入;
b、若不在,则将index page 存入Insert Buffer,按照Master Thread的调度规则来合并非唯一索引和索引页中的叶子结点
Master Thread的调度规则
a、主动merger[innodb主线程定期完成,用户线程无感知]
主动merge通过innodb主线程(svr_master_thread)判断:若过去1s之内发生的I/O小于系统I/O能力的5%,则主动进行一次insert buffer的merge操作。merge的页面数为系统I/O能力的5%,读取采用async io模式。每10s,必定触发一次insert buffer meger操作。meger的页面数仍旧为系统 I/O能力的5%。
1)主线程发出async io请求,async读取需要被merge的索引页面
2)I/O handler 线程,在接受到完成的async I/O之后,进行merge
b 、被动merge[用户线程完成,用户能感受到meger操作带来的性能影响]
1) insert操作,导致页面空间不足,需要分裂(split)。由于insert buffer只针对单个页面,不能buffer page
split[页已经在内存里],因此引起页面的被动meger。同理,update操作导致页面空间不
足;purge导致页面为空等。总之,若当前操作引起页面split or merge,那么就会导致被动merge;
2) insert操作,由于其它各种原因,insert buffer优化返回false,需要真正读取page时,要进行被动merge。与一不同的是,页在disk上,需要读取到内存里;
3)在进行insert buffer操作,发现insert buffer太大,需要压缩insert buffer,这时需要强制被动merge,不允许 insert 操作进行。
三、insert buffer的内部实现
1、insert buffer的数据结构是一棵B+树,在MySQL4.1之前的版本中每张表都有一棵insert buffer B+树
MySQL4.1之后,全局只有一棵insert buffer B+树,负责对所有的表的辅助索引进行 insert buffer。这棵B+树存放在共享表空间中,默认也就是ibdata1中。因此,试图通过独立表空间ibd文件恢复表中数据时,往往会导致check table 失败。这是因为表的辅助索引中的数据可能还在insert buffer中,也就是共享表空间中。所以通过idb文件进行恢复后,还需要进行repair table 操作来重建表上所有的辅助索引
2、insert buffer的非叶子节点存放的是查询的search key(键值),
其构造包括三个字段:space (4 byte)+ marker(1byte) + offset(4byte) = search key (9 byte )
space表示待插入记录所在的表空间id,InnoDB中,每个表有一个唯一的space id,可以通过space id查询得知是哪张表;
marker是用来兼容老版本的insert buffer;
offset表示页所在的偏移量。
3、当一个辅助索引需要插入到页(space, offset)时,如果这个页不在缓冲池中,那么InnoDB首先根据上述规则构造一个search key,接下来查询insert buffer这棵B+树,然后再将这条记录插入到insert buffer B+树的叶子节点中
4、对于插入到insert buffer B+树叶子节点的记录,需要根据如下规则进行构造:
space | marker | offset | metadata | secondary index record
启用insert buffer索引后,辅助索引页(space、page_no)中的记录可能被插入到insert buffer B+树中,所以为了保证每次merge insert buffer页必须成功,还需要有一个特殊的页来标记每个辅助索引页(space、page_no)的可用空间,这个页的类型为insert buffer bitmap。
四、insert buffer的缺点
1、可能导致数据库宕机后实例恢复时间变长。如果应用程序执行大量的插入和更新操作,且涉及非唯一的聚集索引,一旦出现宕机,这时就有大量内存中的插入缓冲区数据没有合并至索引页中,导致实例恢复时间会很长
2、在写密集的情况下,插入缓冲会占用过多的缓冲池内存(innodb_buffer_pool),默认情况下最大可以占用1/2,这在实际应用中会带来一定的问题
3、insert buffer 无法进行控制,for different workloads and hardware configuration,特别是在SSD盛行的今天
五、查看insert buffer
- mysql> show engine innodb status \G
- -------------------------------------
- INSERT BUFFER AND ADAPTIVE HASH INDEX
- -------------------------------------
- Ibuf: size 1, free list len 0, seg size 2,
- 41 inserts, 41 merged recs, 499 merges
- Hash table size 3984403, node heap has 967 buffer(s)
- 14.66 hash searches/s, 64.65 non-hash searches/s
- ---
- LOG
- ---
- Log sequence number 27233311008
- Log flushed up to 27233311008
- Last checkpoint at 27233310593
- 0 pending log writes, 0 pending chkp writes
- 37848626 log i/o's done, 1.00 log i/o's/second
size
: The number of pages used within the change buffer. Change buffer size is equal toseg size - (1 + free list len)
. The1 +
value represents the change buffer header page.free list len
: The number of pages free within the change buffer.代表了空闲页的数量seg size
: The size of the change buffer, in pages. 插入缓冲的大小为2 *16KBmerges
: The total number of change buffer merges.表示合并次数merged operations - insert
: The number of inserted records merged.merged插入的记录数merged operations - delete mark
: The number of deleted records merged.merged删除记录数merged operations - delete
: The number of purge records merged.merged清除记录数discarded operations - insert
: The number of insert merge operations discarded.discarded operations - delete mark
: The number of delete merge operations discarded.discarded operations - delete
: The number of purge merge operations discarded.
参考
https://dev.mysql.com/doc/refman/5.5/en/innodb-standard-monitor.html
https://dev.mysql.com/doc/refman/5.5/en/innodb-insert-buffering.html
https://www.percona.com/blog/2009/01/13/some-little-known-facts-about-innodb-insert-buffer/
http://blog.itpub.net/22664653/viewspace-1163838/
【mysql】Innodb三大特性之insert buffer的更多相关文章
- Mysql InnoDB三大特性-- change buffer
Mysql InnoDB三大特性-- change buffer
- Mysql InnoDB三大特性-- 自适应hash index
Mysql InnoDB三大特性-- 自适应hash index
- InnoDB关键特性之insert buffer
insert buffer 是InnoDB存储引擎所独有的功能.通过insert buffer,InnoDB存储引擎可以大幅度提高数据库中非唯一辅助索引的插入性能. 数据库对于自增主键值的插入是顺序的 ...
- innodb 关键特性(insert buffer)
一.insert buffer 性能改善 insert buffer和数据页一样,也是物理页的一个组成部分. 在innodb存储引擎中,主键是行唯一的标识符.通常应用程序中行记录的插入顺序是按照主键递 ...
- Mysql InnoDB三大特性-- double write
转自:http://www.ywnds.com/?p=8334 一.经典Partial page write问题? 介绍double write之前我们有必要了解partial page write( ...
- 【mysql】Innodb三大特性之adaptive hash index
1.Adaptive Hash Indexes 定义 If a table fits almost entirely in main memory, the fastest way to perfor ...
- InnoDB关键特性之change buffer
一.关于IOT:索引组织表 表在存储的时候按照主键排序进行存储,同时在主键上建立一棵树,这样就形成了一个索引组织表,一个表的存储方式以索引的方式来组织存储的. 所以,MySQL表一定要加上主键,通过主 ...
- 【mysql】Innodb三大特性之double write
1.doublewrite buffer(mysql官方的介绍) InnoDB uses a novel file flush technique called doublewrite. Before ...
- Mysql 三大特性详解
Mysql 三大特性详解 Mysql Innodb后台线程 工作方式 首先Mysql进程模型是单进程多线程的.所以我们通过ps查找mysqld进程是只有一个. 体系架构 InnoDB存储引擎的架构如下 ...
随机推荐
- __super
__super::member_function(); The __super keyword allows you to explicitly state that you are calling ...
- 使用POI操作Excel时对事先写入模板的公式强制执行
场景:POI读取Excel模板. 当使用POI操作Excel时,发现由POI生成的公式能够在打开Excel是被执行, 而事先手工写入Excel模板文件的公式则不自动被调用,必须手动双击该Cell才能生 ...
- hue耗流量优化
ps: 使用的hue版本为 hue-3.10.0 一.[jobbrowser刷流量] 基本一分钟刷新一次,执行GET /jobbrowser/ [17/Apr/2017 14:46:26 +0800] ...
- 一直困扰设计师多年的Android 单位 dp
轻松理解Android开发单位DP ,让设计与开发高度匹配,整合了网上各大资料汇总一个通俗易懂的. 一直困扰设计师多年的Android 单位 dp 设计这么多年了,相信很多设计师,一直被DP搞得晕头转 ...
- C#获取网页内容,并且处理正确编码
控制台调用static void Main(string[] args) { string code = GetEncodings("http://www.cnblogs.com" ...
- sql的嵌套查询,把一次查询的结果做为表继续进一步查询;内联视图
Mysql的嵌套表查询 嵌套SELECT语句也叫子查询,一个 SELECT 语句的查询结果能够作为另一个语句的输入值.子查询可以: 出现在Where子句中, 出现在from子句中,作为一个临时表使用, ...
- 22.线程通信Condition
Condition 通过此对象可以与lock实现组合使用,为每个对象提供多个等待,实现多个阻塞队列. package dmeo9; import java.util.concurrent.lo ...
- 【POJ】【3525】Most Distant Point from the Sea
二分+计算几何/半平面交 半平面交的学习戳这里:http://blog.csdn.net/accry/article/details/6070621 然而这题是要二分长度r……用每条直线的距离为r的平 ...
- 带你走进EJB--它都有哪些Bean
通过前面一系列EJB的博客,我们已经对EJB有了一个宏观的了解.为够更好的在企业项目中使用EJB,我们很有必要对EJB的一些基本内容进行深入,这次我们主要进行的主题是Enterprise Java B ...
- CSS 过滤器 兼容ie,火狐和谷歌
这篇汇总主要是提供一些CSS不透明的详细介绍,代码示例和解释,以实现这项有用的CSS技术在您的项目中兼容所有浏览器. 关于CSS 透明度,有一点需要注意的是,它虽然使用了很多年,但它一直以来都不是一个 ...