插入缓冲

Insert Buffer

  对于非聚集索引的插入或更新操作,不是每一次直接插入到索引页中,而是先判断插入的非聚集索引页是否在缓冲池中,若在,则直接插入;若不在,则先放入到一个 Insert Buffer 对象中。

  Insert Buffer 的使用需要同时满足以下两个条件:

    索引是辅助索引

    索引不是唯一的

  

      size: The number of pages used within the change buffer. Change buffer size is equal to seg size - (1 + free list len). The 1 + value represents the change buffer header page.

      free list len: The number of pages free within the change buffer.代表了空闲页的数量

      seg size: The size of the change buffer, in pages. 插入缓冲的大小为241 *16KB

      merges: The total number of change buffer merges.表示合并次数

Change Buffer

  InnoDB 从 1.0.x 版本开始导入了 Change Buffer,可将其视为 Insert Buffer 的升级。从这个版本开始,InnoDB 存储引擎可以对 DML 操作都进行缓冲,他们分别是 Insert Buffer、Delete Buffer、Purge Buffer。

  Change Buffer 使用的对象时非唯一的辅助索引。

  对一条记录进行 UPDATE 操作可能分为两个过程:

    将记录标记为已删除

    真正的将记录删除

  Delete Buffer 对应 UPDATE 操作的第一个过程,即将记录标记为删除。

  Purge Buffer 对应 UPDATE 操作的第二个过程,即将记录真正的删除。

   innodb_change_buffering // 开启 buffer 的选项 [inserts|deletes|purges|changes|all|none] 默认为 all。

   innodb_change_buffer_max_size // 控制 Change Buffer 最大使用内存的数量,默认值是 25,最大有效值为 50(使用缓冲池内存空间百分比)

   

      merged operations - insert: The number of inserted records merged.merged插入的记录数
      merged operations - delete mark: The number of deleted records merged.merged删除记录数
      merged operations - delete: The number of purge records merged.merged清除记录数

       discarded operations - insert: The number of insert merge operations discarded.

       discarded operations - delete mark: The number of delete merge operations discarded.

       discarded operations - delete: The number of purge merge operations discarded.

 

两次写

  在应用重做日志前,用户需要一个页的副本,当写入失效发生时,先通过页的副本来还原该页,再进行重做,这就是 Double Write。

  double write 由两部分组成,一部分是内存中的 double write buffer,大小为 2MB,另一部分是物理磁盘上共享表空间中连续的 128 个页,即 2 个区,大小同样为 2MB。在对缓冲池的脏页进行刷新时,并不直接写磁盘,而是会通过 memcpy 函数将脏页复制到内存中的 double write buffer,之后通过 double write buffer 再分两次,每次 1MB 顺序地写入表空间的物理磁盘上,然后马上调用 fsync 函数,同步磁盘,避免缓冲写带来的问题。

  可以通过以下命令观察到 double write 运行的情况:

       show global status like 'innodb_dblwr%';

   

  如果发现系统在高峰时的 Innodb_dblwr_pages_written : Innodb_dblwr_writes 远小于 64 : 1,那么可以说明系统写入的压力并不是很高。

  如果操作系统在将页写入磁盘的过程中发生了崩溃,在恢复过程中,InnoDB 存储引擎可以从共享表空间中的 double write 中找到该页的一个副本,将其复制到表空间文件,再应用重做日志。

   show global status like 'innodb_buffer_pool_pages_flushed'; 当前从缓冲池中刷新到磁盘页的数量。该变量应该和 Innodb_dblwr_pages_written 一致。

自适应哈希索引

  InnoDB 存储引擎会监控对表上各索引页的查询。如果观察到建立哈希索引可以带来速度提升,则建立哈希索引,称之为自适应哈希索引(Adaptive Hash Index,AHI)。AHI 是通过缓冲池的 B+ 树页构造而来,因此建立的速度很快,而且不需要对整张表构件哈希索引。InnoDB 存储引擎会自动根据访问的频率和模式来自动地为某些热点页建立哈希索引。

  哈希索引是数据库自优化的,无需人为调整。

  哈希索引只能用来进行搜索等值的查询。

  

    hash searches : non-hash searches 可以大概了解使用哈希索引后的效率。

  AHI 默认为开启状态,用户可以通过 innodb_adaptive_hash_index 来禁用启用此特性。

异步 IO

  为了提高磁盘操作性能,当前的数据库系统都采用异步 IO(Asynchronous IO,AIO)的方式来处理磁盘操作。InnoDB 存储引擎亦是如此。

  AIO 可以进行 IO Merge 操作。

   innodb_use_native_aio 控制是否启用 Native AIO。在 Linux 操作系统下默认为 ON。

  在 InnoDB 存储引擎中,read ahead 方式的读取都是通过 AIO 完成,脏页的刷新,即磁盘的写入操作则全部由 AIO 完成。

刷新邻近页

  当刷新一个脏页时,InnoDB 存储引擎会检测该页所在区的所有页,如果是脏页,那么一起刷新。这样做的好处显而易见,通过 AIO 可以将多个 IO 写入造作合并为一个 IO 操作,故该工作机制在传统磁盘下有着显著的优势。但是需要考虑到下面两个问题:

    是不是可能将不怎么脏的页进行写入,而该页之后又很快变成脏页

    固态硬盘有着较高的 IOPS,是否还需要这个特性

   innodb_flush_neighbors 控制是否启用刷新邻近页特性。

  对于传统机械硬盘建议启用该特性,而对于固态硬盘有着超高的 IOPS 性能的磁盘,则建议将该参数设置为 0,即关闭此特性。

MySQL--InnoDB 关键特性的更多相关文章

  1. Mysql InnoDB三大特性-- change buffer

    Mysql InnoDB三大特性-- change buffer

  2. Mysql InnoDB三大特性-- 自适应hash index

    Mysql InnoDB三大特性-- 自适应hash index

  3. InnoDB关键特性学习笔记

    插入缓存 Insert Buffer Insert Buffer是InnoDB存储引擎关键特性中最令人激动与兴奋的一个功能.不过这个名字可能会让人认为插入缓冲是缓冲池中的一个组成部分.其实不然,Inn ...

  4. innodb关键特性之double write

    # 脏页刷盘的风险 两次写的原理机制 1.解决问题 2.使用场景 3.doublewrite的工作流程 4.崩溃恢复 # doublewrite的副作用 1.监控doublewrite负载 2.关闭d ...

  5. Mysql InnoDB三大特性-- double write

    转自:http://www.ywnds.com/?p=8334 一.经典Partial page write问题? 介绍double write之前我们有必要了解partial page write( ...

  6. InnoDB关键特性之刷新邻接页-异步IO

    Flush neighbor page 1.工作原理 2.参数控制 AIO 1.开启异步IO 一.刷新邻接页功能 1.工作原理 当刷新一个脏页时,innodb存储引擎会检测该页所在区(extent)的 ...

  7. InnoDB关键特性之insert buffer

    insert buffer 是InnoDB存储引擎所独有的功能.通过insert buffer,InnoDB存储引擎可以大幅度提高数据库中非唯一辅助索引的插入性能. 数据库对于自增主键值的插入是顺序的 ...

  8. InnoDB关键特性之change buffer

    一.关于IOT:索引组织表 表在存储的时候按照主键排序进行存储,同时在主键上建立一棵树,这样就形成了一个索引组织表,一个表的存储方式以索引的方式来组织存储的. 所以,MySQL表一定要加上主键,通过主 ...

  9. InnoDB关键特性之自适应hash索引

    一.索引的资源消耗分析 1.索引三大特点 1.小:只在一个到多个列建立索引 2.有序:可以快速定位终点 3.有棵树:可以定位起点,树高一般小于等于3 2.索引的资源消耗点 1.树的高度,顺序访问索引的 ...

  10. innodb 关键特性(insert buffer)

    一.insert buffer 性能改善 insert buffer和数据页一样,也是物理页的一个组成部分. 在innodb存储引擎中,主键是行唯一的标识符.通常应用程序中行记录的插入顺序是按照主键递 ...

随机推荐

  1. MFC中修改光标形状

    修改光标形状,如果是修改系统内光标形状,那就很简单了,直接是用::SetCursor(::LoadCursor(NULL,MAKEINTRESOURCE(IDC_CURSOR1)))就可以修改成功了, ...

  2. Python 中 对logging 模块进行封装,记录bug日志、日志等级

    是程序产生的日志 程序员自定义设置的 收集器和渠道级别那个高就以那个级别输出 日志和报告的作用: 报告的重点在于执行结果(执行成功失败,多少用例覆盖),返回结果 日志的重点在执行过程当中,异常点,哪里 ...

  3. js加密(十四)mail.yw.gov.cn/ RSA

    1. url: http://mail.yw.gov.cn/ 2. target:登录js 3. 简单分析: 寻找加密js: 3.1 直接寻找加密的参数p是不好找的,所以我们试着去寻找一些更明显的参数 ...

  4. 108-PHP类成员protected和private成员属性不能被查看数值

    <?php class mao{ //定义猫类 public $age; //定义多个成员属性 protected $weight; private $color; } $mao1=new ma ...

  5. Floyd--P2419 [USACO08JAN]牛大赛Cow Contest

    *传送 FJ的N(1 <= N <= 100)头奶牛们最近参加了场程序设计竞赛:).在赛场上,奶牛们按1..N依次编号.每头奶牛的编程能力不尽相同,并且没有哪两头奶牛的水平不相上下,也就是 ...

  6. ServletConfig详解

    ServletConfig是Servlet中的init()方法的参数类型,服务器会在调用init()方法时传递ServletConfig对象给init()方法.   ServletConfig对象封装 ...

  7. 我们是如何将 ToB 服务的交付能力优化 75%?

    ToB 服务交付的方式分为公有云部署和私有化部署两种.其中,对成本敏感的中小企业往往采用公有云部署的方式,从而尽量减少成本.客单价较高的大型企业.政府.银行和事业单位,考虑到数据隐私.安全.合规等要求 ...

  8. Codeforces Round #585 (Div. 2) CF1215A~C

    CF1215A. Yellow Cards简单的模拟,给定了黄票张数,判断最少和最多有多少人被罚下场. #include <bits/stdc++.h> using namespace s ...

  9. python函数-迭代器&生成器

    python函数-迭代器&生成器 一.迭代器 1 可迭代协议 迭代:就是类似for循环,将某个数据集内的数据可以“一个挨着一个取出来” 可迭代协议: ① 协议内容:内部实现__iter__方法 ...

  10. HDU 5461:Largest Point

    Largest Point Time Limit: 1500/1000 MS (Java/Others)    Memory Limit: 65535/32768 K (Java/Others) To ...