在InnoDB 1.0.x版本之前,InnoDB 存储引擎提供了 Compact 和 Redundant 两种格式来存放行记录数据,Redundant格式是为兼容之前版本而保留的,而Compact行格式在MySQL 5.0中引入,在 MySQL 5.6 版本中,默认设置为 Compact 行格式。

在compact行格式中:
1.使用5个字节来存放记录头信息(record header);
2.使用null位图来记录列中为null的列;
3.对于变长字段列,如果列长度小于255字节,则需要额外的1个字节来记录长度,如果列长度大于255个字节,使用2字节来记录列长度;
4.对于blob/text/varchar等大字段列,只存放768个字节在数据页中,而剩余的数据存储到溢出端(blob page)中

在compact行格式下,如果记录行包含较多的大字段列,即使每个大字段列只存放768个字节在数据页中,也会导致整个记录行的长度超过8KB,而默认数据页16k,每个数据页至少存放两行记录,因此导致下面错误:
Row size too large (> 8126). Changing some columns to TEXT or BLOB or using ROW_FORMAT=DYNAMIC or ROW_FORMAT=COMPRESSED may help. In current row format, BLOB prefix of 768 bytes is stored inline.

除innodb_file_format参数会导出上面错误外,参数max_allowed_packet和innodb_log_file_size设置过小也会触发上面问题:

  1. max_allowed_packet: 服务器发送和接受的最大包长度,当单行数据较大时,需要调整该参数。
  2. innodb_log_file_size: 该参数确定数据日志文件的大小,更大的设置可以提高性能,但也会增加恢复故障数据库所需的时间。
  3. innodb_log_buffer_size: 该参数确定日志文件所用的内存大小,设置时用M单位进行设置。缓冲区更大能提高性能,但意外的故障将会丢失数据。MySQL开发人员建议设置为1~8M之间的值。
    innodb_log_file_size参数在MySQL 5.6/5.7/8.0的默认值为48MB, 当插入记录总长度超过48M时,就会提示Row size too large(无论innodb_file_format)

Compact和redumdant的区别在行记录的首部不同,compact存储格式的首部为一个非NULL的变长字段长度列表,而redundant存储格式的首部是一个字段长度偏移列表。

对于Redundant格式,哪怕只占用769个字节,也会将多余的1个字节存储到额外的page中。

在InnoDB 1.0.X版本中开始引入新的文件格式Barracuda,新文件格式有两种新的行记录格式:Compressed 和 Dynamic。新的两种行记录格式采用完全溢出的方式来存放blob/text数据列,仅在数据页中保留20字节的指针,blob列的数据完全存放在Off page中。

off page将数据完全存储到一个独立的data page中(这些页是独享的,不会与同一行其他列或其他行的列共用),对于平均长度较小的blob/text数据列,会造成严重的磁盘空间浪费和IO资源消耗。

对于Compressed行记录格式,会将行数据以zlib的算法来进行数据压缩,因此可对于BLOB、TEXT、VARCHAR 这类大长度类型的数据能够进行非常有效的存储。

如果表采用Compressed行记录格式,可以有效降低IO开销,但是会增加CPU和内存的开销,在缓冲池中需要保留两份SIZE不同但是数据一致的数据页。

PS: 使用Compressed行记录格式的不仅仅对大长度类型的数据有效,对长度较小的变长列也有效果。但总的说来,压缩效率很一般。

compact行格式相对redumdant更节省存储空间,Compressed行格式相对于compact更节省存储空间,但强烈不建议使用Compressed行格式,会验证影响TPS。

  1. ## 查看默认的行格式
  2. show variables like 'innodb_file_format';
  3.  
  4. ##============================##
  5. ## 查看表的行格式
  6. show table status like 'table_name'\G

innodb_page_size参数在MySQL 5.6版本中引入,用来修改每个数据页的默认大小,默认值为16KB。在MySQL 5.6之前版本需要修改源代码才能修改数据页大小。

对于InnoDB存储引擎,数据页的填充率为15/16,预留出1/16的空间用来避免后续数据插入修改而导致页拆分的情况。当数据页的填充率小于1/2时,InnoDB会进行收缩,释放空闲空间。

MySQL Innodb Engine -- 文件格式(innodb_file_format)的更多相关文章

  1. MySQL Innodb Engine --独立表空间参数(innodb_file_per_table)

    MySQL中参数innodb_file_per_table决定将表存放于ibdata*的共享表空间还是独立的.ibd文件的独立表空间. ================================ ...

  2. 14.1.1 InnoDB as the Default MySQL Storage Engine

    14.1 Introduction to InnoDB 14.1.1 InnoDB as the Default MySQL Storage Engine 14.1.2 Checking InnoDB ...

  3. MySQL InnoDB 行记录格式(ROW_FORMAT)

    MySQL InnoDB 行记录格式(ROW_FORMAT) 一.行记录格式的分类和介绍 在早期的InnoDB版本中,由于文件格式只有一种,因此不需要为此文件格式命名.随着InnoDB引擎的发展,开发 ...

  4. mysql innodb 从 ibd 文件恢复表数据

    最近内部的 mysql 数据库发生了一件奇怪的事,其中有一个表 users625 突然出现问题, 所有对它的操作都报错误 数据表不存在. mysql> select count(*) from ...

  5. MySQL InnoDB存储引擎大观

    转的一篇文章作者:七把刀链接:https://www.jianshu.com/p/d4cc0ea9d097 MySQL InnoDB 引擎现在广为使用,它提供了事务,行锁,日志等一系列特性,本文分析下 ...

  6. Mysql InnoDB 共享表空间和独立表空间

    前言:学习mysql的时候总是习惯性的和oracle数据库进行比较.在学习mysql InnoDB的存储结构的时候也免不了跟oracle进行比较.Oracle的数据存储有表空间.段.区.块.数据文件: ...

  7. Mysql InnoDB行锁实现方式(转)

    Mysql InnoDB行锁实现方式 InnoDB行锁是通过给索引上的索引项加锁来实现的,这一点MySQL与Oracle不同,后者是通过在数据块中对相应数据行加锁来实现的.InnoDB这种行锁实现特点 ...

  8. Mysql InnoDB行锁实现方式

    Mysql InnoDB行锁实现方式 InnoDB行锁是通过给索引上的索引项加锁来实现的,这一点MySQL与Oracle不同,后者是通过在数据块中对相应数据行加锁来实现的.InnoDB这种行锁实现特点 ...

  9. mysql innodb 引擎

    innodb 引擎 一.概述 InnoDB 是一个用的比较广泛的存储引擎,因为它支持事物和外键,还有不错的效率;我们先看看官方教程怎么说; 我们先读一下, 对于上面的文档, 对一个InnoDB的表首先 ...

随机推荐

  1. MySQL - exists与in的用法

    [1]exists 对外表用loop逐条查询,每次查询都会查看exists的条件语句. 当 exists里的条件语句能够返回记录行时(无论记录行是多少,只要能返回),条件就为真 , 返回当前loop到 ...

  2. 前端基础之CSS属性

    一.背景属性 <style> p { /*背景颜色*/ background-color: red; /*字体颜色*/ color: blue; /*宽度和高度*/ width: 600p ...

  3. Cracking The Coding Interview 1.3

    //原文: // // Design an algorithm and write code to remove the duplicate characters in a string withou ...

  4. Android : 输入设备键值从底层到应用层的映射流程

    一.Android输入子系统简介: Android输入事件的源头是位于/dev/input/下的设备节点,而输入系统的终点是由WMS管理的某个窗口.最初的输入事件为内核生成的原始事件,而最终交付给窗口 ...

  5. UUID+随机数

    import java.util.Random; import java.util.UUID; public class UUIDUtils { public static String getUUI ...

  6. static关键字(修饰函数、局部变量、全局变量)

    在C语言中,static的字面意思很容易把我们导入歧途,其实它的作用有三条. (1)先来介绍它的第一条也是最重要的一条:隐藏. 当我们同时编译多个文件时,所有未加static前缀的全局变量和函数都具有 ...

  7. netty---------write flush两个方法到底做了什么?

    上一篇已经看到:unsafe的read方法,把channel中的数据read到byteBuff中的byteBuffer里.那么根据猜想,下面要进行的应该是nio 的 channel的write(byt ...

  8. day 53 练习

    1  <!DOCTYPE html><html lang="en"><head> <meta charset="UTF-8&qu ...

  9. array_multisort

    项目中用到这个函数了 ,起初对这个函数一直是懵逼状态,文档都看的朦朦胧胧的 网上无意间看到这篇文章 ,写的超级详细,收藏了 . 当然要先放原地址:https://www.cnblogs.com/WuN ...

  10. Python 多个装饰器装饰同一个函数

    def wrapper1(fn): def inner(*args, **kwargs): print("1111111") ret = fn(*args, **kwargs) p ...