binlog文件格式有以下几种:

  • v1:用于3.23版本
  • v3:用于4.0.2到4.1版本
  • v4:用于5.0及以上版本

v2版本只在4.0.x版本中使用,目前已经不再支持了。

处理binlog的程序必须支持以上所有的版本。这部分描述了服务器是如何区分所有的格式的,以便辨别binlog使用的版本。mysqlbinlog也是使用的相同的规则。

重要的常量:

  • START_EVENT_V3=1
  • FORMAT_DESCRIPTION_EVENT=15
  • EVENT_TYPE_OFFSET=4
  • EVENT_LEN_OFFSET=9
  • ST_SERVER_VAR_LEN=50

binlog文件以一个4字节的魔法数开头,后面跟着一个初始的描述事件,标志文件的格式。

  • 在v1和v3中,这个事件被称为开始事件(start event)
  • 在v4中,被称为格式描述事件(format description event)

各个版本中,描述事件的头和数据部分如下:

v1开始事件(69字节)

  1. +=====================================+
  2. | event | timestamp 0 : 4 |
  3. | header +----------------------------+
  4. | | type_code 4 : 1 | = START_EVENT_V3 = 1
  5. | +----------------------------+
  6. | | server_id 5 : 4 |
  7. | +----------------------------+
  8. | | event_length 9 : 4 | = 69
  9. +=====================================+
  10. | event | binlog_version 13 : 2 | = 1
  11. | data +----------------------------+
  12. | | server_version 15 : 50 |
  13. | +----------------------------+
  14. | | create_timestamp 65 : 4 |
  15. +=====================================+

v3开始事件(75字节)

  1. +=====================================+
  2. | event | timestamp 0 : 4 |
  3. | header +----------------------------+
  4. | | type_code 4 : 1 | = START_EVENT_V3 = 1
  5. | +----------------------------+
  6. | | server_id 5 : 4 |
  7. | +----------------------------+
  8. | | event_length 9 : 4 | = 75
  9. | +----------------------------+
  10. | | next_position 13 : 4 |
  11. | +----------------------------+
  12. | | flags 17 : 2 |
  13. +=====================================+
  14. | event | binlog_version 19 : 2 | = 3
  15. | data +----------------------------+
  16. | | server_version 21 : 50 |
  17. | +----------------------------+
  18. | | create_timestamp 71 : 4 |
  19. +=====================================+

v4格式描述事件(大于等于91字节,大小=76+事件类型的数字)

  1. +=====================================+
  2. | event | timestamp 0 : 4 |
  3. | header +----------------------------+
  4. | | type_code 4 : 1 | = FORMAT_DESCRIPTION_EVENT = 15
  5. | +----------------------------+
  6. | | server_id 5 : 4 |
  7. | +----------------------------+
  8. | | event_length 9 : 4 | >= 91
  9. | +----------------------------+
  10. | | next_position 13 : 4 |
  11. | +----------------------------+
  12. | | flags 17 : 2 |
  13. +=====================================+
  14. | event | binlog_version 19 : 2 | = 4
  15. | data +----------------------------+
  16. | | server_version 21 : 50 |
  17. | +----------------------------+
  18. | | create_timestamp 71 : 4 |
  19. | +----------------------------+
  20. | | header_length 75 : 1 |
  21. | +----------------------------+
  22. | | post-header 76 : n | = array of n bytes, one byte per event
  23. | | lengths for all | type that the server knows about
  24. | | event types |
  25. +=====================================+

在所有的binlog版本中,描述事件的数据部分包含的部分相同字段:

  • binlog_version

binlog版本数字(1、3或4)

  • server_version

服务器版本,字符串

  • create_timestamp

创建时间戳,如果不等于0,等于事件创建的秒数;这表示binlog文件穿件的时间。这个字段实际上没有值,如果不为零,也是重复的,因为与头中的timestamp一样。

注意:这个字段是为将来使用的,程序不应该依赖于这个值。这个值将来可能有其他的用处。

v4版本的格式描述事件数据中包含两个额外的字段,以便解析其他类型的事件:

  • header_length:事件头的长度。这个值包含extra_headers字段,所以这个头的长度19不包含extra字段。
  • post-header lengths:每个事件固定数据部分的长度。

决定binlog版本

给定任何binlog文件,这部分的信息描述了如何决定文件格式。几个关于描述事件格式的重要点:

  • v1的头字段对于所有的格式通用。(v3和v4的头也是以v1的头字段开始的,新增了next_position和标志位字段)
  • v3和v4的头包含相同的字段。v3和v4的数据部分不一样,v4的数据部分允许在不改变头的情况的扩展格式。
  • 可以简单的通过读取binlog_version字段的两个字节,来决定binlog的版本,如果不是因为这个字段在v1和v3/v4的位置不一样的话。因此,有必要通过文件的第一个事件是不是v1的开始事件来决定binlog版本。

为了判断binlog版本,通过下面的步骤:

  1. 这个文件以一个4字节的魔法数开头。跳过他,获取到文件中的第一个事件(大多数情况下,这个事件是开始事件或者格式描述事件)
  2. 通过第一个事件,读取两个值:
  • 事件的EVENT_TYPE_POSITION(4)位置的1字节的类型编码
  • 事件中第EVENT_LEN_OFFSET(9)位置的4字节的事件长度的值
  1. 如果类型编码不是START_EVENT_V3或者FORMAT_DESCRIPTION_EVENT,文件格式是v3
  2. 如果类型编码是START_EVENT_V3(1),检查事件长度。如果长度小于75,文件格式是v1,否则是v3。为什么是75?因为这是v3开始事件的长度:
  • 头(19字节)
  • binlog版本(2字节)
  • 服务器版本(ST_SERVER_VER_LEN=50字节)
  • 时间戳(4字节)

把这些加起来19+2+50+4=75。因此,如果事件长度小于75,就一定是v1版本。

  1. 如果类型编码是FORMAT_DESCRIPTION_EVENT(15),文件格式是v4。

但是,有几种特殊情况需要处理:

异常情况1:在4.0和4.1版本中,binlog的第一个事件可能不是开始事件。因为服务器只会在它启动后的第一个binlog文件中写开始事件。对于其他的文件,服务器会在当前日志文件的结尾处写一个ROTATE_EVENT事件,这样在下个文件的开头就不会写开始事件了。如果日志文件的开头不是START_EVENT_V3或者FORMAT_DESCRIPTION_EVENT,可以断定是v3版本,因为这只会出现在4.0和4.1版本中,而这两个版本的版本都是v3格式的。

异常情况2:在5.1和5.2版本的Mysql中,有些较早的版本用v4格式写binlog文件,但是使用的时间号与现有的v4不一样。因此,当读取FDE时才会发现是v4版本,这种情况下,还需要读取在21位置出现的字符串,表示服务器版本。如果版本号在受影响版本的集合中,事件会重新编号为v4。

【文档】六、Mysql Binlog版本的更多相关文章

  1. 部署openstack的官网文档解读mysql的配置文件

    部署openstack的官网文档解读mysql的配置文件(使用与ubutu和centos7等系统) author:headsen chen  2017-10-12 16:57:11 个人原创,严禁转载 ...

  2. PHP实例:使用PHPExcel导入Excel2003文档和Excel2007文档到MySQL数据库中

    如果要使用phpExcelReader将Excel 数据导入到mysql 数据库,请读者点击这个文章查看. 使用phpExcelReader将Excel 数据导入到mysql 数据库. 下面我们介绍另 ...

  3. Sandcastle Help File Builder(.NET帮助文档工具)的版本选择心得——支持VS2010至VS2015,高版本项目文件问题

    作者: zyl910 一.缘由 "Sandcastle Help File Builder"(简称SHFB)是一个很好用.NET 帮助文档生成工具. 但它的每个版本支持的VS版本范 ...

  4. mysql官网文档调试MYSQL资料 5.7

    http://dev.mysql.com/doc/refman/5.7/en/debugging-server.html

  5. 数据库官方在线文档列表(mysql, postgreSQL)

    1. mysql http://dev.mysql.com/doc/ 2. postgreSQL https://www.postgresql.org/docs/

  6. java读取Excel文档插入mysql

    /** * 读取excel插入myslq */package com.excel; import java.io.BufferedInputStream;import java.io.File;imp ...

  7. 阅读阿里文档总结————Mysql数据库篇

    一:建表规范 1.针对于任何字段如果为非负数,必须是 unsigned: 2.表达逻辑删除的字段名 is_deleted,1 表示删除,0 表示未删除: (1为是:0为否) 3.主键索引名为 pk_字 ...

  8. 破解Aspose 操作pdf word等文档 对10以下版本有效

    using System; using System.IO; namespace LicenseHelper { public static class License { public const ...

  9. matlab 2017版本修改帮助文档为离线

    安装matlab2017a后发现,帮助文档为在线版本,必须关联账号. 经过查询资料,帮助文档默认是使用web, on mathworks.com 可以将帮助文档改为离线版本. 具体修改方法: Pref ...

随机推荐

  1. NLog日志框架简写用法

    本文转载:http://www.blogjava.net/qiyadeng/archive/2013/02/27/395799.html 在.net中也有非常多的日志工具,今天介绍下NLog.NLog ...

  2. Delphi 文件拷贝

    function DoCopyDir(sDirName:String;sToDirName:String):Boolean;var hFindFile:Cardinal; t,tfile:String ...

  3. [C#]安装WindowsService的关键步骤

    使用.Net编写好了WindowsService以后,不安装到系统里就没有任何作用. [添加Installer] 在服务的设计器画面,属性页面里,选择[Add Installer]链接. 如此便会生成 ...

  4. java随笔——HashMap与红黑树

    前言: hashmap是一种很常用的数据结构,其使用方便快捷,接下来笔者将给大家深入解析这个数据结构,让大家能在用的时候知其然,也知其所以然. 一.Map 首先,从最基本的讲起,我们先来认识一下map ...

  5. [C#学习笔记]Func委托与Action委托

    学习一项新知识的时候,最好的方法就是去实践它. 前言 <CLR via C#>这本神书真的是太有意思了!好的我的前言就是这个. Fun 如果要用有输入参数,有返回值的委托,那么Func委托 ...

  6. Pi 在Windows下面使用远程桌面登录

    1.删除系统自带的xrdp 输入命令sudo apt-get purge xrdp pi@raspberrypi:~ $ sudo apt-get purge xrdp 正在读取软件包列表... 完成 ...

  7. sharepoint 2013 补丁升级步骤

    1. 安装过程合理: A. 可以同时在管理中心.两台前端.搜索服务器上安装重新发布的SP1补丁包(所提供的链接) B. 等待所有SP1补丁包安装完成,依次在管理中心.两台前端.搜索服务器上运行配置向导 ...

  8. iOS AppStore 被拒原因

    De : Apple 3.12 - Apps should have all included URLs fully functional when you submit it for review, ...

  9. android frame的学习

    http://blog.csdn.net/littletigerat/article/details/6318365   //2011年Android Activity生命周期学习笔记 http:// ...

  10. 1415: 小ho的01串 [字符串]

    点击打开链接 1415: 小ho的01串 [字符串] 题目描述 有一个由0和1组成的字符串,它好长呀--------一望无际 恩,说正题,小ho的数学不太好,虽然是学计算机的但是看见0和1也是很头疼的 ...