binlog文件格式有以下几种:

  • v1:用于3.23版本
  • v3:用于4.0.2到4.1版本
  • v4:用于5.0及以上版本

v2版本只在4.0.x版本中使用,目前已经不再支持了。

处理binlog的程序必须支持以上所有的版本。这部分描述了服务器是如何区分所有的格式的,以便辨别binlog使用的版本。mysqlbinlog也是使用的相同的规则。

重要的常量:

  • START_EVENT_V3=1
  • FORMAT_DESCRIPTION_EVENT=15
  • EVENT_TYPE_OFFSET=4
  • EVENT_LEN_OFFSET=9
  • ST_SERVER_VAR_LEN=50

binlog文件以一个4字节的魔法数开头,后面跟着一个初始的描述事件,标志文件的格式。

  • 在v1和v3中,这个事件被称为开始事件(start event)
  • 在v4中,被称为格式描述事件(format description event)

各个版本中,描述事件的头和数据部分如下:

v1开始事件(69字节)

+=====================================+
| event | timestamp 0 : 4 |
| header +----------------------------+
| | type_code 4 : 1 | = START_EVENT_V3 = 1
| +----------------------------+
| | server_id 5 : 4 |
| +----------------------------+
| | event_length 9 : 4 | = 69
+=====================================+
| event | binlog_version 13 : 2 | = 1
| data +----------------------------+
| | server_version 15 : 50 |
| +----------------------------+
| | create_timestamp 65 : 4 |
+=====================================+

v3开始事件(75字节)

+=====================================+
| event | timestamp 0 : 4 |
| header +----------------------------+
| | type_code 4 : 1 | = START_EVENT_V3 = 1
| +----------------------------+
| | server_id 5 : 4 |
| +----------------------------+
| | event_length 9 : 4 | = 75
| +----------------------------+
| | next_position 13 : 4 |
| +----------------------------+
| | flags 17 : 2 |
+=====================================+
| event | binlog_version 19 : 2 | = 3
| data +----------------------------+
| | server_version 21 : 50 |
| +----------------------------+
| | create_timestamp 71 : 4 |
+=====================================+

v4格式描述事件(大于等于91字节,大小=76+事件类型的数字)

+=====================================+
| event | timestamp 0 : 4 |
| header +----------------------------+
| | type_code 4 : 1 | = FORMAT_DESCRIPTION_EVENT = 15
| +----------------------------+
| | server_id 5 : 4 |
| +----------------------------+
| | event_length 9 : 4 | >= 91
| +----------------------------+
| | next_position 13 : 4 |
| +----------------------------+
| | flags 17 : 2 |
+=====================================+
| event | binlog_version 19 : 2 | = 4
| data +----------------------------+
| | server_version 21 : 50 |
| +----------------------------+
| | create_timestamp 71 : 4 |
| +----------------------------+
| | header_length 75 : 1 |
| +----------------------------+
| | post-header 76 : n | = array of n bytes, one byte per event
| | lengths for all | type that the server knows about
| | event types |
+=====================================+

在所有的binlog版本中,描述事件的数据部分包含的部分相同字段:

  • binlog_version

binlog版本数字(1、3或4)

  • server_version

服务器版本,字符串

  • create_timestamp

创建时间戳,如果不等于0,等于事件创建的秒数;这表示binlog文件穿件的时间。这个字段实际上没有值,如果不为零,也是重复的,因为与头中的timestamp一样。

注意:这个字段是为将来使用的,程序不应该依赖于这个值。这个值将来可能有其他的用处。

v4版本的格式描述事件数据中包含两个额外的字段,以便解析其他类型的事件:

  • header_length:事件头的长度。这个值包含extra_headers字段,所以这个头的长度19不包含extra字段。
  • post-header lengths:每个事件固定数据部分的长度。

决定binlog版本

给定任何binlog文件,这部分的信息描述了如何决定文件格式。几个关于描述事件格式的重要点:

  • v1的头字段对于所有的格式通用。(v3和v4的头也是以v1的头字段开始的,新增了next_position和标志位字段)
  • v3和v4的头包含相同的字段。v3和v4的数据部分不一样,v4的数据部分允许在不改变头的情况的扩展格式。
  • 可以简单的通过读取binlog_version字段的两个字节,来决定binlog的版本,如果不是因为这个字段在v1和v3/v4的位置不一样的话。因此,有必要通过文件的第一个事件是不是v1的开始事件来决定binlog版本。

为了判断binlog版本,通过下面的步骤:

  1. 这个文件以一个4字节的魔法数开头。跳过他,获取到文件中的第一个事件(大多数情况下,这个事件是开始事件或者格式描述事件)
  2. 通过第一个事件,读取两个值:
  • 事件的EVENT_TYPE_POSITION(4)位置的1字节的类型编码
  • 事件中第EVENT_LEN_OFFSET(9)位置的4字节的事件长度的值
  1. 如果类型编码不是START_EVENT_V3或者FORMAT_DESCRIPTION_EVENT,文件格式是v3
  2. 如果类型编码是START_EVENT_V3(1),检查事件长度。如果长度小于75,文件格式是v1,否则是v3。为什么是75?因为这是v3开始事件的长度:
  • 头(19字节)
  • binlog版本(2字节)
  • 服务器版本(ST_SERVER_VER_LEN=50字节)
  • 时间戳(4字节)

把这些加起来19+2+50+4=75。因此,如果事件长度小于75,就一定是v1版本。

  1. 如果类型编码是FORMAT_DESCRIPTION_EVENT(15),文件格式是v4。

但是,有几种特殊情况需要处理:

异常情况1:在4.0和4.1版本中,binlog的第一个事件可能不是开始事件。因为服务器只会在它启动后的第一个binlog文件中写开始事件。对于其他的文件,服务器会在当前日志文件的结尾处写一个ROTATE_EVENT事件,这样在下个文件的开头就不会写开始事件了。如果日志文件的开头不是START_EVENT_V3或者FORMAT_DESCRIPTION_EVENT,可以断定是v3版本,因为这只会出现在4.0和4.1版本中,而这两个版本的版本都是v3格式的。

异常情况2:在5.1和5.2版本的Mysql中,有些较早的版本用v4格式写binlog文件,但是使用的时间号与现有的v4不一样。因此,当读取FDE时才会发现是v4版本,这种情况下,还需要读取在21位置出现的字符串,表示服务器版本。如果版本号在受影响版本的集合中,事件会重新编号为v4。

【文档】六、Mysql Binlog版本的更多相关文章

  1. 部署openstack的官网文档解读mysql的配置文件

    部署openstack的官网文档解读mysql的配置文件(使用与ubutu和centos7等系统) author:headsen chen  2017-10-12 16:57:11 个人原创,严禁转载 ...

  2. PHP实例:使用PHPExcel导入Excel2003文档和Excel2007文档到MySQL数据库中

    如果要使用phpExcelReader将Excel 数据导入到mysql 数据库,请读者点击这个文章查看. 使用phpExcelReader将Excel 数据导入到mysql 数据库. 下面我们介绍另 ...

  3. Sandcastle Help File Builder(.NET帮助文档工具)的版本选择心得——支持VS2010至VS2015,高版本项目文件问题

    作者: zyl910 一.缘由 "Sandcastle Help File Builder"(简称SHFB)是一个很好用.NET 帮助文档生成工具. 但它的每个版本支持的VS版本范 ...

  4. mysql官网文档调试MYSQL资料 5.7

    http://dev.mysql.com/doc/refman/5.7/en/debugging-server.html

  5. 数据库官方在线文档列表(mysql, postgreSQL)

    1. mysql http://dev.mysql.com/doc/ 2. postgreSQL https://www.postgresql.org/docs/

  6. java读取Excel文档插入mysql

    /** * 读取excel插入myslq */package com.excel; import java.io.BufferedInputStream;import java.io.File;imp ...

  7. 阅读阿里文档总结————Mysql数据库篇

    一:建表规范 1.针对于任何字段如果为非负数,必须是 unsigned: 2.表达逻辑删除的字段名 is_deleted,1 表示删除,0 表示未删除: (1为是:0为否) 3.主键索引名为 pk_字 ...

  8. 破解Aspose 操作pdf word等文档 对10以下版本有效

    using System; using System.IO; namespace LicenseHelper { public static class License { public const ...

  9. matlab 2017版本修改帮助文档为离线

    安装matlab2017a后发现,帮助文档为在线版本,必须关联账号. 经过查询资料,帮助文档默认是使用web, on mathworks.com 可以将帮助文档改为离线版本. 具体修改方法: Pref ...

随机推荐

  1. jmeter 性能分析 (一点点加)

    1.聚合报告 我们可以看到,通过这份报告我们就可以得到通常意义上性能测试所最关心的几个结果了. Samples -- 本次场景中一共完成了多少个Transaction Average -- 平均响应时 ...

  2. [解决]--java_out: User.proto: User.proto: Cannot generate Java output because the file 's

    在使用 protocol buffer 的时候,用.proto文件生成代码文件时报错 使用命令 protoc.exe --java_out c:\logs\ User.proto User.proto ...

  3. ZOJ3696 Alien's Organ 2017-04-06 23:16 51人阅读 评论(0) 收藏

    Alien's Organ Time Limit: 2 Seconds      Memory Limit: 65536 KB There's an alien whose name is Marja ...

  4. zstu4273 玩具 2017-03-22 14:18 49人阅读 评论(0) 收藏

    4273: 玩具 Time Limit: 1 Sec  Memory Limit: 128 MB Submit: 700  Solved: 129 Description 商店有n个玩具,第i个玩具有 ...

  5. Ubuntu再图形登录中以root的身份进入???

    Ubuntu再图形登录中以root的身份进入??? 这样做的需求,应该就是,可以再图形页面以root的身份进行图形化操作,比较方便更改配置文件. 1. 可以实现,但是不建议这么做,之后会出现一个警告提 ...

  6. Oracle E-Business Suite并发请求的优先级(Concurrent Request Priority)

    不少用户抱怨自己的Oracle E-Business Suite并发请求(Concurrent Request)提交了好久,但还是一直在排队,等了好久还没有执行.用户希望对于一些重要性程度高.响应要求 ...

  7. 作业3:PSP记录耗时情况

    PSP2.1 Personal Software Process Stage Time planning 计划 10min Estimate 估计这个任务多久完成 150min Developing ...

  8. Mybatis 模糊查询 like【笔记】Could not set parameters for mapping

    当使用mybatis 做模糊查询时如果这样写 会报 Could not set parameters for mapping: ParameterMapping{property='keywords' ...

  9. 自己从0开始学习Unity的笔记 VI (C#的for循环练习)

    最近学到了for循环,我觉得其实看情况吧,和while挺像的,不过适合于累加或者累减这类的,for循环要更好用一点 for循环首先格式是 ; i < length; i++) { } 意思很简单 ...

  10. 开源应用框架BitAdminCore:更新日志20180817

    索引 NET Core应用框架之BitAdminCore框架应用篇系列 框架演示:http://bit.bitdao.cn 框架源码:https://github.com/chenyinxin/coo ...