为了解决mysqlbing翻译表字段问题而分析frm文件(持续更新)
出处:kelvin19840813 的博客 http://www.cnblogs.com/kelvin19840813/
您的支持是对博主最大的鼓励,感谢您的认真阅读。本文版权归作者所有,欢迎转载,但请保留该声明。
很多人都知道mysqlbinlog 解释出来的binlog的 insert , update 是位置相反的 , 还有表字段都是@1 ... @数字 , 很恶心!!!
但没看到有人在 mysql8.0 功能需求时提问题出来 , 自己也没有提出来
唯有自己解释 frm 文件,获取表字段名称,字段出来, 然后对应一下贴贴贴上去翻译出binlog的sql语句咯 ,并不是高深东西 , 仅此日记记录
0000 ~ 0001: FE 01 识别是否frm文件 , 固定
0002: 0A 是mysql版本识别位置table.cc 的 FRM_VER+3+ MY_TEST(create_info->varchar); 为6是5.0+版本mysql , 9 或者 10是有varchar的frm文件
0003: 0C 影射枚举值从 handler.h文件中 legacy_db_type , 0C 是 12 刚刚好是innodb类型 ,如下:
enum legacy_db_type
{
DB_TYPE_UNKNOWN=0,DB_TYPE_DIAB_ISAM=1,
......, DB_TYPE_INNODB,
......
};
0004 ~ 0005: 03 00 , 反着看 00 30 mysql 5.0+ 总是为3 ,如果不是3,那就算了.....
0006 ~ 0007: 00 10 , 反着看 10 00 IO_SIZE: 4096
0008 ~ 0009: 01 00 暂时不知道是什么
000a ~ 000d: 00 40 00 00 暂时不知道是什么
000e ~ 000f: F9 16 tmp_key_length;如果等于0xffff然后密钥长度是4字节整数偏移0x002f
0010 ~ 0011: 18 08 rec_length ;这是一个默认值存储字符串的字节
0012 ~ 0015: 00 00 00 00 是 create table 语句的 MAX_ROWS 选项
0016 ~ 0019: 00 00 00 00 是 create table 语句的 min_rows 选项 , 在 handler.h 文件
typedef struct st_ha_create_information
{
.......
ulonglong max_rows,min_rows;
...}
001a: 00 没有用
001b: 02 总是2 , 使用长包字段
001c ~ 001d: A3 02 key_info_length - keyinfo部分字节大小
001e ~ 001f: 69 00 是create table [table_option] 的值 my_base.h 文件的 HA_OPTION_* 之类变量
0020: 没用
0021: 05 是 frm 文件的 版本号
0022 ~ 0025: 00 00 00 00 是create table [table_option] 指定的avg_row_length
0026: create table [table_option] 指定字符集编码 [DEFAULT] CHARACTER SET
0027: 00 不知道
0028: 02 是create table [table_option] 的 ROW_FORMAT
rem0types.h文件
enum rec_format_enum {
REC_FORMAT_REDUNDANT = 0, /*!< REDUNDANT row format */
REC_FORMAT_COMPACT = 1, /*!< COMPACT row format */
REC_FORMAT_COMPRESSED = 2, /*!< COMPRESSED row format */
REC_FORMAT_DYNAMIC = 3 /*!< DYNAMIC row format */
};
0029: 00 RAID_TYPE mysql 5之前的 create table [table_option] , 没有研究干嘛的
002a: 00 RAID_CHUNKS mysql 5之前的 create table [table_option] , 没有研究干嘛的
002b ~ 002e: 00 00 00 00 RAID_CHUNKSIZE mysql 5之前的 create table [table_option] , 没有研究干嘛的
002f ~ 0032: F9 16 00 00 index metadata keyinfo部分字节大小
0033 ~ 0036: BF C5 00 00 mysql版本号 ,涉及到一个字节序问题 , 机器是x86所以是Little-Endian ,链接如下:
http://baike.baidu.com/link?url=Dd2Z3o5aNoUYQPG6xqIgNwr-jrNS8BTK72r42WVxr-SHhva4TnMsHrEXTcE_N4F6ZEhhe18Akg3hOBe2Eb-M9K
都是unsigned int ( 占 4 bytes) , little-endian
生成 MYSQL_VERSION_MAJOR , MYSQL_VERSION_MINOR , MYSQL_VERSION_PATCH
0037 ~ 003a: 33 00 00 00 create table [table_option] extra_info 信息
- CONNECTION
- ENGINE
- PARTITION BY
- WITH PARSER
- Table COMMENT
003b ~ 003c: 00 00 extra_rec_buf_length
003d: 00 如果是0C, 就是分区表 , 在handler.h文件的 DB_TYPE_PARTITION_DB = 12
003e ~ 003f: 00 00 create table [table_option] 的 KEY_BLOCK_SIZE 在handler.h文件的 ulong key_block_size;
跟着下来要定位 forminfo_offset , 就是表的字段开始位置
Format | C | Python | 字节数 |
x | pad byte | no value | 1 |
c | char | string of length 1 | 1 |
b | signed char | integer | 1 |
B | unsigned char | integer | 1 |
? | _Bool | bool | 1 |
h | short | integer | 2 |
H | unsigned short | integer | 2 |
i | int | integer | 4 |
I | unsigned int | integer or long | 4 |
l | long | integer | 4 |
L | unsigned long | long | 4 |
q | long long | long | 8 |
Q | unsigned long long | long | 8 |
f | float | float | 4 |
d | double | float | 8 |
s | char[] | string | 1 |
p | char[] | string | 1 |
P | void * | long |
以下的都是固定长度 , 问题是要找出forminfo_offset , metadata_length 和 metadata_offset :
forminfo_offset , 就是表的字段开始位置,可变
metadata_offset = forminfo_offset + forminfo_length + screens_length
metadata_length = column_count * 17 bytes 到达表的第1个字段距离 + metadata_offset
forminfo_length = 288
header_size = 64
forminfo_names_length = 文件位置offset: 0x0004 (H) , 3.23版本之后都是3 , 占 2 bytes
column_count = (forminfo_offset + 258 ) (H) 字段总数 , 占 2 bytes
screens_length 有多少字节数到达 forminfo 的字段metadata , 占 2 bytes
screens_length = (forminfo_offset + 260) (H)
这里算到forminfo_offset: 0x3000
metadata_offset: 0x328C
metadata_length: 0x3446
定位了0x3446 就可以知道表的第1个字段位置 , 将2进制转换成字符 , php, python都有 struct的 pack 和 unpack 函数 , c比较麻烦一点 , 以 0xff 作为字段名成分隔符:
明天待续补充索引信息和注释信息............
为了解决mysqlbing翻译表字段问题而分析frm文件(持续更新)的更多相关文章
- redis配置文件redis.conf翻译、解释以及常用注意事项(持续更新中...)
# Redis configuration file example. #Redis 配置文件的示例 #如何利用配置文件启动Redis # Note that in order to read the ...
- Oracle更新表字段时内容中含有特殊字符&的解决方法
今天在做 Oracle表字段更新时出现了特殊字符&,导致无法更新. 这个问题是第二次碰到了,所以在此记录下,以备后用. 举例: update t set col1='A&B' wher ...
- 关于解决SpringDataJpa框架实体类表字段创建顺序与数据库表字段展示顺序不一致的问题
今天在公司的项目开发中,遇到一个问题: 后端对象实体类中写入字段顺序与数据库中的存储顺序不一致. 仔细观察到数据库中的表字段的排序方式是按照拼音字母的顺序abcdef......来存储的 而我的实体类 ...
- SQLite无法使用drop column删除表字段解决办法
由于项目需求变更,我需要在sqlite数据库的表中删除一个字段,通用的sql操作语句如下: alter table record drop column name; 结果数据库提示如下错误: 搜索得知 ...
- oracle 锁表查询及解决、表字段查询
在进行批量对DML操作时程序竟然中断了,不再往下执行.查询一下某张表被锁住了,因此不再往下执行了 如果怀疑表被锁了,或者事务未被正常关闭,在Oracle数据库中我们可以通过以下语句进行查询获取相关信息 ...
- atitit查询表修改表字段没反应--解锁锁定的表
atitit查询表修改表字段没反应--解锁锁定的表 查询表修改表字段没反应 要是使用gui 没反应,最好使用cmd 方式,不卉不个gui 锁上.. ALTER TABLE t_mb_awardweix ...
- atitit查询表改动表字段没反应--解锁锁定的表
atitit查询表改动表字段没反应--解锁锁定的表 查询表改动表字段没反应 要是使用gui 没反应,最好使用cmd 方式,不卉不个gui 锁上.. ALTER TABLE t_mb_awardweix ...
- ThinkPHP问题收集:模板中使用U方法时无法嵌套大括号,For标签,插入数据,新增的表字段缓存问题
ThinkPHP模板中使用U方法时无法嵌套大括号需要在control里面用U方法赋值给变量传到模版如:{:U('/Blog/comment/',array('id'=>$id)}$comment ...
- MyBatis两张表字段名相同产生的问题
MyBatis两张表字段名相同, 会导致bean属性都映射为第一个表的列, 解决方法: 通过设置别名的方式让其产生区别,如 <select id="queryBySekillId&qu ...
随机推荐
- Python error: Unable to find vcvarsall.bat
在安装一些Python模块时,大部分是cpython写的模块时会发生如下错误 error: Unable to find vcvarsall.bat.先前的一篇文章:在Windows上安装Scrapy ...
- Arrays和Collection之间的转换
1.将数组转换成固定大小的列表: public static <T> List<T> asList(T... a)参数 T... a:数组元素 返回值 List<T> ...
- javascript判断某种元素是否进入可视区域
判断是否在指定的可视区域内,先用最简单的方式,比如整个页面为可视区域 找到几个关键因素: sTop= $(window).scrollTop(); //滚动条距顶部的高度 clientHeight= ...
- 黄聪:远程连接mysql数据库注意事项记录(远程连接慢skip-name-resolve)
远程连接慢 慢是一个很大的问题,网上的办法是在my.ini的“[mysqld]”下面加入一行“skip-name-resolve”,就像这样: 然后保存并重启mysql服务即可. 下面是其它网友的补充 ...
- JAVA正则表达式:Pattern类与Matcher类详解(转)
java.util.regex是一个用正则表达式所订制的模式来对字符串进行匹配工作的类库包.它包括两个类:Pattern和Matcher Pattern 一个Pattern是一个正则表达式经编译后的表 ...
- C#封装好的Win32API
Kernel.cs using System; using System.Runtime.InteropServices; using System.Text; using HANDLE = Syst ...
- UILable
//UILable的大小自适应实例 UILabel *myLable = [[UILabel alloc] initWithFrame:CGRectMake(, , , )];//设定位置与大小 [m ...
- QT总结第3篇:如何在QT中添加.lib,.dll还有.h文件
因为我在工作的过程中,使用的是第三方提供的库,但是如何将这些库添加到QT的工程中,是个问题,让我恼火了很久,怎么弄都是错的. 下面,我会对这个问题,进行叙述,希望其他人第一次遇到这种问题的时候,可以轻 ...
- c#进制转换(转)
//十进制转二进制Console.WriteLine("十进制166的二进制表示: "+Convert.ToString(166, 2));//十进制转八进制Console.Wri ...
- Python-9 函数
#1 内建函数 乘方:pow() >>> pow(2,3) 8 >>> 取绝对值:abs() >>> abs(-1) 1 >>> ...