【FAQ系列】关于SQL_Errno:1677导致主从复制中断的思考和实践
1、简单介绍该错误发生的背景:
1) 数据库版本:MySQL5.7.19
2) 对一个大表修改字段类型DDL(将主键id int变为bigint),为了不影响主库业务,先在从库上执行DDL操作,然后通过主从切换完成最终的大表DDL;在从库执行完DDL后,这时发现复制中断了,报错信息:
Last_SQL_Errno: 1677
Last_SQL_Error: Column 0 of table 'darren.conversions' cannot be converted from type 'int' to type 'bigint(20)'
3)错误重现:
在主库上,建表如下:
CREATE TABLE `conversions` (
`id` int(11) NOT NULL AUTO_INCREMENT,
`name` char(10) NOT NULL,
PRIMARY KEY (`id`)
) ENGINE=InnoDB
在从库上,修改字段类型,将id int 变成bigint:
alter table conversions modify id bigint not null;
最后在主库上向该表插入数据,这时从库就报1677错误了。
2、解决方案
参考MySQL文档中的方法,在从库上设置slave_type_conversions
="ALL_NON_LOSSY",重启复制即可解决
MySQL> set global slave_type_conversions ='ALL_NON_LOSSY';
MySQL> stop slave;start slave;
3、关于该错误的详细介绍
【不同数据类型的主从复制】:正常情况下,主库和从库每个表的各个列数据类型都是一致的,但是MySQL并不强制这样。有些特殊情况下,是存在主从列数据类型不一致,比如上面的大表DDL操作,先在从库上修改,然后切换主从,最后再修改老主库的结构,当然,可能存在其他多种情况,不一一列举。
【属性升级和降级(attribute promotion and demotion)】:主从复制下,MySQL只支持同类小数据类型和较大类型之间的属性提升和降级,比如将主库上int在从库上转为bigint,视为属性升级,相反将bigint转为int就是属性降级。属性升降级可用于基于语句和基于行的复制格式,并且不依赖于存储引擎。但是,日志格式的选择对允许的类型转换有影响,这里主要讨论row格式。
【有损和无损转换(Lossy and non-lossy conversions)】:主从数据库同一表同一列数据类型不一致,会产生数据类型转换。为了符合和适应目标列类型,截断(或其他修改)源值,称为有损转换;不需要截断或类似的修改以适应目标列中的源列值的转换是一个非有损的转换。这两种转换模式主要由slave_type_conversions系统变量控制,该变量的值如下:
Mode | 影响描述 |
ALL_LOSSY(有损转换) | 该模式下,列类型转换允许丢失一些信息。如果只设置该模式,只允许同类的大数据类型转换为小数据类型,其他模式的转换都会发生1677错误。生产环境不建议设置该值,很容易导致主从不一致。 |
ALL_NON_LOSSY(无损转换) | 该模式下,不会导致数据丢失和截断,因为该值只允许同类的小数据类型转换为大数据类型,其他模式的转换都会发生1677错误。生产环境建议设置该值 |
ALL_LOSSY,ALL_NON_LOSSY(两种情况并存) | 上面两种模式都支持,生产环境不建议设置该值 |
[empty] (空值) | 不设置任何值,表示不允许任何模式的类型转换,如果发现类型转换,都会产生1677错误,导致复制中断 |
4、测试
4-1、slave_type_conversions='ALL_LOSSY'
主库id是int类型,slave修改为bigint,当主库插入数据后,从库直接报错1677;当从库修改为tinyint,由于是ALL_LOSSY模式,从库数据被截断,这时主从数据是不一致的。
----------------------------------------当从库修改为bigint----------------------------------------------------------------------------
mysql> show global variables like 'slave_type_conversions';
+------------------------+-----------+
| Variable_name | Value |
+------------------------+-----------+
| slave_type_conversions | ALL_LOSSY |
+------------------------+-----------+
row in set (0.00 sec) mysql> show slave status\G
*************************** . row ***************************
Last_Errno: 1677 #直接报错了
Last_Error: Column of table 'darren.conversions' cannot be converted from type 'int' to type 'bigint(20)'
----------------------------------------当从库修改为tinyint----------------------------------------------------------------------------
master插入11111:
mysql> insert into conversions(id,name) values(,'a');
Query OK, row affected (0.00 sec) mysql>
mysql> select * from conversions;
+-------+------+
| id | name |
+-------+------+
| | a |
| | a |
+-------+------+ slave的值127:
mysql> select * from darren.conversions;
+-----+------+
| id | name |
+-----+------+
| | a |
| | a | #11111被截断为127
+-----+------+
4-2、slave_type_conversions='ALL_NON_LOSSY'
slave> show global variables like 'slave_type_conversions';
+------------------------+---------------+
| Variable_name | Value |
+------------------------+---------------+
| slave_type_conversions | ALL_NON_LOSSY |
+------------------------+---------------+ slave> show create table conversions;
+-------------+----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+
| Table | Create Table |
+-------------+----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+
| conversions | CREATE TABLE `conversions` (
`id` tinyint() NOT NULL AUTO_INCREMENT,
`name` char() NOT NULL,
PRIMARY KEY (`id`)
) ENGINE=InnoDB AUTO_INCREMENT= DEFAULT CHARSET=utf8 |
+-------------+----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+ ------------------------------------主库插入值-----------------------------
master> insert into conversions(id,name) values(,'a');
Query OK, row affected (0.01 sec) master> select * from conversions;
+-------+------+
| id | name |
+-------+------+
| | a |
| | a |
| | a |
+-------+------+ 从库报错了,因为ALL_NON_LOSSY 只支持小数据类型转为大数据类型
mysql> show slave status\G
*************************** . row ***************************
Last_Errno:
Last_Error: Column of table 'darren.conversions' cannot be converted from type 'int' to type 'tinyint(4)'
4-3、slave_type_conversions=''
设置为空值,从库不支持任何的类型转换,直接报错。
5、支持哪些类型转换?
5.1) 支持整型 TINYINT
, SMALLINT
, MEDIUMINT
, INT
, and BIGINT之间任意两者转换
5.2) 支持浮点数 DECIMAL
, FLOAT
, DOUBLE
, and NUMERIC之间任意两者转换
5.3) 支持 CHAR
, VARCHAR
, and TEXT之间任意两者转换
5.4) 支持BINARY
, VARBINARY
, and BLOB之间任意两者转换
5.5) 支持bit之间转换
其他不在上述的都不支持转换。
【总结】设置空值是最严格的模式,不允许列类型不一致,如果发生不一致,从库复制就中断报错了,能够最大程度上维护主从数据一致性。
如果日常运维,如大表DDL需要在从库上进行的,可以先设置slave_type_conversions='ALL_NON_LOSSY',能够保证从库不会产生1677错误,但是对于整型字段,一定要注意主从unsigned或者signed问题,如果主库signed,从库上是unsigned,主从数据有可能不一致;当主库上unsigned,从库signed的,一定要保证从库字段足够大能存下主库字段值,否则也会导致数据不一致。
参考文档:https://dev.mysql.com/doc/refman/5.7/en/replication-features-differing-tables.html
【FAQ系列】关于SQL_Errno:1677导致主从复制中断的思考和实践的更多相关文章
- 【FAQ系列】Relay log 导致复制启动失败
今天在使用冷备份文件重做从库时遇到一个报错,值得研究一下. 版本:MySQL5.6.27 一.报错现象 dba:(none)> start slave; ERROR (HY000): Slave ...
- FAQ系列 | 如何保证主从复制数据一致性(转)
导读 MySQL主从复制环境中,如何才能保证主从数据的一致性呢? 关于主从复制 现在常用的MySQL高可用方案,十有八九是基于 MySQL的主从复制(replication)来设计的,包括常规的一主一 ...
- 如果是在有master上开启了该参数,记得在slave端也要开启这个参数(salve需要stop后再重新start),否则在master上创建函数会导致replaction中断。
如果是在有master上开启了该参数,记得在slave端也要开启这个参数(salve需要stop后再重新start),否则在master上创建函数会导致replaction中断.
- OOM导致的备库raylog损坏导致主从复制异常
问题发现告警数据库出现复制中断,延迟超过100秒 问题排查复制信息检查,通过’show slave status\G’命令可以查看复制线程详细的工作状态,对于判断复制中断的原因有一些指导性意义.当时的 ...
- cad.net 复制图元的时候按下多次esc导致复制中断的bug,令REGEN,REGENALL更新图元无效.
浩辰没有这个bug !!!!!!! 如上述动图所示,cad在复制一个多图元的操作时候,多次按下esc键中断复制操作, **注意例子要有足够多的图元(大概一万个图元),才能很好展示这个bug,而且这个b ...
- Mysql系列(三)—— Mysql主从复制配置
一.前言 主从复制是Mysql知识体系中非常重的要一个模块.学习主从复制和后续的读写分离是完善只是知识体系的重要环节.且主从复制读写分离的思想并不仅仅局限于Mysql,在很多存储系统中都有该方案,如: ...
- Docker Data Center系列(一)- 快速搭建云原生架构的实践环境
本系列文章演示如何快速搭建一个简单的云原生架构的实践环境. 基于这个基础架构,可以持续部署微服务架构的应用栈,演练敏捷开发过程,提升DevOps实践能力. 1 整体规划 1.1 拓扑架构 1.2 基础 ...
- MySQL主从复制中断,报“Error on master: message (format)='Cannot delete or update a parent row: a foreign key constraint fails' error code=1217” 错误
前几天,发现从库挂了,具体报错信息如下: 分析思路 1. 因为我采用的是选择性复制,只针对以下几个库进行复制: card,upay,deal,monitor,collect.所以,不太可能出现对于sa ...
- 操作系统开发系列—13.b.进程之丰富中断处理程序
首先打开时钟中断: out_byte(INT_M_CTLMASK, 0xFE); // Master 8259, OCW1. out_byte(INT_S_CTLMASK, 0xFF); // Sla ...
随机推荐
- 笔记:XML-解析文档-流机制解析器(SAX、StAX)
DOM 解析器完整的读入XML文档,然后将其转换成一个树型的数据结构,对于大多数应用,DOM 都运行很好,但是,如果文档很大,并且处理算法又非常简单,可以在运行时解析节点,而不必看到完整的树形结构,那 ...
- 笔记:Maven 项目基本配置
Maven 的基本设置包含项目基本信息和项目信息,基本信息主要用于设置当前包的归属项目.当前项目等,配置文件结构如下: <project xmlns="http://maven.apa ...
- MYSQL数据库学习六 索引的操作
6.1 索引 由于数据存储在数据库表中,所以索引是创建在数据库表对象上的,由表中的一个或多个字段生成的键组成,这些键存储在数据结构(B-树或哈希表)中,通过索引可以快速有效地查找与键值相关联的字段.根 ...
- 选择排序—简单选择排序(Simple Selection Sort)
基本思想: 在要排序的一组数中,选出最小(或者最大)的一个数与第1个位置的数交换:然后在剩下的数当中再找最小(或者最大)的与第2个位置的数交换,依次类推,直到第n-1个元素(倒数第二个数)和第n个元素 ...
- Java 后端微信支付demo
Java 后端微信支付demo 一.导入微信SDK 二.在微信商户平台下载证书放在项目的resources目录下的cert文件夹下(cert文件夹需要自己建) 三.实现微信的WXPayConfig接口 ...
- JSON字符串转为JSON对象
在数据传输流程中,json是以文本,即字符串的形式传递的,而JS操作的是对象,所以,JSON对象(js对象)和JSON字符串之间的相互转换是关键. JSON可以有两种格式,一种是对象格式的,另一种是数 ...
- Java多线程:死锁
周末看到一个用jstack查看死锁的例子.昨天晚上总结了一下jstack(查看线程).jmap(查看内存)和jstat(性能分析)命令.供大家参考 1.Jstack 1.1 jstack能得到运行j ...
- phpcms v9 列表页直接下载功能代码实现
{pc:content action="lists" catid="$catid" num="3" order="id DESC& ...
- 单例模式、简单工厂模式、XML解析
单例模式: 什么是单例模式? 针对特定问题提出的特定解决方案 为什么使用设计模式? 让程序有更好的可扩展性 在哪里使用? 一般情况下,开发中真正使用设计模式的地方,JVM(虚拟机)底层机制模式 usi ...
- java 对象和封装
软件出现的目的 面向对象设计和开发程序的好处用计算机语言描述现实世界 交流更加流畅用计算机解决现实世界的问题 提高设计和开发效率 面向对象的思想 描述→ 面向对象的世界 ...