目录

【0】需求

  前提,已经假设好基于传统异步复制的主库和从库1.

  【0.1】传统异步切换成基于GTID的无损模式

  【0.2】增加特殊要求的从库

【1】操作环境

【2】构建 复制-》半同步复制 实践操作

  【2.1】搭建传统异步复制(带配置文件)
  【2.2】构建测试数据
  【2.3】在线异步模式改成无损半同步模式

【3】半同步与GTID模式的相互在线切换
  【3.1】前置条件
  【3.2】半同步切换成 GTID 模式操作步骤
  【3.3】GTID切换成半同步

【4】增加节点 203 为只复制 test 库的从库
  【4.1】在主库 mysqldump 备份 test 库(也可以在从)
  【4.2】修改配置文件(只复制test库)
  【4.3】开始主从(203从,201主)
  【4.4】核验

正文:

【0】需求

  前提,已经假设好基于传统异步复制的主库和从库1.

【0.1】传统异步切换成基于GTID的无损模式

    由于早期架构没有设置好,用的是非GTID的传统异步模式。

    为了安全与性能,需要在线切换至基于GTID的无损模式,且不能停止业务,需在线处理。

【0.2】增加特殊要求的从库

    由于业务需要,增加2个从库,从库2只需要同步一个库,从库3只需要同步某2张表。

    且从库3在使用一段时间后,不再使用,需要删除。

【1】操作环境

  操作系统:CentOS linux 7.5

  数据库版本:5.7.24

  数据库架构:主从复制,主库用于生产,从库用于数据容灾和主库备机,采用默认传统的异步复制。

  主库IP:192.168.1.201  端口:3306

  从库1_IP:192.168.1.202  端口:3306   全库

  从库2_IP:192.168.1.203  端口:3306   test数据库

  从库3_IP:192.168.1.204  端口:3306   test.test4

【2】构建 复制-》半同步复制 实践操作

【2.1】搭建传统异步复制(带配置文件)

#replication_new
log_bin=/mysql/log//mysql-bin #开启binlog
log_bin_index=/mysql/log//mysql-bin.index
binlog_format=row
binlog_rows_query_log_events=on
max_binlog_size= bind-address=0.0.0.0
server_id=
expire_logs_days= #超过7天的binlog清理
innodb_support_xa=
binlog_cache_size=1M
log_bin_trust_function_creators= #同步存储过程、函数、触发器
innodb_flush_log_at_trx_commit=
sync_binlog=
transaction-isolation=read-committed relay_log=/mysql/log//relaylog/mysql-relay.log
log-slave-updates=
#read_only=
slave-parallel-type=LOGICAL_CLOCK
slave-parallel-workers=
master_info_repository=table #master_info 会记录到 mysql.slave_master_info
relay_log_info_repository=table #relay_log 会记录到,mysql.slave_relay_log_info
relay_log_recovery=
slave_skip_errors=ddl_exist_errors
slave_preserve_commit_order=1
#plugin_dir=/mysql/app/mysql/lib/plugin/
#plugin_load=rpl_semi_sync_master=semisync_master.so;rpl_semi_sync_slave=semisync_slave.so #如果是5.7,参数前面加上loose_,如下列,如果是5.6 则直接使用 rpl_semi_sync_master_enabled=1 之类的就好了。
#我这里是5.7就直接做增强半同步了(loseless Semisynchronous )
#loose_rpl_semi_sync_master_enabled=1 #MySQL开启主的半同步复制(rpl_semi_sync_master_enabled)
#loose_rpl_semi_sync_slave_enabled=1 #MySQL5.6开启从的半同步复制
#loose_rpl_semi_sync_master_timeout=5000 #超时5秒,切回异步
#rpl_semi_sync_master_wait_for_slave_count=1 #至少收到1个slave发会的ack
#rpl_semi_sync_master_wait_point=AFTER_SYNC #MySQL 5.7的方法,AFTER_SYNC(default,增强半同步) & AFTER_COMMIT(传统半同步) #gtid_mode=1
#enforce_gtid_consistency=1

  搭建参考(这里就不再写了):异步复制

【2.2】构建测试数据

-- 【2.2.1】构造test库和test库下的test1,test2,test3表。test4表用于模拟业务一直在运行
create database test;
use test;
create table test1(id int);
insert into test1 values(1);
create table test2(id int);
insert into test2 values(2);
create table test3(id int);
insert into test3 values(3);
commit;
create table test4(id int);
insert into test4 values(4);
commit;
-- 【2.2.2】构造存储过程sp_test4来循环插入test4表,模拟业务运行
use test;
drop procedure if exists sp_test4;
delimiter $$
create procedure sp_test4()
begin
declare n int;
set n=11;
while(n<=20)
do
insert into test.test4 values(n);
commit;
set n=n+1;
end while;
end $$
delimiter ; -- 【2.2.3】构造事件,来调度sp_test4过程
use test;
set global event_scheduler=1; delimiter $$
create event if not exists event_test4
on schedule every 5 second
on completion preserve
enable
do
begin
call sp_test4();
end $$
delimiter ; -- 为了防止测试数据量累计导致卡顿,我这里5小时做一次truncate
delimiter $$
create event if not exists event_truncate_test4
on schedule every 5 hour
on completion preserve
enable
do
begin
truncate table test.test4;
end $$
delimiter ;

【2.3】在线异步模式改成无损半同步模式

参考:半同步复制
【2.3.1】在线开启半同步
在主库从库均: install plugin rpl_semi_sync_master soname 'semisync_master.so';
install plugin rpl_semi_sync_slave soname 'semisync_slave.so';
set global rpl_semi_sync_master_enabled=1; #MySQL开启主的半同步复制(rpl_semi_sync_master_enabled)
set global rpl_semi_sync_slave_enabled=1; #MySQL5.6开启从的半同步复制
set global rpl_semi_sync_master_timeout=5000; #超时5秒,切回异步
set global rpl_semi_sync_master_wait_for_slave_count=1; #至少收到1个slave发会的ack
set global rpl_semi_sync_master_wait_point=AFTER_SYNC;

-- 主从均核验状态
show plugins; -- 查看插件是否装好
show variables like 'rpl%'; -- 查看半同步参数设置及状态
show status like 'rpl%'; -- 查看半同步复制的状态
在从库(确认主从同步后):

stop slave io_thread; -- stop slave ;
start slave io_thread; -- start slave;

【2.3.2】修改my.cnf 重启mysql启用半同步
#plugin_dir=/mysql/app/mysql/lib/plugin/
plugin_load=rpl_semi_sync_master=semisync_master.so;rpl_semi_sync_slave=semisync_slave.so #如果是5.7,参数前面加上loose_,如下列,如果是5.6 则直接使用 rpl_semi_sync_master_enabled=1 之类的就好了。
#我这里是5.7就直接做增强半同步了(loseless Semisynchronous )
loose_rpl_semi_sync_master_enabled=1 #MySQL开启主的半同步复制(rpl_semi_sync_master_enabled)
loose_rpl_semi_sync_slave_enabled=1 #MySQL5.6开启从的半同步复制
loose_rpl_semi_sync_master_timeout=5000 #超时5秒,切回异步
rpl_semi_sync_master_wait_for_slave_count=1 #至少收到1个slave发会的ack
rpl_semi_sync_master_wait_point=AFTER_SYNC #MySQL 5.7的方法,AFTER_SYNC(default,增强半同步) & AFTER_COMMIT(传统半同步)
 

【3】半同步与GTID模式的相互在线切换

【3.1】前置条件

  (1)mysql5.7.6以上版本,才支持GTID

  (2)当前gtid_mode=off

  (3)下面的步骤必须按顺序执行,不能跳着执行。

    gtid_mode 在线打开切换过程:

      off >> off_permissive >> on_permissive >> on

    gtid_mode 在线关闭切换过程:

      on >> on_permissive >> off_permissive >> off

  (4)相关释义信息: 

    #gtid_mode =  

      #(1)on:产生GTID,slave只接受带GTID的事务  

      #(2)on_permissive:产生GTID,slave接受不带GTID的事务也接受带GTID的事务

      #(3)off:不产生GTID,slave只接受不带参GTID的事务  

      #(4)off_permissive:不产生GTID,slave接受带GTID也接受不带GTID的事务

    #  enforce_gtid_consistency=on  #on:当发现语句/事务不支持GTID时,返回错误信息  WARN:发现不支持返回警告  #off:不检查

【3.2】半同步切换成 GTID 模式操作步骤

-- 在所有mysql上运行~~~~

-- 【3.2.1】提交事务、设置GTID强制连续选项
commit;
set @@global.enforce_gtid_consistency=warn;
show variables like '%enforce_gtid%'; set @@global.enforce_gtid_consistency=on;
-- 【3.2.2】设置 gtid_mode
set @@global.gtid_mode=off_permissive;
set @@global.gtid_mode=on_permissive;
show variables like '%gtid_mode%'; -- 【3.2.3】查看是否还有匿名事务没有提交
show status like '%anonymous%'; -- 【3.2.4】所有的mysql清理旧的二进制日志
flush logs; -- 【3.2.5】开启GTID,设置gtid_mode=on
set @@global.gtid_mode=on;
show variables like '%gtid_mode%'; -- 这就算配完了 -------------------------------------
#【3.2.6】为了下次重启永久生效,设置好my.cnf
[mysqld]
gtid_mode=1
enforce_gtid_consistency=1
log_slave_update=1
-- 【3.2.7】在从库运行,重配基于GTID的复制
stop slave; change master to
master_host='192.168.1.201',
master_port=3306,
master_user='rpl',
master_password='123456',
master_auto_position=1; start slave;
show slave status\G -- 查看测试数据,是否同步
select count(1) from test.test4;

【3.3】GTID切换成半同步

-- 先主库
-- 【3.3.1】修改gtid_mode
commit;
set @@global.gtid_mode=on_permissive;
commit;
show variables like '%gtid_mode%';
set @@global.gtid_mode=off_permissive;
commit;
set @@global.gtid_mode=off;
commit;
show variables like '%gtid_mode%'; 【报错】ERROR 1766 (HY000): The system variable gtid_mode cannot be set
when there is an ongoing transaction.
【解决】commit; -- 提交一下空事务即可
-- 【3.3.2】从库运行
commit;
set @@global.gtid_mode=on_permissive;
commit;
show variables like '%gtid_mode%';
set @@global.gtid_mode=off_permissive;
commit;
-- 【3.3.3】从库停止复制,禁止使用master_auto_position,用file于pos重启复制
-- 在从库
stop slave;
show slave status\G -- 查看一下io线程读取到主库的哪个Binlog文件及其 pos位置 -- (如果账号密码等没有变化,可以只写最后3行,即 change master to master_log.....)
change master to
master_host='192.168.1.201',
master_port=3306,
master_user='rpl',
master_password='123456',
master_auto_position=0,
master_log_file='mysql-bin.000550',
master_log_pos=1754; start slave;
show slave status\G -- 最后再
commit;
set global gtid_mode=off;
show variables like 'gtid_mode';
-- 【3.3.4】检查测试数据是否一致
select count(1) from test.test4; -- 到这里就算完成了
------------------- -- 【3.3.5】配置my.cnf,以便下次重启也能生效,注释掉GTID参数即可
[mysqld]
#gtid_mode=1
#enforce_gtid_consistency=1
#slave_log_update=1
-- 【3.3.6】另外一种办法
-- 【3.3.1】从库停止复制,禁止使用master_auto_position,用file于pos重启复制
-- 在从库
stop slave;
show slave status\G -- 查看一下io线程读取到主库的哪个Binlog文件及其 pos位置 -- (如果账号密码等没有变化,可以只写最后3行,即 change master to master_log.....)
change master to
master_host='192.168.1.201',
master_port=3306,
master_user='rpl',
master_password='',
master_auto_position=0,
master_log_file='mysql-bin.000550',
master_log_pos=1754; start slave;
show slave status\G
-- 这里必须确认数据同步情况,因为当前主从gtid_mode都是on,还可以运行GTID事务,等待把GTID事务都跑完同步完。
-- 【3.3.2】主从都跑--修改gtid_mode
commit;
set @@global.gtid_mode=on_permissive;
commit;
show variables like '%gtid_mode%';
set @@global.gtid_mode=off_permissive;
commit;
set @@global.gtid_mode=off;
commit;
show variables like '%gtid_mode%'; 【报错】ERROR 1766 (HY000): The system variable gtid_mode cannot be set
when there is an ongoing transaction.
【解决】commit; -- 提交一下空事务即可
-- 【3.3.3】检查测试数据是否一致
select count(1) from test.test4;

-----------

【4】增加节点 203 为只复制 test 库的从库

【4.1】在主库 mysqldump 备份 test 库(也可以在从)

mysqldump --databases test --single_transaction --master-data=  -R -uroot -p123456  -E >/mysql/backup/test.bak
# --dump-slave可以获取主库的binlog文件名和位置及pos
# 如果是在从库上,加上 --dump-slave=2 即可(但要去掉--master-data=2)

【4.2】修改配置文件(只复制test库)

#-- 最初配置中的全部要加上
#-- 包含主、从、半同步、gtid 参数
[mysqld] replicate_do_db=test
replicate_wild_do_table=test.%

【4.3】开始主从(203从,201主)

stop slave;

change master to
master_host='192.168.1.201',
master_port=,
master_user='rpl',
master_password='',
master_auto_position=; start slave;
show slave status\G

【4.4】核验

(1)test库数据:

    select count(1) from test.test4;

(2)其他库数据;

    

-- 《1》主库 201 执行与查看
create database test_2;
create table test_2.test2_1(id int);
insert into test_2.test2_1 values(1);
commit;
-- -------------
select * from test_2.test2_1;  

  

-- 《2》从库202 查看

select * from test_2.test2_1; 

  

-- 《3》我们新增的从库 203 查看

select * from test_2.test2_1;

show databases;

  表不存在,新建的库也不存在,实验成功;

  

【5】增加节点204,只复制表test.test4

  从库3_IP:192.168.1.204  端口:3306   复制主库201的:test.test4

 

【5.1】备份

-- 在203上备份
mysqldump -uroot -p123456 --single-transaction -R -E --dump-slave=2 -B test >/mysql/backup/test.bak

【5.2】配置参数

[mysqld]
replicate_do_table=test.test4
replicate_wild_do_table=test.test4

【5.3】开始操作配置

# 还原
echo 'create database test;'|mysql -uroot -p123456
mysql -uroot -p123456 test </mysql/backup/test4.bak #复制
change master to
master_host='192.168.1.201',
master_user='rpl',
master_password='',
master_auto_position=;

(5.12)mysql高可用系列——复制中的在线切换GTID模式/增加节点/删除节点的更多相关文章

  1. (5.11)mysql高可用系列——复制中常见的SQL与IO线程故障

    关键词:mysql复制故障处理 [1]手工处理的gtid_next(SQL线程报错) 例如:主键冲突,表.数据库不存在,row模式下的数据不存在等. [1.1]模拟故障:GTID模式下的重复创建用户 ...

  2. (5.8)mysql高可用系列——MySQL中的GTID复制(实践篇)

    一.基于GTID的异步复制(一主一从)无数据/少数据搭建 二.基于GTID的无损半同步复制(一主一从)(mysql5.7)基于大数据量的初始化 正文: [0]概念 [0.5]GTID 复制(mysql ...

  3. MySQL高可用系列之MHA(二)

    一.參数说明 MHA提供了一系列配置參数.深入理解每一个參数的详细含义,对优化配置.合理使用MHA非常重要.非常多高可用性也都是通过合理配置一些參数而实现的. MHA包含例如以下配置參数,分别说明例如 ...

  4. (5.15)mysql高可用系列——MHA实践

    关键词:MHA,mysql mha [1]需求 采用mysql技术,实现MHA高可用主从环境,预计未来数据量几百G MHA概念参考:MYSQL高可用技术概述 [2]环境技术架构 [2.1]MHA简介 ...

  5. (5.1)mysql高可用系列——高可用架构方案概述

    关键词:mysql高可用概述,mysql高可用架构 常用高可用方案 20190918 现在业内常用的MySQL高可用方案有哪些?目前来说,用的比较多的开源方案分内置高可用与外部实现,内置高可用有如下: ...

  6. (5.3)mysql高可用系列——mysql复制(理论篇)【续写中】

    关键词:mysql主从复制,mysql复制,MGR,mysql并行复制 目录 [1]mysql支持的复制类型 [2]mysql的主从4种同步方式介绍 (1)异步 (2)同步 (3)5.6 半同步 (4 ...

  7. (5.7)mysql高可用系列——MySQL中的GTID复制(理论篇)【转】

    转自:https://blog.csdn.net/wmq880204/article/details/53160078 一.GTID的概述: 1.全局事物标识:global transaction i ...

  8. (5.14)mysql高可用系列——级联复制与多主一从

    目录: [0]实验需求 级联复制,201为主库,202为从库/同时为203的主库,203为202的从库[1]实验环境 级联:A->B->C 实践思路: (1)直接拿A的xtrabackup ...

  9. (5.4)mysql高可用系列——MySQL异步复制(实践)

    关键词:mysql复制,mysql异步复制,mysql传统异步复制 [1]实验环境 操作系统:CentOS linux 7.5 数据库版本:5.7.24 数据库架构:主从复制,主库用于生产,从库用于数 ...

随机推荐

  1. [Centos7]Centos7安装

    Centos7安装 安装wget yum -y install wget 更换镜像源 # 备份本地yum源 mv /etc/yum.repos.d/CentOS-Base.repo /etc/yum. ...

  2. Vue3.0+TypeScript

    序言 资料 https://www.cnblogs.com/chanwahfung/p/11968205.html

  3. XML -- 为什么选择XML?

    1.XML是什么,主要功能? XML全称(EXtensible Markup Language),是可扩展性标记语言. XML主要功能是用来传输和存储数据.它就是一种纯文本.只要程序能访问纯文本就能访 ...

  4. 20190716NOIP模拟赛T1 礼物(概率dp+状压)

    题目描述 夏川的生日就要到了.作为夏川形式上的男朋友,季堂打算给夏川买一些生 日礼物. 商店里一共有种礼物.夏川每得到一种礼物,就会获得相应喜悦值Wi(每种 礼物的喜悦值不能重复获得). 每次,店员会 ...

  5. 全网最!详!细!tarjan算法讲解。——转载自没有后路的路

    全网最!详!细!tarjan算法讲解.   全网最详细tarjan算法讲解,我不敢说别的.反正其他tarjan算法讲解,我看了半天才看懂.我写的这个,读完一遍,发现原来tarjan这么简单! tarj ...

  6. 第03组 Alpha冲刺(3/4)

    队名:不等式方程组 组长博客 作业博客 团队项目进度 组员一:张逸杰(组长) 过去两天完成的任务: 文字/口头描述: 制定了初步的项目计划,并开始学习一些推荐.搜索类算法 GitHub签入纪录: 暂无 ...

  7. 十一、spring插件

    1.STS插件_ springsource-tool-suite插件各个历史版本 2.eclipse安装spring的插件 3.奇技淫巧:在spring官网上下载历史版本的spring插件,sprin ...

  8. vue添加外部js

    1.新建节点 const s = document.createElement("script"); 2.设置节点属性 s.type = "text/javascript ...

  9. mybatis延迟加载(Collection)

    上篇讲了assocation,同样我们也可以在一对多关系配置的结点中配置延迟加载策略. 结点中也有 select 属性,column 属性. 需求: 完成加载用户对象时,查询该用户所拥有的账户信息. ...

  10. 【python / mxnet / gluoncv / jupyter notebook】变换场景的同一行人多重识别

    程序环境为高性能集群:CPU:Intel Xeon Gold 6140 Processor * 2(共36核心)内存:512GB RAMGPU:Tesla P100-PCIE-16GB * 2   数 ...