使用GTID给Galera集群做数据库异步复制
一、为什么要做Galera集群异步复制
Galera集群解决了数据库高可用的问题,但是存在局限性,例如耗时的事务处理可能会导致集群性能急剧下降,甚至出现阻塞现象。而不幸的是,类似报表等业务需求就需要做数据大批量的数据查询操作,为了不影响Galera的集群效率,需要做数据异步复制,产生一个从库来适配耗时的数据操作需求。
由于Galera集群的特殊性,我们不能使用一般的主从复制来实现数据异步复制的要求。集群中每台mariadb都会单独的记录binlog,使得一般的主从配置只能获取到单台数据的变更事件,集群中的其它mariadb上如果有数据变更,无法同步到从库中。
根据GTID进行主从复制解决了这个问题,每个事务都存在唯一的ID,根据事务ID来同步不会受到数据库的限制,因为集群中的所有数据库节点使用的都是唯一的GTID。
二、安装xtrabackup
1、YUM安装,下载percona源:
yum install http://www.percona.com/downloads/percona-release/redhat/0.1-6/percona-release-0.1-6.noarch.rpm
2、开始安装
yum install percona-xtrabackup-24
三、备份数据
1、在主库上全量备份数据:
innobackupex --user=dbuser --passwor='dbpassword' /dir_for_backup
注意password参数,如果密码中有关键字符,需要使用单引号把密码引起来,否则无法登录mysql,无法备份数据。
2、在主库上进行全量备份后,需要应用事务到备份文件中才能使备份文件完整可用
Innobackupex --user=dbuser --password=’dbpassword’--apply-log /dir_for_backup /2018-07-12_10-39-56/
3、在主库上把备份好的数据文件传输到从库中
scp -r /DIR_FOR_BACKUP /2018-07-12_10-39-56/ slave_user@slave_server_ip:/slave_server_data_dir
四、从库启动
1、 在从库上修改数据文件名称,拥有者
mv /slave_server_data_dir/2018-07-12_10-39-56/ /slave_server_data_dir/mysqldata
chown -R mysql:mysql /slave_server_data_dir/mysqldata/
2、 在从库上启动数据库
配置好my.conf文件,指定datadir目录到/slave_server_data_dir/mysqldata,然后启动数据库。
五、主从配置
1、 Galera集群中的所有节点都需要做以下配置:
[mysqld]
master-info-repository=TABLE
relay-log-info-repository=TABLE
log_slave_updates = 1
sync-master-info=1
slave-parallel-threads=2
binlog-checksum=CRC32
master-verify-checksum=1
slave-sql-verify-checksum=1
binlog-rows-query-log_events=1
log-bin=mysql-bin
binlog_format=row
log_slave_updates = 1
server-id=4567
配置完成后重启服务器。
进入主库(Galera集群中的任一节点),授权主从复制用户:
GRANT REPLICATION SLAVE,REPLICATION CLIENT ON *.* TO 'slaveUser'@'10.30.254.9' IDENTIFIED BY 'slaveUser';
2、 从库配置
[mysqld]
master-info-repository=TABLE
relay-log-info-repository=TABLE
log_slave_updates = 1
sync-master-info=1
slave-parallel-threads=2
binlog-checksum=CRC32
master-verify-checksum=1
slave-sql-verify-checksum=1
binlog-rows-query-log_events=1
#这是与主库配置不同的地方
relay_log = relay-bin
server_id=7890
log_bin=binlog
log_slave_updates=1
binlog_format=ROW
配置完成后重启从库数据库。
3、 设置从库GTID复制点信息
l 查看xtrabackup备份数据中的GTID信息
cat /slave_server_data_dir/mysqldata xtrabackup_info
uuid = ffa57fe6-8676-11e8-8b3a-00163e08d213
name =
tool_name = innobackupex
tool_command = --user=root --password=... /mnt
tool_version = 2.4.11
ibbackup_version = 2.4.11
server_version = 10.2.6-MariaDB-log
start_time = 2018-07-13 16:26:09
end_time = 2018-07-13 16:30:28
lock_time = 0
binlog_pos = filename 'mysql-bin.000019', position '82930255', GTID of the last change '0-4567-3446'
innodb_from_lsn = 0
innodb_to_lsn = 42353602070
partial = N
incremental = N
format = file
compact = N
compressed = N
encrypted = N
l 配置GTID主从复制
停止主从复制:STOP SLAVE;
重置主从配置:RESET SLAVE ALL;
设置GTID点:SET GLOBAL gtid_slave_pos='0-4567-3446';
配置主从配置:
CHANGE MASTER TO MASTER_HOST='10.30.253.222', MASTER_PORT=3306, MASTER_USER='slaveUser', MASTER_PASSWORD='slaveUser', master_use_gtid=slave_pos;
查看主从配置状态:SHOW SLAVE STATUS;
六、GTID同步出错时,如何恢复主从复制
异常信息:
Last_SQL_Error: Error 'Duplicate entry '4' for key 'PRIMARY'' on query. Default database: 'test'. Query: 'insert into t VALUES(NULL,'salazar')'
Retrieved_Gtid_Set: 7d72f9b4-8577-11e2-a3d7-080027635ef5:1-5
Executed_Gtid_Set: 7d72f9b4-8577-11e2-a3d7-080027635ef5:1-4
因为是GTID复制,所以set global sql_slave_skip_counter=N在这里是没有作用的,但是可以通过插入一个空的事务来解决问题:
STOP SLAVE;
SET GTID_NEXT="7d72f9b4-8577-11e2-a3d7-080027635ef5:5";
BEGIN; COMMIT;
SET GTID_NEXT="AUTOMATIC";
START SLAVE;
[...]
Retrieved_Gtid_Set: 7d72f9b4-8577-11e2-a3d7-080027635ef5:1-5
Executed_Gtid_Set: 7d72f9b4-8577-11e2-a3d7-080027635ef5:1-5
使用GTID给Galera集群做数据库异步复制的更多相关文章
- 搭建数据库galera集群
galera集群 galera简介 galera集群又叫多主集群,用于数据库的同步,保证数据安全 最少3台,最好是奇数台数,当一台机器宕掉时,因为仲裁机制,这台机器就会被踢出集群. 通过wsrep协议 ...
- Docker 版ansible galera集群
1. 部署galera集群 利用四台主机cicd.node1.node2.node3来搭建galera集群. 1> 上传压缩包至cicd,解压得到ansible配置文件 [root@cicd ~ ...
- MariaDB Galera集群部署--技术流ken
Galera集群介绍 MariaDB集群是MariaDB同步多主机集群.它仅支持XtraDB/ InnoDB存储引擎. 主要功能 同步复制 真正的multi-master,即所有节点可以同时读写数据库 ...
- mysql主从配置和galera集群
mariadb主从 主从多用于网站架构,因为主从的同步机制是异步的,数据的同步有一定延迟,也就是说有可能会造成数据的丢失,但是性能比较好,因此网站大多数用的是主从架构的数据库,读写分离必须基于主从架构 ...
- Linux下MySQL/MariaDB Galera集群搭建过程【转】
MariaDB介绍 MariaDB是开源社区维护的一个MySQL分支,由MySQL的创始人Michael Widenius主导开发,采用GPL授权许可证. MariaDB的目的是完全兼容MySQL,包 ...
- Mariadb galera 集群
部署galera 多主架构 (galera集群多用于关键性业务,因为galera集群为了数据的一致性,采用的是同步的机制,这就使galera牺牲了一部分性能来换取数据一致性.) 环境准备:三台服务器 ...
- mysql基础之mariadb galera集群(多主)
一.概念 galera集群多用于关键性业务,因为galera集群为了数据的一致性,采用的是同步的机制,这就使galera牺牲了一部分性能来换取数据一致性. galera集群是基于wsrep协议(端口4 ...
- Spring + Jedis集成Redis(集群redis数据库)
前段时间说过单例redis数据库的方法,但是生成环境一般不会使用,基本上都是集群redis数据库,所以这里说说集群redis的代码. 1.pom.xml引入jar <!--Redis--> ...
- 在Linux上使用Nginx为Solr集群做负载均衡
在Linux上使用Nginx为Solr集群做负载均衡 在Linux上搭建solr集群时需要用到负载均衡,但测试环境下没有F5 Big-IP负载均衡交换机可以用,于是先后试了weblogic的proxy ...
随机推荐
- arm处理器启动流程分析
2440: 启动方式:nor , nand 地址布局: 启动流程: 开发板在上电后,会从0x0地址处运行. 如果从nor flash启动,则代码要放在nor 的0地址处: 如果从nand flash启 ...
- 删除none 的images报错 image has dependent child images 解决办法
这个错是因为在要删除的images之后创建了该images的父images 方法: docker image inspect --format='{{.RepoTags}} {{.Id}} {{.Pa ...
- 使用vue2+Axios+Router 之后的总结以及遇到的一些坑
构建 vue有自己的脚手架构建工具vue-cli,使用起来非常方便,使用webpack来集成各种开发便捷工具,比如: 代码热更新,修改代码之后网页无刷新改变,对前端开发来说非常的方便 PostCss, ...
- JAVA项目将 Oracle 转 MySQL 数据库转换(Hibernate 持久层)
项目开发时用的是Oracle数据库,但为了更好的做分布式,做集群,我们要将数据库转成 MySQL! 在数据库迁移中首先要做的事是将 Oracle 的表结构以及数据 克隆到 MySQL 数据库. 这点不 ...
- Thinkphp 3.2.3配置百度编辑器(UEditor)
Thinkphp 3.2.3配置百度编辑器(UEditor) 1.把百度编辑器放到项目的Public目录下 命名为:UEditor 2.找到thinkphp框架系统自带类中的Html.class.ph ...
- Behave用户自定义数据类型
在step句子中, 所有的参数默认是string类型, 如果用户想使用复杂的或者其他数据类型, 就需要了解以下bahave中的数据类型. behave的数据类型转换器是在parse和cfparse中支 ...
- [转]数据库中Schema(模式)概念的理解
在学习数据库时,会遇到一个让人迷糊的Schema的概念.实际上,schema就是数据库对象的集合,这个集合包含了各种对象如:表.视图.存储过程.索引等. 如果把database看作是一个仓库,仓库很多 ...
- 如鹏网学习笔记(四).Net常用类库
.Net常用类库 一.String成员方法(常用) 1,bool Contains(string str) 判断字符串对象是否包含给定的内容 2,bool StartsWith(String str) ...
- Effective C++ Placement new
#include <iostream> #include <cstdlib> using namespace std; class Card { private: int m_ ...
- Hello world &博客客户端试用
第一篇博客,使用 open live writer客户端进行测试,下载地址见http://openlivewriter.org/,软件为英文,但配置比较简单,选择“其他博客类型”就ok. 同时安装了语 ...