mysql数据库备份,主从复制及半同步复制
1、使用mysqldump备份数据库并通过备份及二进制日志还原数据(备份完后再写入数据,然后再删库)
mysqldump -A --single-transaction -F --master-data=2 > /data/backup/mysql.sql
-A备份所有数据库,--single-stransaction开启事务备份 -F 刷新日志 --master-data=2记录二进制日志位置
备份前数据库
在表里插入新记录,不在完全备份当中
删库
mysql -e 'drop database hellodb'
还原前临时禁用二进制日志。避免记录还原过程
source /data/backup/mysql.sql
还原成功
在完全备份之后的记录还没还原。
查看/backup/mysql.sql文件的二进制日志的记录点
发现从日志编号06,位置245为。之后的是没有备份的,
用mysqlbinlog导出二进制日志
mysqlbinlog /var/lib/mysql/centos7-bin.000006 -v > /data/backup/log.sql
把日志文件中的drop database hellodb 删除
然后在数据库中导入生成的二进制日志。
还原成功
2、使用xtrabackup备份数据并还原
yum install percona-xtrabackup (epel)源
mkdir /data/backups 创建一个临时目录存放xtrabackup的备份文件
xtrabackup --backup --target-dir=/data/backups/ 在要备份的机器上执行备份命令。将预准备文件存放在一个临时目录
临时生成的文件
scp -r /data/backups/ 192.168.242.129:/data/ 将备份文件拷贝到目标机器
还原注意事项:
1.datadir 目录必须为空。除非指定innobackupex --force-non-empty-directorires选项指定,否则--copy-backup选项不会覆盖
2.在restore之前,必须shutdown MySQL实例,不能将一个运行中的实例restore到datadir目录中
3.由于文件属性会被保留,大部分情况下需要在启动实例之前将文件的属主改为mysql,这些文件将属于创建备份的用户
chown -R mysql:mysql /data/mysql
以上需要在用户调用innobackupex之前完成
在目标主机执行xtrabackup --prpare --target-dir=/data/backups (预准备工作)
生成了数据库文件
xtrabackup --copy-back --target-dir=/backups/ 将目录中的文件拷贝到数据库/var/lib/mysql中
修改文件属性为mysql
开始将目录中的所有的数控文件拷贝到系统的数据目录中
因为是从另一台机器拷贝过来的数据,需要修改文件属性
还原成功
3、MySQL数据备份企业实战(shell或python脚本实现)
使用xtrabackup以每周为一个备份周期做备份(数据库+二进制日志,备份至本地/data/backup)
提示: 周一某个时间点做一次完全备份,周二、三、四、五、六、日增量
备份存储目录"/data/backup/2018/52/1/备份数据" 目录解释"/data/backup/年/本年度的第几周/本周的第几天/数据" 一年52周一周7天
(Andy老师提供python备份脚本参考)
#!/bin/bash
for i in `seq 0 6`;do #循环6次
a=/data/backup/`date +%Y`/`date +%U`/ #存储目录变量
mkdir -p $a$i # #创建目录
t=`date +%w` #定义星期
if [ "$t" == "1" ];then #匹配星期 周一为完全备份
xtrabackup --backup --target-dir=/data/backup &> /dev/null && echo backup ok
else
if [ "$t" == "2" ];then #匹配星期 周二为增量备份
xtrabackup --backup --target-dir="$a"1 --incremental-basedir=/data/backup &> /dev/null && echo backup ok
elif [ "$t" == "3" ];then
xtrabackup --backup --target-dir="$a"2 --incremental-basedir="$a"1 &> /dev/null && echo backup ok
elif [ "$t" == "4" ];then
xtrabackup --backup --target-dir="$a"3 --incremental-basedir="$a"2 &> /dev/null && echo backup ok
elif [ "$t" == "5" ];then
xtrabackup --backup --target-dir="$a"4 --incremental-basedir="$a"3 &> /dev/null && echo backup ok
elif [ "$t" == "6" ];then
xtrabackup --backup --target-dir="$a"5 --incremental-basedir="$a"4 &> /dev/null && echo backup ok
elif [ "$t" == "0" ];then
xtrabackup --backup --target-dir="$a"6 --incremental-basedir="$a"5 &> /dev/null && echo backup ok
fi
fi
done
[root@centos7 ~]# crontab -l
0 2 * * * root /root/b.sh
写入计划任务。每晚执行一遍备份。周一则完全备份
4、描述MySQL复制工作原理并实现主从,主主,主从级联及半同步复制
一台mysql数据库的并发连接数是有限的,当访问量大的时候,可能一台服务器压力太大。如果数据库压力过大宕机了。则会有数据丢失的风险和用户体验过差,所以,我们可以利用mysql的复制。一台主机,多台备用机,当一台主数据库写入数据,则将二进制日志复制到其他从服务器上,实现同步过程,如果主服务器宕机,则自动从多台从服务器挑选一台充当主服务器,避免宕机时间过长
复制原理
当主服务器收到数据更新请求,会写入二进制日志中。在本机中,有一个专门的dump的主服务器线程将二进制日志出来往从服务器线程发。然后发给从服务器。从服务器有一个io thread线程然后写到relay log (类似二进制日志)日志中 。在交给sql thread 在从服务器中更改数据
主从
在主服务器配置文件
log-bin=/data/logbin/mysql-bin #启用二进制日志
server-id=1 #指定服务器编号
在从服务器配置
server-id=2 #区别于主服务器编号
read_only=on #为了安全从服务器设置为只读,防止修改
在主服务器创建并授权复制账号
grant replication slave on *.* to test@'192.168.64.%' identified by 'centos';
主服务器数据库
从服务器数据库
在从服务器执行主服务器修改master 信息
CHANGE MASTER TO
MASTER_HOST='192.168.64.128',#主服务ip
MASTER_USER='test',#用那个账号复制
MASTER_PASSWORD='centos',#账户口令
MASTER_PORT=3306,#端口
MASTER_LOG_FILE='mysql-bin.000003',#从那个二进制日志开始复制
MASTER_LOG_POS=245;#从二进制日志的开始内容复制
查看从节点信息
start slave;从服务器执行复制之后就不需要在执行
复制成功
级联复制:主复制复制给 从服务器。在从从服务器复制给其他从服务器
主服务器配置文件不变
创建并授权复制账号
grant replication slave on *.* to test@'192.168.64.%' identified by 'centos';
在中间节点上修改配置文件
加入log_slave_updates将主节点二进制日志记录到自己的日志中
并开启二进制日志,需要将日志复制给下一个节点
修改master to 信息
CHANGE MASTER TO
MASTER_HOST='192.168.64.128',
MASTER_USER='test',
MASTER_PASSWORD='centos',
MASTER_PORT=3306,
MASTER_LOG_FILE='mysql-bin.000001',
MASTER_LOG_POS=245;
start slave; 开启复制
主服务器导入表
中间节点开始导入数据
在最后一个节点修改配置文件,关闭二进制日志,从中间节点复制过来二进制日志
启动数据库,修改master信息为中间节点
CHANGE MASTER TO
MASTER_HOST='192.168.64.130',
MASTER_USER='test',
MASTER_PASSWORD='centos',
MASTER_PORT=3306,
MASTER_LOG_FILE='mysql-bin.000001',
MASTER_LOG_POS=245;
同步成功
主主复制:互为主从
容易产生的问题:数据不一致;因此慎用
考虑要点:自动增长id
配置一个节点使用奇数id
auto_increment_offset=1 开始点
auto_increment_increment=2 增长幅度
另一个节点使用偶数id
auto_increment_offset=2
auto_increment_increment=2
修改主配置文件
修改另一台主配置文件
创建账号
grant replication slave on *.* to test@'192.168.64.%' identified by 'centos';
在第二台主机修改master 信息
CHANGE MASTER TO
MASTER_HOST='192.168.64.128',
MASTER_USER='test',
MASTER_PASSWORD='centos',
MASTER_PORT=3306,
MASTER_LOG_FILE='mysql-bin.000001',
MASTER_LOG_POS=245;
在第一台主机配置
CHANGE MASTER TO
MASTER_HOST='192.168.64.130',
MASTER_USER='test',
MASTER_PASSWORD='centos',
MASTER_PORT=3306,
MASTER_LOG_FILE='mysql-bin.000001',
MASTER_LOG_POS=245;
启动复制 start slave;
半同步复制
默认情况下,MySQL的复制功能是异步的,异步复制可以提供最佳的性能,主
库把binlog日志发送给从库即结束,并不验证从库是否接收完毕。这意味着当
主服务器或从服务器端发生故障时,有可能从服务器没有接收到主服务器发送
过来的binlog日志,这就会造成主服务器和从服务器的数据不一致,甚至在恢
复时造成数据的丢失
在主服务器安装一个半同步插件模块semisync_master.so';
先实现标准的主从复制
在主服务器安装插件/usr/lib64/mysql/plugin/semisync_master.so
INSTALL PLUGIN rpl_semi_sync_master SONAME 'semisync_master.so';
在配置文件加入配置
在从节点安装插件semisync_slave.so
INSTALL PLUGIN rpl_semi_sync_slave SONAME 'semisync_slave.so';
并写入配置文件
查看插件状态是否启动
SHOW GLOBAL VARIABLES LIKE '%semi%';
SHOW GLOBAL STATUS LIKE '%semi%';
重新启动线程 stop slave; start slave;实现半同步复制
5、描述MySQL Proxy原理并实现读写分离
MySQL Proxy处于客户端应用程序和MySQL服务器之间,通过截断、改变并转发客户端和后端数据库之间的通信来实现其功能,这和WinGate 之类的网络代理服务器的基本思想是一样的。代理服务器是和TCP/IP协议打交道,而要理解MySQL Proxy的工作机制,同样要清楚MySQL客户端和服务器之间的通信协议,MySQL Protocol 包括认证和查询两个基本过程:
认证过程包括:
客户端向服务器发起连接请求
服务器向客户端发送握手信息
客户端向服务器发送认证请求
服务器向客户端发送认证结果
如果认证通过,则进入查询过程:
客户端向服务器发起查询请求
服务器向客户端返回查询结果
当然,这只是一个粗略的描述,每个过程中发送的包都是有固定格式的,想详细了解MySQL Protocol的同学,可以去这里 看看。MySQL Proxy要做的,就是介入协议的各个过程。首先MySQL Proxy以服务器的身份接受客户端请求,根据配置对这些请求进行分析处理,然后以客户端的身份转发给相应的后端数据库服务器,再接受服务器的信息,返回给客户端。所以MySQL Proxy需要同时实现客户端和服务器的协议。由于要对客户端发送过来的SQL语句进行分析,还需要包含一个SQL解析器。可以说MySQL Proxy相当于一个轻量级的MySQL了,实际上,MySQL Proxy的admin server是可以接受SQL来查询状态信息的
在调度器安装proxysql 调度器
配置一下yum源
cat <<EOF | tee /etc/yum.repos.d/proxysql.repo
[proxysql_repo]
name= ProxySQL YUM repository
baseurl=http://repo.proxysql.com/ProxySQL/proxysql-1.4.x/centos/\$releasever
gpgcheck=1
gpgkey=http://repo.proxysql.com/ProxySQL/repo_pub_key
EOF
yum install proxysql 安装调度器
调度器配置为数据库方式,所以要启动数据库
启动服务
准备:实现读写分离前,先实现主从复制
注意:slave节点需要设置read_only=1
启动ProxySQL:service proxysql start
启动后会监听两个默认端口
6032:ProxySQL的管理端口
6033:ProxySQL对外提供服务的端口
使用mysql客户端连接到ProxySQL的管理接口6032,默认管理员用户和密码都
是admin:
mysql -uadmin -padmin -P6032 -h127.0.0.1
在数据库中插入数据库服务器的地址和编号,这里编号统一为10,后面会自己识别主从服务器
根据数据库的配置文件read-only这项来区分
MySQL > load mysql servers to runtim
MySQL > save mysql servers to disk;
加载配置并存盘
在主数据库创建账号让proxysql 监控并自动调整读组和写组
grant replication client on *.* to monitor@'192.168.64.%' identified by 'centos';
在proxysql调度器加入监控账号和密码。并且加载生效
将都组和写组写入表中。test为描述可有可无
insert into mysql_replication_hostgroups values(10,20,"test");
分组成功,如果不成功,可手写如记录改变编号
创建测试账号在主服务器
grant all on *.* to sqluser@'192.168.64.%' identified by 'centos';
在proxysql服务器加入到mysq_user中
在ProxySQL配置,将用户sqluser添加到mysql_users表中, default_hostgroup默认
组设置为写组10,当读写分离的路由规则不符合时,会访问默认组的数据库
insert into mysql_users(username,password,default_hostgroup)values('sqluser','centos',10);
保存并生效
load mysql users to runtim;
save mysql users to disk;
在proxysql调度器上用sqluser账户连接,利用6033端口。
默认sqluser在10这个主机组。也就是mysql的主数据库 默认所有操作都在主数据库上操作。
配置路由规则。实现读写分离
与规则有关的表:mysql_query_rules和mysql_query_rules_fast_routing,
插入路由规则:将select语句分离到20的读组,select语句中有一个特殊语句
SELECT...FOR UPDATE它会申请写锁,应路由到10的写组
insert into mysql_query_rules
(rule_id,active,match_digest,destination_hostgroup,apply)VALUES
(1,1,'^SELECT.*FOR UPDATE$',10,1),(2,1,'^SELECT',20,1);
##除了读操作发往从节点,其他操作都发往主节点
到此,读写分离配置完成
验证。读为从服务器
mysql -usqluser -pcentos -P6033 -h127.0.0.1 -e 'select @@server_id'
利用事物查看,为主服务器
6、使用MHA及galera实现MySQL的高可用性
MHA工作原理
1 从宕机崩溃的master保存二进制日志事件(binlog events)
2 识别含有最新更新的slave
3 应用差异的中继日志(relay log)到其他的slave
4 应用从master保存的二进制日志事件(binlog events)
5 提升一个slave为新的master
6 使其他的slave连接新的master进行复制
mha实验前
skip-name-resolv建议在所有主从节点加上这项,跳过名字解析,避免mha实验出现解析问题
MHA软件由两部分组成,Manager(管理节点)工具包和Node(被管理节点)工具包
https://code.google.com/archive/p/mysql-master-ha/ 可在官网下载
搭建步骤:
在主数据库节点创建一个管理账号
grant all on *.* to mhauser@'192.168.64.%’identified by‘centos';
在从节点数据库中加入
vim /etc/my.cnf
[mysqld]
server_id=2 #不同节点此值各不相同
log-bin #启用二进制,实现高可用
read_only #因为上面建立的账号可自动关闭这个选项,也可以不加入配置文件
relay_log_purge=0 #中继日志,如果主服务宕机数据没拷贝过去从的话需要启用中继
skip_name_resolve=1 #跳过名字解析
然后在所有机器实现sshkey验证,如果主节点出现问题,可用ssh协议将主服务器的配置文件拷出来
生成密钥
ssh-copy-id 192.168.64.133 到自己的机器上,在将生成的文件拷贝到其他机器上实现key验证
在管理节点上安装两个包:
mha4mysql-manager
mha4mysql-node
在被管理节点安装:
mha4mysql-node
在管理节点建立配置文件写入被管理节点的信息
vim /etc/mastermha/app1.cnf
[server default]
user=mhauser #主节点授权的账号
password=centos #密码
manager_workdir=/data/mastermha/app1/ #管理目录
manager_log=/data/mastermha/app1/manager.log#日志
remote_workdir=/data/mastermha/app1/ #在远程节点创建的目录
ssh_user=root #利用ssh账号远处管理节点
repl_user=repluser
repl_password=centos
ping_interval=1
[server1] #需要监控的节点信息
hostname=192.168.64.130
candidate_master=1 #表示这两台服务器有能力当主节点
[server2]
hostname=192.168.64.131
candidate_master=1
[server3]
hostname=192.168.64.132
Mha验证和启动
masterha_check_ssh --conf=/etc/mastermha/app1.cnf #测试ssh协议是否联通
调用我们上面写的配置文件
masterha_check_repl --conf=/etc/mastermha/app1.cnf
masterha_manager --conf=/etc/mastermha/app1.cnf
配置完成
galera cluster实现高可用性
Galera Cluster:集成了Galera插件的MySQL集群,是一种新型的,数据
不共享的,高度冗余的高可用方案,目前Galera Cluster有两个版本,分
别是Percona Xtradb Cluster及MariaDB Cluster,Galera本身是具有多
主特性的,即采用multi-master的集群架构,是一个既稳健,又在数据一
致性、完整性及高性能方面有出色表现的高可用解决方案
Galera Cluster特点
多主架构:真正的多点读写的集群,在任何时候读写数据,都是最新的
同步复制:集群不同节点之间数据同步,没有延迟,在数据库挂掉之后,数据
不会丢失
并发复制:从节点APPLY数据时,支持并行执行,更好的性能
故障切换:在出现数据库故障时,因支持多点写入,切换容易
热插拔:在服务期间,如果数据库挂了,只要监控程序发现的够快,不可服务
时间就会非常少。在节点故障期间,节点本身对集群的影响非常小
自动节点克隆:在新增节点,或者停机维护时,增量数据或者基础数据不需要
人工手动备份提供,Galera Cluster会自动拉取在线节点数据,最终集群会变为
一致
对应用透明:集群的维护,对应用程序是透明的
gelare需要安装专门的数据库 且不能装mariadb数据库
配置yum源,下载MariaDB-Galera-server
vim /etc/yum.repos.d/base.repo
[base]
baseurl=https://mirrors.tuna.tsinghua.edu.cn/mariadb/mariadb-5.5.64/yum/centos7-amd64/
gpgcheck=0
复制到其他主机上。最少三台
修改配置文件
vim /etc/my.cnf.d/server.cnf
[galera]
wsrep_provider = /usr/lib64/galera/libgalera_smm.so #提供的库文件路劲
wsrep_cluster_address="gcomm://192.168.64.128,192.168.64.130.,192.168.64.131"#集群服务器的节点分别是谁
binlog_format=row #二进制日志为行显示
default_storage_engine=InnoDB #默认存储引擎
innodb_autoinc_lock_mode=2 #加锁的模式
bind-address=0.0.0.0
首次启动时,需要初始化集群,在其中一个节点上执行命令
/etc/init.d/mysql start --wsrep-new-cluster
而后正常启动其它节点
service mysql start
配置完成。
mysql数据库备份,主从复制及半同步复制的更多相关文章
- MySQL数据的主从复制、半同步复制和主主复制详解
一.MySQL复制概述 ⑴.MySQL数据的复制的基本介绍 目前MySQL数据库已经占去数据库市场上很大的份额,其一是由于MySQL数据的开源性和高性能,当然还有重要的一条就是免费~不过不知道还能免费 ...
- MySQL数据的主从复制、半同步复制和主主复制详解-转
一.MySQL复制概述 ⑴.MySQL数据的复制的基本介绍 目前MySQL数据库已经占去数据库市场上很大的份额,其一是由于MySQL数据的开源性和高性能,当然还有重要的一条就是免费~不过不知道还能免费 ...
- 实现mysql的读写分离(mysql-proxy)____1(mysql的主从复制,基于gtid的主从复制,半同步复制,组复制)
主从复制原理: 从库生成两个线程,一个I/O线程,一个SQL线程: i/o线程去请求主库 的binlog,并将得到的binlog日志写到relay log(中继日志) 文件中:主库会生成一个 log ...
- Mysql主从复制、半同步复制、并行复制
MySQL之间数据复制的基础是二进制日志文件(binary log file).一台MySQL数据库一旦启用二进制日志后,其作为master,它的数据库中所有操作都会以"事件"的方 ...
- MySQL主从复制、半同步复制和主主复制
同步,异步,半同步复制的比较: 同步复制:Master提交事务,直到事务在所有的Slave都已提交,此时才会返回客户端,事务执行完毕.缺点:完成一个事务可能会有很大的延迟. 异步复制:当Slave准备 ...
- 配置mysql5.5主从复制、半同步复制、主主复制
mysql主服务器 192.168.8.40 mysql从服务器 192.168.8.41 全新配置过程(主和从数据库都没有数据): 主从复制主服务器设置: 1.改server-id 2.启 ...
- 【可靠性】Mysql 5.7 降低了半同步复制-数据丢失的风险
如果你的生产线开启了半同步复制,那么对数据的一致性会要求较高,但在MySQL5.5/5.6里,会存在数据不一致的风险.有这么一个场景,客户端提交了一个事务,master把binlog发送给slave, ...
- MySQL主从复制、半同步复制和主主复制概述
http://www.cnblogs.com/zping/p/5275531.html
- MHA-结合MySQL半同步复制高可用集群(Centos7)
目录 一.理论概述 本案例部署思路 二.环境 三.部署 部署MHA 部署二进制包MySQL及部署主从复制 部署半同步复制 配置MHA MHA测试 部署lvs+keepalived(lvs1,lvs2) ...
随机推荐
- linux,卸载文件系统的时候,报busy情况的解决记录
背景描述: 前几天由于文件系统io异常的问题,要对文件系统的属性进行修改,修改该参数需要将磁盘umount,在umount的过程中遇到问题,在此记录下. 处理过程: 1.执行umount进行卸载磁盘, ...
- .net程序反编译工具(ILSpy)
ILSpy是SharpDevelop小组的反编译工具,ILSPY这个开源工具的目的就是代替reflector的,它可以反编译出比reflector更好的C#代码. PC官方版 C#反编译工具ilspy ...
- vue的mixin简化开发
vue的mixin可以将多个组件公用的声明周期方法和数据封装成一个对象,在不同的组件中自由插拔.实际做项目的时候,可以定义一些mixin,供多个组件使用.也非常有必要定义一个全局的mixin对象,对所 ...
- 【Linux】两台服务器ssh免密登录
背景: 有些场景可能用到两台服务器ssh免密登录.比如服务器自动化部署 开始准备: 服务器A linux ip: 192.168.1.1 服务器B linux ip: 192.168.1. ...
- Spring MVC -- Spring MVC入门
本篇博客首先介绍Spring MVC的优点,然后介绍Spring MVC的基本组件,包括DispatcherServlet,并学习如何开发一个“传统风格”的控制器,这是在Spring 2.5版本之前开 ...
- node.js生成验证码及图片
示例代码: var svgCaptcha = require('svg-captcha'); var fs = require('fs'); var codeConfig = { size: 5,// ...
- [LeetCode] 489. Robot Room Cleaner 扫地机器人
Given a robot cleaner in a room modeled as a grid. Each cell in the grid can be empty or blocked. Th ...
- 关于while read line使用read -p失效问题
while stdin 原来默认是/dev/tty,被重定向到管道或文件后,如果你还想读屏幕(/dev/tty),那就单独执行某个命令时在显式的将stdin再指向 /dev/tty #!/bin/ba ...
- java jdk 8u191 官网下载地址
目前jdk最后免费版本 jdk-8u191 下载地址: https://www.oracle.com/technetwork/java/javase/downloads/java-archive-ja ...
- 【vim小小记】vim的复制粘贴(包括系统剪贴板)
1.vim常用复制粘贴命令 Vim的复制粘贴命令无疑是y (yank),p(paster),加上yy,P PS: vim有个很有意思的约定(我觉得是一种约定),就是某个命令的大小写都是实现某种功能,只 ...