mysql数据增量及备份操作
注:当数据库出现异常的时候,我们可以先恢复最近一次的全量备份,接着将增量备份的文件一个一个按顺序恢复即可实现原来数据库的恢复。
还可以使用innobackupex 备份工具。
备份
# 1,开启 bin-log 记录
执行增量备份的前提条件是 MySQL 打开binlog日志功能,在my.cnf中加入
log-bin=/data/mysql/mysql-bin #“log-bin=”后的字符串为日志记载目录,如果不指定位置的话,默认在mysql的data目录下。
# 2,首先是全量备份的脚本
#!/bin/bash
dumpdate=$(date +%H%M%S)
filedate=$(date +%y%m%d)
mysqldump=/usr/local/mysql/bin/mysqldump
mulu=/backup/sqlbackup/all/$filedate
if [ ! -d $mulu ];then
mkdir -p $mulu
fi
$mysqldump --quick --events --all-databases --flush-logs --delete-master-logs --single-transaction > ${mulu}/all${dumpdate}.sql
sleep 5
参数:
--quick,-q
该选项在导出大表时很有用,它强制 MySQLdump 从服务器查询取得记录直接输出而不是取得所有记录后将它们缓存到内存中。
--events, -E
导出事件
--all-databases , -A
导出全部数据库。
--flush-logs
开始导出之前刷新日志,这一项必须带上
。
请注意:假如一次导出多个数据库 (使用选项—databases 或者—all-databases),将会逐个数据库刷新日志。除使用—lock-all-tables 或者—master-data 外。在这种情况下,日志将会被刷新一次,相应的所以表同时被锁定。因此,如果打算同时导出和刷新日志应该使用—lock-all-tables 或者—master-data 和—flush-logs。
--delete-master-logs
master 备份后删除日志. 这个参数将自动激活—master-data。
--single-transaction
该选项在导出数据之前提交一个 BEGIN SQL 语句,BEGIN 不会阻塞任何应用程序且能保证导出时数据库的一致性状态。它只适用于多版本存储引擎,仅 InnoDB。本选项和—lock-tables 选项是互斥的,因 LOCK TABLES 会使任何挂起的事务隐含提交。要想导出大表的话,应结合使用—quick 选项。
# 3,接着是增量备份的脚本。
#!/bin/bash
export LANG=en_US.UTF-8
BakDir=/backup/sqlbackup/add
LogFile=$BakDir/binlog.log
BinDir=/usr/local/mysql/data
BinFile=/usr/local/mysql/data/mysql-bin.index
mysqladmin=/usr/local/mysql/bin/mysqladmin
$mysqladmin flush-logs
#这个是用于产生新的mysql-bin.00000*文件
Counter=`wc -l $BinFile |awk '{print $1}'`
NextNum=0
#这个for循环用于比对$Counter,$NextNum这两个值来确定文件是不是存在或最新的。
for file in `cat $BinFile`
do
base=`basename $file`
#basename用于截取mysql-bin.00000*文件名,去掉./mysql-bin.000005前面的./
NextNum=`expr $NextNum + 1`
if [ $NextNum -eq $Counter ]
then
echo $base skip! >> $LogFile
else
dest=$BakDir/$base
if test -e $dest
#test -e用于检测目标文件是否存在,存在就写exist!到$LogFile去。
then
echo $base exist! >> $LogFile
else
cp $BinDir/$base $BakDir
echo $base copying >> $LogFile
fi
fi
done
echo `date +"%Y年%m月%d日 %H:%M:%S"` Bakup succ! >> $LogFile
sleep 5
针对 binlog 的增量备份。
# 4,通过定时执行两个脚本来实现备份策略。
方式 |
定时任务 |
备注 |
---|---|---|
增量备份 |
0 3 0 /bin/bash /backup/sqlbakall.sh |
每周日凌晨三点备份 |
全量备份 |
0 3 1-6 /bin/bash /backup/sqlbakadd.sh |
每周一到周六凌晨三点备份 |
这样就实现了数据库的增量备份。其中全量备份则使用 mysqldump 将所有的数据库导出,每周日凌晨三点执行,并会删除上周留下的 binlog(mysql-bin.00000*)。增量备份会在每周一到周六的凌晨三点执行,执行的动作是将一周生成的 binlog 复制到指定的目录。
恢复。
关于灾备恢复。
一旦出现问题,恢复的顺序应该是先恢复
最近一次的全量备份,让数据库追溯到最近一次的完整状态。 然后按顺序将增量备份一个一个恢复起来。(注意:这个地方要注意的是,由于脚本当中没有对旧备份的 binlog 进行处理,所以当需要恢复增量备份的时候,要结合全量备份的日期,与 binlog 备份中的日期,恢复的时候只用从全量备份那一天之后的 binlog 进行恢复即可!)
具体恢复命令如下:
# 1, 恢复安全备份。
mysql -uroot -p123456 < all104528.sql
# 2, 恢复增量备份。
mysqlbinlog master-bin.000007 | mysql -uroot -p123456
mysqlbinlog master-bin.000008 | mysql -uroot -p123456
mysqlbinlog master-bin.000009 | mysql -uroot -p123456
注:当执行恢复操作的时候,由于数据量较大,可以暂时关闭 binlog 的记录。
优化。
可以试着优化一下,优化思路就是把旧的 binlog 保存在 oldbinlog 目录当中。
全量备份:
#!/bin/bash
dumpdate=$(date +%H%M%S)
filedate=$(date +%y%m%d)
mysqldump=/usr/local/mysql/bin/mysqldump
mulu=/backup/sqlbackup/all/$filedate
if [ ! -d $mulu ];then
mkdir -p $mulu
fi
$mysqldump --quick --events --all-databases --flush-logs --delete-master-logs --single-transaction > ${mulu}/all${dumpdate}.sql
sleep 5
cd /backup/sqlbackup/add/
\mv master-bin.0000* oldbinlog
注意要创建这个 oldbinlog 目录。
这样,当服务出问题的时候,直接根据 all 目录下的全量备份进行恢复,然后根据 add 目录下的增量备份进行恢复即可。
本文转载:Mysql备份系列(3)--innobackupex备份mysql大数据(全量+增量)操作记录 - 腾讯云开发者社区-腾讯云 (tencent.com)
如有侵权,请留言删除
mysql数据增量及备份操作的更多相关文章
- 【实战】使用 Kettle 工具将 mysql 数据增量导入到 MongoDB 中
最近有一个将 mysql 数据导入到 MongoDB 中的需求,打算使用 Kettle 工具实现.本文章记录了数据导入从0到1的过程,最终实现了每秒钟快速导入约 1200 条数据.一起来看吧~ 一.K ...
- MYSQL 数据库命令行终端操作笔记
1.数据库登录: 1.登录本地的MYSQL数据库:mysql -u root -p 2.连接远程主机上的MYSQL数据库:mysql -h 192.168.191.2 -u root -p 123 ...
- 对Mysql数据表本身进行操作
创建实验环境 mysql> create database test_db; Query OK, 1 row affected (0.00 sec) mysql> use test_db; ...
- kafka源码系列之mysql数据增量同步到kafka
一,架构介绍 生产中由于历史原因web后端,mysql集群,kafka集群(或者其它消息队列)会存在一下三种结构. 1,数据先入mysql集群,再入kafka 数据入mysql集群是不可更改的,如何再 ...
- mysql数据表的字段操作
CREATE TABLE `users` ( `id` int(11) NOT NULL AUTO_INCREMENT, `username` varchar(255) DEFAULT NULL, ` ...
- mysql 数据备份及数据迁移
一.使用mysql数据导出进行备份时,会备份整个表的数据,有时候只想备份一部分数据,这个时候可以使用如下方法: 1. 使用insert into 和 select结合: insert into tal ...
- flink-cdc同步mysql数据到hive
本文首发于我的个人博客网站 等待下一个秋-Flink 什么是CDC? CDC是(Change Data Capture 变更数据获取)的简称.核心思想是,监测并捕获数据库的变动(包括数据 或 数据表的 ...
- Mysql备份系列(4)--lvm-snapshot备份mysql数据(全量+增量)操作记录
Mysql最常用的三种备份工具分别是mysqldump.Xtrabackup(innobackupex工具).lvm-snapshot快照.前面分别介绍了:Mysql备份系列(1)--备份方案总结性梳 ...
- Mysql备份系列(2)--mysqldump备份(全量+增量)方案操作记录
在日常运维工作中,对mysql数据库的备份是万分重要的,以防在数据库表丢失或损坏情况出现,可以及时恢复数据. 线上数据库备份场景:每周日执行一次全量备份,然后每天下午1点执行MySQLdump增量备份 ...
- mysql数据备份与操作
物理备份: 直接复制数据库文件,适用于大型数据库环境.但不能恢复到异构系统中如Windows. 逻辑备份: 备份的是建表.建库.插入等操作所执行SQL语句,适用于中小型数据库,效率相对较低. 导出表: ...
随机推荐
- vue中如何在子组件添加类似于watch属性监听父组件数据,数据变化时子组件做出相应的动作
首先:我们需要在父组件中标签中定义一个 ref="parentObjVue" 其次:我们在子组件中,通过 var tmp=this.$refs.parentObjVue找到父组件 ...
- 不用VS,使用NET 7.0 SDK (v7.0.101)编程c#控制台应用程序方法
摘要:如果没有vs环境,也可以编程c#控制台应用程序学习c#,方法步骤有下面几个步骤. 1.下载NET 7.0 SDK (v7.0.101)安装 网址https://dotnet.microsoft. ...
- golang 映射(map)
1. 映射的定义 map是一种无序的基于key-value的数据结构,Go语言中map是引用类型,必须初始化(make)才能使用. map定义: map[KeyType]ValueType 其中,Ke ...
- 2022-05-10内部群每日三题-清辉PMP
1.项目经理管理的一个项目不断面临挑战.发起人经常无法做出决定,存在大量预算超支,团队成员不断从项目离职,高级管理层没有提供实际的支持.项目经理应该怎么做? A.与团队一起开会,以确定造成这些问题的原 ...
- Markdwn学习
Markdwn学习 标题: 标题 二级标题 三级标题 几个标题有几个#(最多六级标题) 字体 Hell,World! 粗体两边加** Hello,World! 斜体两边加* Hello,World! ...
- deepinlinux安装golang
Download 从 Google 官方获取安装包,不用FQ直接访问 http://golang.google.cn,选择 Linux 的安装包如 go1.14.linux-amd64.tar.gz ...
- JAVA 【SM2】加密解密
JAVA [SM2]加密解密 前言:最近项目中必须用到SM2的加密解密 引入的Maven依赖 <dependency> <groupId>cn.hutool</group ...
- 【windows】 进程间通信 WM_COPYDATA消息
WM_COPYDATA消息可以实现window应用程序之间的数据传输,是同步传输方式. 需要用到结构体 COPYDATASTRUCT typedef struct tagCOPYDATASTRUCT ...
- HIVE- INSERT 方法使用
(1) INSERT INTOINSERT INTO tableVALUES ('aaa' , 111),('bbb' , 222); (2) insert overwrite insert over ...
- nginx 可视化配置平台
nginx是一个高性能的HTTP和反向代理服务器.在部署项目中,经常会用到,但是配置是比较麻烦的,很容易出错,今天大叔给大家推荐一个非常好用的可视化平台 -- nginx-gui. 项目功能 配置管理 ...