项目实战6—Mysql实现企业级日志管理、备份与恢复实战
Mysql实现企业级日志管理、备份与恢复实战
环境背景:随着业务的发展,公司业务和规模不断扩大,网站积累了大量的用户信息和数据,对于一家互联网公司来说,用户和业务数据是根基。一旦公司的数据错乱或者丢失,对于互联网公司而言就等于说是灭顶之灾,为防止系统出现操作失误或系统故障导致数据丢失,公司要求加强用户数据的可靠性,要求全面加强数据层面备份,并能在故障发生时第一时间恢复。
总架构图,详见 http://www.cnblogs.com/along21/p/8000812.html
Mysql备份方案:
① mysqldump+binlog:
先完全备份,再通过备份二进制日志实现增量备份
② xtrabackup:
对InnoDB:热备,支持完全备份和增量备份
对MyISAM:温备,只支持完全备份
③ lvm快照+binlog:
几乎热备,物理备份
实战一:mysqldump+binlog 实现备份与恢复
1、准备备份的目录,开启二进制日志
mkdir /backup
chown -R mysql.mysql /backup/ 把备份的目录所属人所属组改为mysql
vim /etc/my.cnf
log-bin = /var/lib/mysql/bin-log 开启二进制日志,并制定路径
2、准备要备份的数据和表
模拟日常的数据库操作
MariaDB [(none)]> create database along; 创建一个along的表
MariaDB [along]> create table home(id int not null,name char(20)); 创建一个home表
MariaDB [along]> show master status; 查询二进制文件,编号是所处的文字
3、进行完整备份
可以备份所有库
mysqldump --all-databases --flush-log > /backup/mysql-all-backup-`date +%F-%T`.sql
也可以备份单独指定的库
mysqldump --database along --flush-log > /backup/mysql-along-backup-`date +%F-%T`.sql
指令分析:
mysqldump [OPTIONS] --databases [OPTIONS] DB1 [DB2 DB3...]:备份一个或多个库
OPTIONS:
--lock-all-tables:锁定所有表
--lock-tables:锁定备份的表
--single-transaction:启动一个大的单一事务实现备份
--compress:压缩传输
--events:备份指定库的事件调度器
--routines:备份存储过程和存储函数
--triggers:备份触发器
--master-data={0|1|2}
0:不记录
1:记录CHANGE MASTER TO语句;此语句未被注释
2:记录为注释语句
--flush-logs:锁定表之后执行flush logs命令,生成一个新的二进制日志
4、向表中插入数据
模拟日常的正常操作
MariaDB [along]> insert into home values(1,'mayun');
MariaDB [along]> insert into home values(2,'mahuateng');
5、进行增量备份,备份二进制日志
原理:需先知道要增量备份的起始,然后进行备份。
(1)查询起始
① 通过数据库命令查询起始,推荐
MariaDB [along]> show master status; 查询当前使用的二进制日志
MariaDB [along]> show binlog events in 'bin-log.000014'; 查询二进制日志,里边有编号位置
② 也可以通过命令行查询
cd /var/lib/mysql/
mysqlbinlog bin-log.000014
(2)进行增量备份
cd /var/lib/mysql/
mysqlbinlog --start-position=314 --stop-position=637 bin-log.000014 > /backup/mysql-along-backup-add-`date +%F-%T`.sql
注意:起始的编号一定要往前和往后推一个编号,例如:412是执行插入命令的,要从前一个编号314备份。
6、继续插入数据,在没备份的情况下删除数据库,模拟误操作
① 继续日常的操作
MariaDB [along]> insert into home values(3,'wangjianlin');
② 误删除along数据库,上一天还没来得及备份
MariaDB [along]> drop database along;
这个时候稳住,不要慌,下面开始恢复
7、数据恢复
① 由于最后我们没有备份就删除了数据库,所以我们首先需要保护最后的二进制日志,查看删除操作之前的position编号值
MariaDB [(none)]> show binlog events in 'bin-log.000014';
② 备份后来没有来得及的操作
cd /var/lib/mysql/
mysqlbinlog --start-position=706 --stop-position=837 bin-log.000014 > /backup/mysql-along-backup-add-`date +%F-%T`.sql
8、导入之前的所有备份
① 查看我们的备份目录
② 按顺序导入所有备份
完全备份 ---> 增量备份
mysql -uroot -p < mysql-along-backup-2017-11-16-16\:45\:22.sql
mysql -uroot -p < mysql-along-backup-add-2017-11-16-17\:15\:25.sql
mysql -uroot -p < mysql-along-backup-add-2017-11-16-17\:27\:50.sql
9、查看数据库及数据,恢复完成
实战二:xtrabackup 实现备份和缓存
1、安装xtrabackup
yum -y install xtrabackup
为了权限管理,也可以创建最小权限备份用户,为了实验方便,我就不设了
2、完全备份
① 完全备份
innobackupex --user=root /backup/ 完全备份,备份完会生成一个目录,里边有全部的数据库数据
若设置了权限的用户: innobackupex --user=bakupuser --password=bakuppass /backup/
注意:要给备份的目录递归给mysql权限
chown mysql.mysql /backup/2017-11-16_17-57-57/ -R 给生成的目录加权限
② 基于完全备份生成的目录,也可以恢复数据
datadir=/backup/2017-11-16_17-57-57 把目录指向备份的目录
systemctl restart mariadb 重启服务
③ 查看数据,没有变化,数据一致
3、增量备份
① 添加数据,日常操作
MariaDB [along]> insert into home values(4,'dinglei'),(5,'liyanhong');
② 增量备份
innobackupex --user=root --incremental /backup/ --incremental-basedir=/backup/2017-11-16_17-57-57 基于/backup/2017-11-16_17-57-57 进行增量备份
生成了增量备份的目录
4、数据恢复准备:"重放"与"回滚"
原理:一般情况下,在备份完成后,数据尚且不能用于恢复操作,因为备份的数据中可能会包含尚未提交的事务或已经提交但尚未同步至数据文件中的事务
① 需要在每个备份(包括完全和各个增量备份)上,将已经提交的事务进行"重放"。"重放"之后,所有的备份数据将合并到完全备份上。
② 基于所有的备份将未提交的事务进行"回滚"。
innobackupex --apply-log --redo-only /backup/2017-11-16_17-57-57/ 完全备份的数据恢复准备
innobackupex --apply-log --redo-only /backup/2017-11-16_20-14-05/ --incremental-dir=/backup/2017-11-16_20-37-40/ 增量备份的数据恢复准备
5、误操作,恢复数据
mv /var/lib/mysql /var/lib/mysql.bak 模拟误删除数据库存放文件
mkdir /var/lib/mysql
innobackupex --copy-back /backup/2017-11-16_20-14-05/ 数据恢复
chown mysql.mysql var/lib/mysql/ -R
cp -a /var/lib/mysql.bak/mysql.sock /var/lib/mysql 把套接字文件cp过来
systemctl start mariadb 重启服务
6、查看数据库及数据,数据完全一致
实验三:lvm快照+binlog 实现数据备份与恢复
原理:LVM快照简单来说就是将所快照源分区一个时间点所有文件的元数据进行保存, 如果源文件没有改变, 那么访问快照卷的相应文件则直接指向源分区的源文件, 如果源文件发生改变, 则快照卷中与之对应的文件不会发生改变。 快照卷主要用于辅助备份文件。
1、准备工作
由于我们实验环境下的数据库的数据库目录不是在lvm上的,首先,我们要搭建lvm环境,然后把数据库迁移到lvm上面,在进行实验:
(1)添加硬盘,并划分磁盘类型为lvm 类型
echo '- - -' > /sys/class/scsi_host/host2/scan 虚拟机中实现磁盘添加,不重启同步新磁盘
fdisk /dev/sdg
(2)partx -a /dev/sdb 或 partprobe 使内核识别新磁盘
partprobe:在centos5、7 中都能正常使用;centos6 版本中有BUG
partx -a /dev/sdb:都可正常使用
(3)创建逻辑卷
① pvcreate /dev/sdg1 添加物理卷
② vgcreate myvg /dev/sdg1 添加卷组
③ lvcreate -n mydata -L 50G myvg 添加逻辑卷
④ mkfs.ext4 /dev/mapper/myvg-mydata 格式化逻辑卷,文件系统格式化
2、挂载逻辑卷
① mkdir /lvm_data 创建lvm挂载的目录
② mount /dev/mapper/myvg-mydata /lvm_data 挂载
我们最好把它写到 /etc/fstab 中,如:
vim /etc/fstab
/dev/mapper/myvg-mydata /lvm_data/ ext4 defaults 0 0
③ 然后将该挂载的目录的所有者和所属组改成mysql
chown -R mysql.mysql /lvm_data
3、修改Mysql 配置
(1)修改Mysql 配置,使得数据文件在逻辑卷上 datadir=/lvm_data
vim /etc/my.cnf
[mysqld]
datadir=/lvm_data
socket=/var/lib/mysql/mysql.sock
(2)将数据库文件拷贝到 /lvm_data 目录下:
cp -a /var/lib/mysql/* / lvm_data
(3)service mysqld restart 启动Mysql 服务
4、创建快照
(1)在我们创建快照之前,需要我们锁表,将数据库中的表锁定,让外界无法读取:
MariaDB [(none)]> flush tables with read lock;
(2)创建快照:Logical volume "mydata-snap" created
lvcreate -L 1G -n mydata-snap -p r -s /dev/mapper/myvg-mydata
(3)解除表的锁定:
MariaDB [(none)]> unlock tables;
5、打包数据,数据备份
(1)打包数据:
tar czvf /tmp/mysqlback.tar.gz /lvm_data
(2)在我们使用完快照之后,需要将他们进行卸载,删除,命令如下所示:
umount /lvm_snap/
lvremove myvg /dev/myvg/mydata-snap
6、模拟删库,数据恢复
(1)我们把/lvm_data下的数据全部删掉,模拟我们的数据库全部丢失
rm -rf /lvm_data/*
(2)数据恢复
mv /tmp/mysqlback.tar.gz /lvm_data 把压缩的包cp过来
tar xvf /tmp/mysqlback.tar.gz ./ 将数据进行解压,恢复数据
注意:有一点要注意的是,在数据拷贝到数据库文件目录下后,我们一定要看看文件的权限是否是mysql用户的,如若不是,需要我们手动更改。
项目实战6—Mysql实现企业级日志管理、备份与恢复实战的更多相关文章
- 项目实战7—Mysql实现企业级数据库主从复制架构实战
Mysql实现企业级数据库主从复制架构实战 环境背景:公司规模已经形成,用户数据已成为公司的核心命脉,一次老王一不小心把数据库文件删除,通过mysqldump备份策略恢复用了两个小时,在这两小时中,公 ...
- Mysql实现企业级日志管理、备份与恢复实战
背景 随着业务的发展,公司业务和规模不断扩大,网站积累了大量的用户信息和数据,对于一家互联网公司来说,用户和业务数据是根基.一旦公司的数据错乱或者丢失,对于互联网公司而言就等于说是灭顶之灾,为防止系统 ...
- Mysql实现企业级日志管理、备份与恢复
数据备份形式 文件备份: 通过Linux的备份命令把文件统一打个包存起来,可存在本地和远程服务器,等到要恢复时,再用这些文件恢复到指定位置. 数据库数据备份: 在一些对数据可靠性要求很高的行业如银行. ...
- 云计算Docker全面项目实战(Maven+Jenkins、日志管理ELK、WordPress博客镜像)
2013年,云计算领域从此多了一个名词“Docker”.以轻量著称,更好的去解决应用打包和部署.之前我们一直在构建Iaas,但通过Iaas去实现统一功 能还是相当复杂得,并且维护复杂.将特殊性封装到 ...
- Mysql实现企业级数据库主从复制架构实战
场景 公司规模已经形成,用户数据已成为公司的核心命脉,一次老王一不小心把数据库文件删除,通过mysqldump备份策略恢复用了两个小时,在这两小时中,公司业务中断,损失100万,老王做出深刻反省,公司 ...
- MySQL之表日志管理
MySQL日志管理 mysql日志(默认存放在datadir): 同大多数关系型数据库一样,日志文件是MySQL数据库的重要组成部分.MySQL有几种不同的日志文件,通常包括错误日志文件,二进制日志, ...
- mysql基础之日志管理(查询日志、慢查询日志、错误日志、二进制日志、中继日志、事务日志)
日志文件记录了MySQL数据库的各种类型的活动,MySQL数据库中常见的日志文件有 查询日志,慢查询日志,错误日志,二进制日志,中继日志 ,事务日志. 修改配置或者想要使配置永久生效需将内容写入配置文 ...
- mysql学习------二进制日志管理
MySQL二进制日志(Binary Log) a.它包含的内容及作用如下: 包含了所有更新了数据或者已经潜在更新了数据(比如没有匹配任何行的一个DELETE) 包含关于每个更新数据库( ...
- SpringBoot15 sell01 项目创建、MySQL数据库连接、日志配置、开发热部署、商品信息模块
项目软件版本说明: jdk: 1.8 springboot: 2.0.1 mysql: 5.7 1 项目创建 创建一个SpringBoot项目即可,创建是勾选 web jpa mysql 这三个依赖就 ...
随机推荐
- 数据库.MongoDB.Java样例
1.先在MongoDB官网下载Java驱动包 MongoDB Java Driver: http://mongodb.github.io/mongo-java-driver/ JAR包下载列表 htt ...
- 已安装Fedora的U盘无法格式化,要求reinitialize layout
错误提示:This partition cannot be modified because it contains a partition table; >please reinitializ ...
- LeetCode 533. Lonely Pixel II (孤独的像素之二) $
Given a picture consisting of black and white pixels, and a positive integer N, find the number of b ...
- java swing中Timer类的学习
最近在完成学校课程的java平时作业,要实现一个计时器,包含开始.暂停以及重置三个功能.由于老师规定要用这个timer类,也就去学习了一下,顺便记录一下. 首先呢去查了一下java手册上的东西,发现t ...
- Failed to execute goal org.apache.maven.plugins:maven-compiler-plugin:3.1:compile (default-compile) 解决方案
1.命令行用maven编译项目失败,提示 Failed to execute goal org.apache.maven.plugins:maven-compiler-plugin:3.1:compi ...
- C# Request.InputStream 读取输入流为空的原因处理
今天在手机App测试接口的时候发现一个通过POST方式的接口 获取body中的参数一直为空,但是在数据量小的时候却可以获取到数据,开始怀疑是不是POST的长度有限制,然后在web.config中修改了 ...
- Maven 设置Maven源/镜像
在Eclipse/ InteliJ Idea使用Maven时,企业提供的本地仓库经常有些Jar包下载不下来,所以.配置Maven设置国内镜像对开发人员来说是必不可少的.今天写一篇自己配制的Maven镜 ...
- Python-week2,第二周(基于Python3.0以上)
1,列表 存储数据我们可以使用变量,但是当有很多个数据的时候用变量就会出现很多的局限性,所以这时候就用到了列表.列表就是中括号里每个元素使用逗号隔开.列如 [1,2,3] 这就是一个列 ...
- 一个JS效果竟然要研究一天,我是不是不适合做前端?
前言 今天这篇文章的标题,显然是要搞事情.一个JS交互效果,居然花费了一天的宝贵时间才研究出来,我是不是不太适合做前端? 别急,搬好小板凳,正文从这开始- 本来今天下班回来感觉有点累,想着今天就别学了 ...
- java中表示二进制、八进制、十进制、十六进制
1.进制 进制是一种记数方式 ,可以用有限的数字符号代表所有的数值.由特定的数值组成. 2.进制的表现形式 二进制: 由0和1两个数字组成. 八进制: 由0-7数字组成,为了区分与其他进制的数字区别, ...