mysql 利用binlog增量备份,还原实例
mysql 利用binlog增量备份,还原实例
一,什么是增量备份
增量备份,就是将新增加的数据进行备份。假如你一个数据库,有10G的数据,每天会增加10M的数据,数据库每天都要备份一次,这么多数据是不是都要备份呢?还是只要备份增加的数据呢,很显然,我只要备份增加的数据。这样减少服务器的负担。
二,启用binlog
vi my.cnf
log-bin=/var/lib/mysql/mysql-bin.log,如果是这样的话log-bin=mysql-bin.log默认在datadir目录下面
[root@BlackGhost mysql]# ls |grep mysql-bin
mysql-bin.000001
mysql-bin.000002
mysql-bin.000003
mysql-bin.000004
mysql-bin.000005
mysql-bin.000006
mysql-bin.index
启动后会产生mysql-bin这样的文件,每启动一次,就会增加一个或者多个。
mysql-bin.000002这样文件存放的是数据库每天增加的数据,所有数据库的数据增量都在这里面。
三,查看mysql-bin.000002这样的文件里面到底是什么东西
[root@BlackGhost mysql]# mysqlbinlog /var/lib/mysql/mysql-bin.000002 > /tmp/add.sql
- [root@BlackGhost mysql]# cat /tmp/add.sql // 下面是根据mysql-bin生成的文件(部分内容)
- /*!40019 SET @@session.max_insert_delayed_threads=0*/;
- /*!50003 SET @OLD_COMPLETION_TYPE=@@COMPLETION_TYPE,COMPLETION_TYPE=0*/;
- DELIMITER /*!*/;
- # at 4
- #100929 21:23:52 server id 1 end_log_pos 106 Start: binlog v 4, server v 5.1.50-log created 100929 21:23:52 at startup
- # Warning: this binlog was not closed properly. Most probably mysqld crashed writing it.
- ROLLBACK/*!*/;
- BINLOG '
- 6D2jTA8BAAAAZgAAAGoAAAABAAQANS4xLjUwLWxvZwAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAA
- AAAAAAAAAAAAAAAAAADoPaNMEzgNAAgAEgAEBAQEEgAAUwAEGggAAAAICAgC
- '/*!*/;
- # at 106
- #100929 21:29:35 server id 1 end_log_pos 134 Intvar
- SET INSERT_ID=16/*!*/;
- # at 134
- #100929 21:29:35 server id 1 end_log_pos 237 Query thread_id=1 exec_time=0 error_code=0
- use test/*!*/; //这里是test数据库
- SET TIMESTAMP=1285766975/*!*/;
- SET @@session.pseudo_thread_id=1/*!*/;
- SET @@session.foreign_key_checks=1, @@session.sql_auto_is_null=1, @@session.unique_checks=1/*!*/;
- SET @@session.sql_mode=0/*!*/;
- SET @@session.auto_increment_increment=1, @@session.auto_increment_offset=1/*!*/;
- /*!\C utf8 *//*!*/;
- SET @@session.character_set_client=33,@@session.collation_connection=33,@@session.collation_server=33/*!*/;
- SET @@session.lc_time_names=0/*!*/;
- SET @@session.collation_database=DEFAULT/*!*/;
- insert into aa(name)values('cccccccccc')
- /*!*/;
- # at 237
- #100929 21:32:21 server id 1 end_log_pos 265 Intvar
- SET INSERT_ID=12/*!*/;
- # at 265
- #100929 21:32:21 server id 1 end_log_pos 370 Query thread_id=1 exec_time=0 error_code=0
- SET TIMESTAMP=1285767141/*!*/;
- insert into user(name)values('cccccccccc')
- /*!*/;
- # at 370
- #100929 21:35:25 server id 1 end_log_pos 440 Query thread_id=1 exec_time=0 error_code=0
- SET TIMESTAMP=1285767325/*!*/;
- BEGIN
- /*!*/;
- # at 440
- #100929 21:35:25 server id 1 end_log_pos 468 Intvar
- SET INSERT_ID=45/*!*/;
- # at 468
- #100929 21:35:25 server id 1 end_log_pos 573 Query thread_id=1 exec_time=0 error_code=0
- use blog/*!*/; //这里是blog数据库
- SET TIMESTAMP=1285767325/*!*/;
- insert into city(CityName)values('asdf')
- /*!*/;
- # at 573
- #100929 21:35:25 server id 1 end_log_pos 600 Xid = 205
- COMMIT/*!*/;
- DELIMITER ;
- # End of log file
- ROLLBACK /* added by mysqlbinlog */;
- /*!50003 SET COMPLETION_TYPE=@OLD_COMPLETION_TYPE*/;
下面还有一个重要索引文件就是mysql-bin.index
- [root@BlackGhost mysql]# cat mysql-bin.index
- ./mysql-bin.000001
- ./mysql-bin.000002
- ./mysql-bin.000003
- ./mysql-bin.000004
- ./mysql-bin.000005
- ./mysql-bin.000006
四,增量备份和增量还原
1,增量备份
既然我们知道了,mysql里面新增加的数据在mysql-bin这样的文件里面,我们只要把mysql-bin这样的文件进行备份就可以了。
cp /var/lib/mysql/mysql-bin* /data/mysql_newbak/
2,增量还原,讲几个常用的,比较有用的
a),根据时间来还原 --start-date,--stop-date
[root@BlackGhost
mysql]# /usr/local/mysql/bin/mysqlbinlog --start-date="2010-09-29
18:00:00" --stop-date="2010-09-29 23:00:00"
/var/lib/mysql/mysql-bin.000002 |mysql -u root -p
根据条件看一下数据
- [root@BlackGhost mysql]# /usr/local/mysql/bin/mysqlbinlog --start-date="2010-09-29 18:00:00"
- --stop-date="2010-09-29 23:00:00" /var/lib/mysql/mysql-bin.000002
- //下面是部分内容,其实也就是一些对数据进行操作的sql语句
- # at 237
- #100929 21:32:21 server id 1 end_log_pos 265 Intvar
- SET INSERT_ID=12/*!*/;
- # at 265
- #100929 21:32:21 server id 1 end_log_pos 370 Query thread_id=1 exec_time=0 error_code=0
- SET TIMESTAMP=1285767141/*!*/;
- insert into user(name)values('cccccccccc')
- /*!*/;
- # at 370
- #100929 21:35:25 server id 1 end_log_pos 440 Query thread_id=1 exec_time=0 error_code=0
- SET TIMESTAMP=1285767325/*!*/;
- BEGIN
- /*!*/;
- # at 440
- #100929 21:35:25 server id 1 end_log_pos 468 Intvar
- SET INSERT_ID=45/*!*/;
- # at 468
- #100929 21:35:25 server id 1 end_log_pos 573 Query thread_id=1 exec_time=0 error_code=0
b),根据起始位置来还原,--start-position,--stop-position
[root@BlackGhost
mysql]# /usr/local/mysql/bin/mysqlbinlog --start-position=370
--stop-position=440 /var/lib/mysql/mysql-bin.000002 |mysql -u root -p
//查看插入的内容,根a)中是一样的
[root@BlackGhost
mysql]# /usr/local/mysql/bin/mysqlbinlog --start-position=370
--stop-position=440 /var/lib/mysql/mysql-bin.000002
--start-position=370 --stop-position=440 这里面数字从哪儿来的呢?
# at 370
#100929 21:35:25 server id 1 end_log_pos 440 Query thread_id=1 exec_time=0 error_code=0
SET TIMESTAMP=1285767325/*!*/;
上面的红色加粗的就是,一个是start-position,一个是stop-position
c),根据数据库名来进行还原 -d
在这里是小写的d,请不要把它和mysqldump中的-D搞混了。哈哈。
[root@BlackGhost mysql]# /usr/local/mysql/bin/mysqlbinlog -d test /var/lib/mysql/mysql-bin.000002
查看内容,请参考a)
d),根据数据库所在IP来分-h
[root@BlackGhost mysql]# /usr/local/mysql/bin/mysqlbinlog -h 192.1681.102 /var/lib/mysql/mysql-bin.000002
查看内容,请参考a)
e),根据数据库所占用的端口来分-P
有的时候,我们的mysql用的不一定是3306端口,注意是大写的P
[root@BlackGhost mysql]# /usr/local/mysql/bin/mysqlbinlog -p 13306 /var/lib/mysql/mysql-bin.000002
查看内容,请参考a)
f),根据数据库serverid来还原--server-id
在数据库的配置文件中,都有一个serverid并且同一集群中serverid是不能相同的。
[root@BlackGhost mysql]# /usr/local/mysql/bin/mysqlbinlog --server-id=1 /var/lib/mysql/mysql-bin.000002
查看内容,请参考a)
注意:上面的几个例子,我都是一个一个说的,其实可以排列组合的。例如
[root@BlackGhost
mysql]# /usr/local/mysql/bin/mysqlbinlog --start-position="2010-09-29
18:00:00" -d test -h 127.0.0.1 /var/lib/mysql/mysql-bin.000002 |mysql -u
root -p
五,后续
增量备份的时候,有一点让人不爽,就是mysql-bin这样的文件,每启动一次mysql就会增加一些,如果你不去管他的话,时间长了,他会把你的磁盘占满。
./mysqldump --flush-logs -u root myblog > /tmp/myblog.sql
备份myblog数据库,清除增量备份里面的有关myblog的数据
./mysqldump --flush-logs -u root --all-databases > /tmp/alldatabase.sql
备份所有数据库,清除增量备份
mysql-bin.index的起索引作用,因为增量的数据不一定在一个mysql-bin000这样的文件里面,这个时候,我们就要根据mysql-bin.index来找mysql-bin这样的增量文件了。
如果mysql里面做了这样的配置binlog-do-db=test1,增量备份里面只会有test1这个数据库的数据
http://blog.51yip.com/mysql/1042.html
mysql 利用binlog增量备份,还原实例的更多相关文章
- MySQL 利用binlog增量备份+还原实例
一,什么是增量备份 增量备份,就是将新增加的数据进行备份.假如你一个数据库,有10G的数据,每天会增加10M的数据,数据库每天都要备份一次,这么多数据是不是都要备份呢?还是只要备份增加的数据呢,很显然 ...
- 挖一挖MongoDB的备份与还原(实现指定时间点还原和增量备份还原)
一 研究背景需求 目前作者所在公司的MongoDB数据库是每天凌晨做一次全库完整备份,但数据库出现故障时,只能保证恢复到全备时间点,比如,00:30 做的完整备份,而出现故障是下午18:00,那么现 ...
- mysql数据库的增量备份和全备
还有一种简单的方法 参考 https://blog.csdn.net/u010098331/article/details/50932064 (注意:5.6版本以上新加了gtid 功能,gtid开启之 ...
- mysql利用binlog进行数据恢复
目录 mysql利用binlog进行数据恢复 binlog基本配置和格式 binlog基本配置 查看binlog状态 binlog的三种格式 转换成sql mysql自带的mysqlbinlog 利用 ...
- xtra+binlog增量备份脚本
目录 一.备份原理 innobackupex原理 binlog原理 特点 备份策略 二.环境准备 开启binlog 创建授权用户 安装innobackupex 三.添加脚本 全量备份 增量备份 bin ...
- MYSQL的日志与备份还原
一.错误日志 当数据库出现任何故障导致无法使用时,第一时间先去查看该日志 1.服务器启动关闭过程中的信息 2.服务器运行过程中的错误信息 日志存放路径,可以通过命令查看: 日志文件命名格式:host_ ...
- 转载:MySQL:亲测备份策略实例(线上真实备份案例)
是否为线上库的备份而烦恼过,这里提供一个完整的备份从属数据库的备份方案,亲测可用 说明: 备份从库,按周计,每周进行一次全备 每周一的早上六点进行全备,其他时间备份中继日志 在从库上启用rsync服务 ...
- mysql全备和增量备份以及恢复过程(percona工具)
实验环境 系统环境,内核版本和xtrabackup工具版本 [root@linux-node1 mysql]# cat /etc/redhat-release CentOS Linux release ...
- MySQL之mysqldump数据备份还原
一 mysqldump指令实现数据备份.mysql指令实现数据还原 经常有朋友问我,DBA到底是做什么的,百科上说:数据库管理员(Database Administrator,简称DBA),是从事管理 ...
随机推荐
- linux type命令用法_转
转自:http://codingstandards.iteye.com/blog/831504 在脚本中type可用于检查命令或函数是否存在,存在返回0,表示成功:不存在返回正值,表示不成功. $ t ...
- 解决:CWnd::SetWindowText报Assertion failure
参考资料: http://www.cnblogs.com/tiancun/p/3756581.html http://www.tc5u.com/mfc/2120698.htm http://forum ...
- 手动内存管理与ARC互相转换问题
- C语言中静态库和动态库笔记
库 库,故名思议,是存放东西的地方,其中存放的东西可以被多个人公用. 程序中借用库的概念,描述将代码进行抽取,这种代码被大多数程序使用, 其过程具有一定的模块化.封装.抽象的特征. 按照库的使用方式, ...
- Swift实战-QQ在线音乐(第二版)
此版本使用百度音乐接口,原因是豆瓣接口很多歌曲没办法找到歌词. 此版本添加了歌词的显示.上一曲.下一曲的实现.歌曲列表指明当前歌曲. 下面来看一下实现过程>>> 一.项目准备: 百度 ...
- (转)json+flexgrid+jbox组合运用页面刷新<jsp>
插件效果 1.JSP页面 1 <%@ page language="java" contentType="text/html; charset=UTF-8" ...
- Java基础(62):Eclipse调试(Debug)的10条技巧(转)
在看这篇文章前,我推荐你看一下Eclipse 快捷键手册 先提三点 不要使用System.out.println作为调试工具 启用所有组件的详细的日志记录级别 使用一个日志分析器来阅读日志 1.条件断 ...
- Java基础(56):Java---Assertion的试用(华为OJ里的Java题目的用例检测就是用的断言)
一.assertion的意义和用法 J2SE 1.4在语言上提供了一个新特性,就是assertion功能,它是该版本在Java语言方面最大的革新. 从理论上来说,通过 assertion方式可以证明程 ...
- C++之路进阶——codevs1285(宠物收养所)
1285 宠物收养所 时间限制: 1 s 空间限制: 128000 KB 题目等级 : 钻石 Diamond 题目描述 Description 最近,阿Q开了一间宠物收养所.收养所提供两种服 ...
- 使用streaming window函数统计用户不同时间段平均消费金额等指标
场景 现在餐厅老板已经不满足仅仅统计历史用户消费金额总数了,他想知道每个用户半年,每个月,每天,或者一小时消费的总额,来店消费的次数以及平均金额. 给出的例子计算的是每5秒,每30秒,每1分钟的用户消 ...