【转】mysql增量备份恢复实战企业案例

来源地址:http://seanlook.com/2014/12/05/mysql_incremental_backup_example/ 小量的数据库可以每天进行完整备份,因为这也用不了多少时间,但当数据库很大时,就不太可能每天进行一次完整备份了,这时候就可以使用增量备份.增量备份的原理就是使用了mysql的binlog日志. 本次操作的MySQL版本为5.5.40 for Linux (x86_64). 增量备份要确保打开了二进制日志,参考mysql的日志系统: mysql> show va…

innobackupex做MySQL增量备份及恢复【转】

创建备份用户 mysql> grant process,reload,lock tables,replication client on *.* to 'backup'@'localhost' identified by 'backup@2017'; mysql> flush privileges; 完整备份 mkdir -p /data/backup/{full,inc1,inc2} innobackupex --defaults-file=/usr/local/mysql/data/my.…

Xtrabackup原理及使用innobackupex进行MySQL数据库备份恢复

Xtrabackup是由percona提供的mysql数据库备份工具,据官方介绍,这也是世界上惟一一款开源的能够对innodb和xtradb数据库进行热备的工具. Xtrabackup中主要包含两个工具: xtrabackup:是用于热备份innodb, xtradb表中数据的工具,不能备份其他类型的表,也不能备份数据表结构: innobackupex:是将xtrabackup进行封装的perl脚本,可以备份和恢复MyISAM表以及数据表结构. 一段官方文档的说明: http://www.per…

MySQL用户管理、常用sql语句、MySQL数据库备份恢复

1.MySQL用户管理给远程登陆用户授权:grant all on *.* to 'user1'@'127.0.0.1' identified by '123456' (这里的127.0.0.1是指远程登陆的IP,即允许哪个IP登陆) 远程登陆的方式:mysql -h IP -u username -p 然后接着输入密码,就可以登陆了用show grants; 命令,可以查看当前用户,所授权的大小:以及创建时的命令,可以复制后,再进行授权给其它用户若要查看其它用户的授权,就需要用命令…

如何通过rman的增量备份恢复dataguard中standby端的数据

很多正在使用dataguard的客户,都会遇到一个棘手的问题: 在备份端与主库同步的过程中由于网络原因或磁盘问题导致一个或多个归档日志丢失,进而dataguard同步无法继续.很多客户都选择了重新全库恢复,并重新搭建dataguard. 如果我们的源数据库非常大(超过100G的数据量),其实可以选择一种更简便并高效的恢复方法--通过rman的增量备份恢复dataguard中standby端的数据.具体恢复过程如下:1) Stop the managed recovery process (MRP…

ORACLE异机增量备份恢复

PROD异机增量备份恢复验证实施文档准备工作:source 源库:PROD数据库备份策略:周日0级RMAN备份,周一至周六1级差异增量备份0 4 * * 0 /data/rmanlev0.sh > /data/logs/rmanlev0.log 2>&10 4 * * 1,2,3,4,5,6 /data/rmanlev1.sh > /data/logs/rmanlev1.log 2>&1 target 异地机器:备份目录:/backup/PROD/备份文件如下[o…

Linux centosVMware mysql用户管理、常用sql语句、mysql数据库备份恢复

一.mysql用户管理 grant all on *.* to 'user1'@‘127.0.0.1’ identified by 'mimA123'; 创建user1用户使用user1登录 /usr/local/mysql/bin/mysql -uuser1 -pmimA123 -h127.0.0.1 变为localhost,不加-h也能登录 mysql> grant all on *.* to 'user1'@'localhost' identified by 'mimA123'; [ro…

postgresql 和 mysql 数据库备份恢复以及时区问题

概要 postgesql 12 备份/恢复脚本时区设置 mysql 5.6 备份/恢复脚本时区设置概要 postgresql 和 mysql 是最常用的 2 种开源关系数据库, 很多项目也会优先选用这 2 种数据库. 通过 docker 来使用这 2 种数据库的时候, 部署非常方便, 没什么好说的. 这里简单总结下数据库的备份/恢复和时区设置问题. postgesql 12 备份/恢复脚本 1 DOCKER_CONTAINER=pg12 2 DATE=`date +%Y%m%d-%H%M`…

9.11、mysql增量备份和增量恢复介绍

1.增量备份: 增量数据是从上次全量备份之后,更新的新数据,对于mysql来说,binlog日志就是mysql的增量数据: (1)按天进行备份: 周一00点全量备份周二00点全量备份 ...... 01.sql.gz 02.sql.gz ...... 周一增量备份周二增量备份 ...... mysql-bin.000001 mysql-bin.000002 mysql-bin.000003 mysql-bin.index mysql-bin.000004 mysql-bin.000005 m…

MySQL5.7增量备份恢复全实战

一. 简介 1. 增量备份增量备份是指在一次全备份或上一次增量备份后,以后每次的备份只需备份与前一次相比增加或者被修改的文件.这就意味着,第一次增量备份的对象是进行全备后所产生的增加和修改的文件;第二次增量备份的对象是进行第一次增量备份后所产生的增加和修改的文件,如此类推. 这种备份方式最显著的优点就是:没有重复的备份数据,因此备份的数据量不大,备份所需的时间很短.但增量备份的数据恢复是比较麻烦的. 必须具有上一次全备份和所有增量备份(一旦丢失或损坏其中的一个增量,就会造成恢复的失败),并且…

删库到跑路?还得看这篇Redis数据库持久化与企业容灾备份恢复实战指南

本章目录 0x00 数据持久化 1.RDB 方式 2.AOF 方式如何抉择 RDB OR AOF? 0x01 备份容灾一.备份 1.手动备份redis数据库 2.迁移Redis指定db-数据库 3.Redis集群数据备份与迁移二.恢复 1.系统Redis用户被删除后配置数据恢复流程 2.Kubernetes中单实例异常数据迁移恢复实践 3.当Redis集群中出现从节点slave,fail,noaddr问题进行处理恢复流程. 前置知识学习补充 Redis数据库基础入门介绍与安装 - http…

mysql增量备份 percona-xtrabackup

先说下实际环境阿里云买的ESC跑的mysql服务,目前由于数据量过大,数据库目前有800多GB,每次全备需要等20多个小时才能够完成,然后就想到做增量备份,写下此文档一.测试环境 [root@localhost ~]# cat /etc/redhat-release CentOS release 6.2 (Final) [root@localhost ~]# mysql --version mysql Ver 14.14 Distrib 5.5.20, for Linux (x86_64)…

mysql增量备份(2/2)

前言这是在百度文库里看到的文章,原名叫做<MYSQL 完全与增量备份及恢复文档 >,是关于完全备份和增量备份以及恢复文档的...... 文档介绍本文档采用 mysqldump 对数据库进行备份,mysqldump 是采用 SQL 级别的备份机制,它将数据表导成 SQL 脚本文件,在不同的 MySQL 版本之间升级时相对比较合适,这也是最常用的备份方法,mysqldump 比直接拷贝要慢些. 本文描述 Mysql 数据库的自动备份,包括完全备份和增量备份.其中,完全备份每周六执行一次,…

mysql增量备份(1/2)

转自:http://www.centos.bz/2012/11/mysql-incremental-backup/ 小量的数据库我们可以每天进行完整备份,因为这也用不了多少时间,但当数据库很大时,我们就不太可能每天进行一次完整备份了,而且改成每周一次完整备份,每天一次增量备份类似这样的备份策略.增量备份的原理就是使用了mysql的二进制日志,所以我们必须启用二进制日志功能. 一.增量备份 1.比如我们在星期天下午11点做一次完整备份: mysqldump --single-transaction…

Mysql增量备份之Mysqldump&Mylvmbackup

简单介绍备份类型备份方式热备份:备份期间不需要服务停机,业务不受影响: 温备份:备份期间仅允许读的请求: 冷备份:备份期间需要关闭Mysql服务或读写请求都不受影响: 完全备份:full backup备份全部数据集: 增量备份:incrementalbackup 上次完全备份或增量备份以来改变的数据: 差异备份:differentialbackup 上次完全备份以来改变的数据: 完全+增量备份方式恢复用到的备份文件:完全备份+增量备份+二进制文件: 完全+差异备份方式恢复用到的备份文件:完…

最常用MySql数据库备份恢复

1.数据备份类型: ·完全备份:故名思议备份整个数据库 ·部分备份:备份一部分数据集 : ·增量备份:自上次备份以来的改变数据的备份: ·差异备份:自上次完全备份后改变数据的备份: 2.数据备份的方式: 存储引擎支持 MyISAM Innodb ·热备份:数据库启动,读写不影响 N Y ·温备份:读不影响,写不行 …

xtrabakcup基本用法安装、全量备份恢复、增量备份恢复

xtrabackup备份原理以及工作流程备份流程日志分析:1.##读取mysql配置文件2.## 扫描innodb日志lsn并复制inndodb系统表空间3.## 缓冲写出到数据文件并锁表4.## 开始复制非innodb表及相关文件5.## 结束复制非innodb表及相关文件6.## 强制将commit log刷新到redo,保证事务是完整的7.## 获取最新的lsn8.## 释放锁9.## 列出备份位置10.## 列出binlog的位置11.##备份mysql配置文件11.##备份结束备份…

利用增量备份恢复因归档丢失造成的DG gap

故障现象:data guard归档出现gap,悲剧的是丢失的归档在主库上被rman备份时删除了,丢失的归档大约有20几个,数据库大小约2T,如果重建DG将非常耗时间,因此决定利用增量备份的方式恢复DG,主要步骤如下:1.备份备库spfile文件SQL> create pfile='/home/ora/pfileRdg.ora' from spfile; 2.查看当前备库scnSQL> select to_char(current_scn) from v$database; TO_CHAR(CU…

MYSQL数据库自动本地/异地双备份/MYSQL增量备份

构建高安全电子商务网站之(网站文件及数据库自动本地/异地双备份)架构图继续介绍Linux服务器文件备份,数据库备份,数据安全存储相关的电子商务系统架构.针对安全性有多种多样的解决方案,其中数据备份是重中之重的首要工作.电子商务网站更加注重考虑数据安全,数据备份方案,包括本地备份.异地备份架构.其中Linux服务器的备份方案非常多,本文介绍一个大众化适用的解决方案,通过编写Shell脚本来完成自动备份.本架构包括备份网站文件.数据库,自动本地备份并FTP上传备份脚本,完成相应本地备份.异地备…

windows下mysql增量备份与全备份批处理

win下的全备批处理批处理用于游戏服务器,经过严格测试,且正式使用,主要用来完全备份数据库,当然.这只是将数备份出来 ,至于如何将备份出来的数据远程传送的远程服务器上可以调用ftp的功能,此脚本并未详细说明,不明白的可留言,亦可邮件至jzcxfy@opkeep.com 代码如下复制代码 @echo off@echo ###################################################################@echo # RAR backup sc…

mysql xtrabackup 备份恢复实现,mysql命令备份数据库，打包压缩数据库

简介 Xtrabackup是由percona提供的mysql数据库备份工具,据官方介绍,这也是世界上惟一一款开源的能够对innodb和xtradb数据库进行热备的工具.特点: (1)备份过程快速.可靠: (2)备份过程不会打断正在执行的事务: (3)能够基于压缩等功能节约磁盘空间和流量: (4)自动实现备份检验: (5)还原速度快: Xtrabackup中包含两个工具: * xtrabackup - 用于热备份innodb, xtradb表的工具,不能备份其他表. * innobackupex…

Percona-XtraBackup系列三：增量备份恢复

1:创建测试表和测试库如果需要快速建立测试表和库的话,参考之前写的这篇博客:http://www.cnblogs.com/xiaoit/p/3376685.html create database backup_test; CREATE TABLE `backup` ( `id` int(11) NOT NULL AUTO_INCREMENT , `name` varchar(20) NOT NULL DEFAULT '' , `create_time` timestamp NOT NULL D…

怎样使用 RMAN 增量备份恢复 data guard log gap（日志断档）

主库查询最小scn 信息: SQL> col current_scn for 999999999999999 SQL> SELECT CURRENT_SCN FROM V$DATABASE; select min(fhscn) from x$kcvfh; select min(f.fhscn) from x$kcvfh f, v$datafile d where f.hxfil =d.file# and d.enabled != 'READ ONLY'…

mysql增量备份脚本

#!/bin/sh ############################### # 此脚本用来增量备份 # 此文件名:mysqldailybackup.sh # # Author: zhangrox # mail: hienha@163.com # create: 2013/06/29 # # 每个星期一到六早上3点做一次增量备份(加 & 为后台执行) # 0 3 * * 1-6 root /backup/mysql/daily_backup/mysqldailybackup.sh &…

通过增量备份恢复来处理Oracle DG 复制GAP

1.确定增备scn范围,通过alert日志获取gap日志序列GAP - thread 1 sequence 109631-117170 2.根据序列获取增备起点SCN提示最小gap序列为109631, 往前推一个序列,然后获得scn号 select THREAD#,SEQUENCE#,FIRST_CHANGE#,NEXT_CHANGE# from v$archived_log where SEQUENCE#=109630;THREAD# SEQUENCE# FIRST_CHANGE# NEXT_…

Mysql 增量备份和全量备份

全量备份: # vim /root/DBFullyBak.sh //添加以下内容 #!/bin/bash # Program # use mysqldump to Fully backup mysql data per week! # History # 2013-04-27 guo first # Path # 全备份:/home/mysql/backup # 增量备份目录:/home/mysql/backup/daily BakDir=/home/mysql/backup Date=`dat…

python：mysql增量备份

模块:MySQLdb Crypto加密 ConfigParser加载配置 mydb.py #!/usr/bin/env python #coding=utf-8 import MySQLdb as mdb from Crypto.Cipher import AES #算法 key = '0x7jz75nmrjx5k52lcqpybm12b1frbmn' iv='1234567812345678' BS = 16 pad = lambda s: s + (BS - len(s) % BS) * '…