环境:CentOS 6.7  + Mysql 5.7.19 + Xtraback 2.4.8 innobackupex常用参数: --user=USER 指定备份用户,不指定的话为当前系统用户 --password=PASSWD 指定备份用户密码 --port=PORT 指定数据库端口 --defaults-group=GROUP-NAME 在多实例的时候使用 --host=HOST 指定备份的主机,可以为远程数据库服务器 --apply-log 回滚日志 --database 指定需要备份的数…
Python进阶----pymysql的安装与使用,mysql数据库的备份和恢复,mysql的事务和锁 一丶安装 pip install PyMySQL 二丶pymysql连接数据库 ### 语法: import pymysql # 导入py模块 conn= pymysql.connect("数据库ip","用户","密码","数据库" ) # 打开数据库连接 cursor.execute("SELECT VERSI…
该脚本用于备份和恢复MySQL数据库. 总结xtrabackup备份的两个坑: 1.在恢复数据的过程中,如果中途出错,则数据将会被破坏,后续很难再恢复. 2.在恢复过程中,如果版本过低,在准备全量数据的时候会卡在等待那里,无法进行下一步. 如我用xtrabackup2.4.4 备份的,用2.4.5恢复就会卡在前面那里.听说这是个bug.后来改成了2.4.13的时候时间会快很多. #!/bin/bash #author: chentufeng #create time: 2019 05 07 #m…
mysqldump 备份鉴于其自身的某些特性(锁表,本质上备份出来insert脚本或者文本,不支持差异备份),不太适合对实时性要求比较高的情况Xtrabackup可以解决mysqldump存在的上述的一些问题,生产环境应用的也会更多一些.本文简单测试一下Xtrabackup对MySQL数据库的备份还原操作. 本着先把功能先撸起来再深入细节的原则,粗略地实现了一个备份还原,并未深入细节. 网上有不少xtrabackup的文章,因为环境不一样,有些需要配置xtrabackup的配置文件,但是我在xt…
如题,究竟该使用mysqldump还是xtrabackup,要说用,两个都能备份,都支持热备,但是生产环境我们要考虑的是效率,就是不管备份还是恢复,都要快,要稳定. 之前我在维护mysql数据库的时候,使用mysqldump来进行备份与恢复,在备份的时候锁住表,然后全部备份,在数据少的时候没问题,但如果数据很多,不允许锁表,同时需要恢复数据块的情况,mysqldump就不适合了,我在恢复一个4G数据文件的数据库的时候,恢复的数据是使用mysqldump的数据,恢复了3个小时还没有反应,造成的影响…
一.xtrabackup 简介 xtrabackup 是由percona公司开源免费的数据库热备软件,它能对InnoDB数据库和XtraDB存储引擎的数据库非阻塞地备份,对于myisam的备份同样需要加表锁.mysqldump备份方式是通过用户名密码连接到数据库,将其要备份的数据库用SQL语句的形式输出到标准输出,这种逻辑备份的方式最大的缺点是备份和恢复的速度较慢,如果数据库过大,mysqldump备份就显得力不从心了.这时选择用xtrabackup来备份就能很好解决数据库过大而导致备份过慢的问…
一.使用binlog日志 目标: 利用binlog恢复库表,要求如下: 启用binlog日志 创建db1库tb1表,插入3条记录 删除tb1表中刚插入的3条记录 使用mysqlbinlog恢复删除的3条记录 步骤: 步骤一:启用binlog日志        //记录除了查询之外的SQL命令,默认未启用 1)调整/etc/my.cnf配置,并重启服务 [root@dbsvr1 ~]# vim  /etc/my.cnf    [mysqld]    .. ..    log-bin-index=m…
该文章接上一篇文章: 内核方面: $ cat /etc/centos-release CentOS Linux release 7.4.1708 (Core) $ uname -r 3.10.0-693.el7.x86_64 下载安装xtrabackup:$ wget https://www.percona.com/downloads/XtraBackup/Percona-XtraBackup-2.4.12/binary/redhat/7/x86_64/Percona-XtraBackup-2.…
一.数据库数据备份 1.全备 BakDir=/backup/full #创建全备目录 LogFile=/backup/full/bak.log #创建备份日志 Date=`date +%Y%m%d` Begin=`date +"%Y年%m月%d日 %H:%M:%S"` cd $BakDir DumpFile=$Date.sql GZDumpFile=$Date.sql.tgz mysqldump -uroot -phongjun123 --all-databases --lock-al…
分类: Qt2011-02-18 21:35 1395人阅读 评论(3) 收藏 举报 qtmysql数据库windowspathcmd . 使用Qt做MySQL数据库开发,遇到需要备份.还原数据库的问题. MySQL中没有提供将数据库备份成.sql文件的SQL语句,而是提供了一个mysqldump.exe工具来完成这个功能. 没有SQL语句,QSqlQuery就用不成了,决定改用QProcess实现. . 但是在Qt中使用QProcess::execute()方法怎样都导不出数据来, 更郁闷的是…
1.安装下载地址:https://www.percona.com/downloads/Percona-XtraBackup-LATEST/ 2.备份# innobackupex --defaults-file=/data/mysql/mysql3307/my3307.cnf -S /tmp/mysql3307.sock -proot --stream=tar ./ | gzip -> `date +%F%H%M%S`.tar.gz--defaults-file 为待备份数据配置文件路径/tmp/…
备份 set "Ymd=%date:~,4%%date:~5,2%%date:~8,2%%time:~0,2%%time:~3,2%%time:~6,2%" md "D:\databackup\%Ymd%" "C:\Program Files\MySQL\MySQL Server 5.5\bin\mysqldump.exe" --opt -Q databasename -uroot -p123456 > D:\databackup\data…
一.备份 1) 备份表mysqldump -uroot -p 库名 表1 > e:\backup.sqlmysqldump -uroot -p 库名 表1 表2 表3 > e:\backup.sql 2) 备份库下所有表mysqldump -uroot -p 库名 > e:\backup.sql 3) 备份数据库 mysqldump -uroot -p -B 库名 > e:\backup.sql 4) 备份所有库mysqldump -uroot -p -A 库名 > e:\b…
1. http://www.percona.com/software/percona-xtrabackup下载并安装 2. 全量备份  a.全量备份到制定目录            innobackupex --user=root --password='' backup/ b.使用stream及管道流打包压缩         innobackupex --user=root --password='' --stream=tar backup/ |gzip >backup/`date +%F_%…
1 time tar -xvf Open..tarx.gz real    35m22.502s user    10m16.499s sys     1m28.578s You have new mail in /var/spool/mail/root PS:  Open..tarx.gzv 大小80G 2 time innobackupex --user=xxx --password=xxxx --defaults-file=/etc/my.cnf  --apply-log /home/al…
MySQL数据备份企业实战.制作shell脚本 功能1:使用xtrabackup以每周为一个备份周期做备份(数据库+二进制日志,备份至本地/data/backup).提示: 周一某个时间点做一次完全备份,周二.三.四.五.六.日增量,备份存储目录"/data/backup/2018/52/1/备份数据" 目录解释"/data/backup/年/本年度的第几周/本周的第几天/数据" 一年52周一周7天.可以在新的服务器上进行还原测试. 功能2:通过xtrabackup…
本文目录: 1.安装xtrabackup 2.备份锁 3.xtrabackup备份原理说明 3.1 备份过程(backup阶段) 3.2 准备过程(preparing阶段) 3.3 恢复过程(copy back阶段) 4.准备实验环境 5.innobackupex工具 5.1 innobackupex实现全备份和恢复的过程 5.2 innobackupex实现增量备份和恢复的过程 5.3 innobackupex实现导出和导入单张表的过程 5.4 innobackupex实现部分备份和恢复的过程…
备份类型: 热备份:读写不受影响 温备份:仅可执行读备份 冷备份:离线备份,读写均不能执行,关机备份 物理备份和逻辑备份 物理备份:复制数据文件,速度快. 逻辑备份:将数据导出之文本文件中,必要时候,把他还原回去. 完全备份.增量备份.差异备份 完全备份:备份全部数据 增量备份:仅备份上次完全备份以来变化的数据 差异备份:仅备份上次备份或增量备份以后变化的数据 备份是什么?数据.配置文件.二进制日志.事务日志.-+ MyISAM:不支持热备份,借助逻辑卷(LV),否则只能用温备份. Innodb…
我的MYSQL学习心得(十四) 备份和恢复 我的MYSQL学习心得(一) 简单语法 我的MYSQL学习心得(二) 数据类型宽度 我的MYSQL学习心得(三) 查看字段长度 我的MYSQL学习心得(四) 数据类型 我的MYSQL学习心得(五) 运算符 我的MYSQL学习心得(六) 函数 我的MYSQL学习心得(七) 查询 我的MYSQL学习心得(八) 插入 更新 删除 我的MYSQL学习心得(九) 索引 我的MYSQL学习心得(十) 自定义存储过程和函数 我的MYSQL学习心得(十一) 视图 我的…
目前对MySQL比较流行的备份方式有两种,一种上是使用自带的mysqldump,另一种是xtrabackup,对于数据时大的环境,普遍使用了xtrabackup+binlog进行全量或者增量备份,那么如何快速的从xtrabackup备份中恢复单张表呢?从mysql 5.6版本开始,支持可移动表空间(Transportable Tablespace),利用这个功能也可以实现单表的恢复,下面进行从备份中恢复单张innodb表进行演练. 1. 针对InnoDB表恢复 2. 开启了参数innodb_fi…
<>物理备份和逻辑备份<>联机备份和脱机备份<>本地备份和远程备份<>完整备份和增量备份<>完整恢复和增量恢复<>复制表相关文件方式创建备份:MyISAM引擎表关联的文件有三类:.frm .MYD .MYI只要将这些文件复制保存就相当于对表进行了备份.MyISAM的表在备份操作前需要先持有这类对象的只读锁定:flush tables tb1_list with read lock;然后cp相关文件即可,完成后释放锁unlock tab…
目前对MySQL比较流行的备份方式有两种,一种上是使用自带的mysqldump,另一种是xtrabackup,对于数据时大的环境,普遍使用了xtrabackup+binlog进行全量或者增量备份,那么如何快速的从xtrabackup备份中恢复单张表呢?从mysql 5.6版本开始,支持可移动表空间(Transportable Tablespace),利用这个功能也可以实现单表的恢复,下面进行从备份中恢复单张innodb表进行演练. 1. 针对InnoDB表恢复 2. 开启了参数innodb_fi…
1.事务(Transaction): 事务是将一系列数据操作绑成一个整体进行统一管理. 如果一事务执行成功,则咋子该事务中进行的所有数据更改均会提交,称为数据库中的永久成部分. 如果事务执行是遇到错误且必须取消或回滚,则数据将全部恢复到操作前的状态,所有数据的更改均被清除. 定义: 事务是一种机制.一个操作序列,包含了一组数据库操作命令,并且把所欲的命令作为一个整体起向系统提交侧小操作请求,即这一组数据库命令要么都执行,要么都不执行.   Eg: 转账过程就是一个整体 它需要两条UPDATE语句…
背景 最近在公司做数据迁移方面的工作,使用mysql数据库在测试环境模拟数据迁移,在迁移测试的过程中需要做数据备份和恢复 mysql数据备份和恢复比较简单,可以选择mysqldump工具,这里简单提一下在迁移数据过程中常用的一些操作 1.备份和恢复整个数据库 在主数据库上使用mysqldump命令备份一下数据库: mysqldump -uroot -p jobs > /usr/local/mysql/jobs.sql SSH登录到备份数据库: (1).通过FTP.SFTP或其他方式,将上一步备份…
事务 事务是作为单个逻辑工作单元执行的一系列操作,一个逻辑工作单元必须具备四个属性.即:原子性.一致性.隔离性.持久性,这些特性通常简称为ACID.   原子性(Atomicity) 事务是不可分割的工作逻辑单元 多个操作作为一个整体向系统提交,要么都执行,要么都不执行. 一致性(Consistency) 当事务完成时,数据处于一致状态. 隔离性(Isolation) 并发事务之间彼此隔离.独立,它不应以任何方式依赖于或影响其他事务. 持久性(Durability) 事务完成后,它对数据库的修改…
第13章 迁移.升级.备份.恢复数据库本章将为读者讲述数据库的各种维护任务:迁移.升级.备份和恢复.因为每个人熟悉的工具不同,其对应的迁移.升级.备份和恢复的方式也都略有不同,本书将尽量对笔者认为最具普遍性的一些操作进行讲述.另外还整理出了一些注意事项,DBA需要有缜密的思维,要考虑到可能出现的各种情况,并能够冷静地处理异常情况. 13.1 升级 MySQL的升级主要有两类,一种是对数据库表结构或数据的变更,另一种是数据库版本的升级. 13.1.1 升级表结构或变更数据 可以直接在命令行下键入S…
系统备份还原 在很多时候,我们需要系统数据进行备份还原.我们这里就使用MySql的备份还原命令实现系统备份还原的功能. 新建工程 新建一个maven项目,并添加相关依赖,可以用Spring boot脚手架生成. 新建 kitty-bakcup 工程,这是一个独立运行于后台系统的应用程序,可以分开部署. pom.xml 文件添加相关依赖. <!-- spring boot --> <dependency> <groupId>org.springframework.boot…
目录 xtrabackup备份原理及流式备份应用 0. 参考文献 1. xtrabackup 安装 2. xtrabackup 备份和恢复原理 2.1 备份阶段(backup) 2.2 准备阶段(prepare) 2.3 恢复(copy-back 或move-back) 3. xtrabackup 流式备份应用 4. 总结 xtrabackup备份原理及流式备份应用 0. 参考文献 序号 文献 1 MariaDB/MySQL备份和恢复(三):xtrabackup用法和原理详述 2 MySQL ·…
系统备份还原 在很多时候,我们需要系统数据进行备份还原.我们这里就使用MySql的备份还原命令实现系统备份还原的功能. 后台接口准备 系统备份还原是对数据库的备份还原,所以必须有后台接口的支持,我们准备好了接口,相关内容可以查阅后台篇. backup:系统备份创建接口,会在服务端_backup目录下生成以时间戳相关的备份目录,目录下有MySQL的备份SQL. delete:系统备份删除接口,传入页面查询得到的备份名称作为参数,删除服务端备份记录. findRecord:系统备份查询接口,查询所有…
实际应用 设置之前要在个人用户设置中增加key(为了备份ssh的项目) 备份 进入ditlab容器 cd /home/git/gitlab bundle exec rake gitlab:backup:create RAILS_ENV=production   cd /home/git/gitlab bundle exec bin/rake gitlab:backup:restore RAILS_ENV=production  chown git:git -R /opt/gitlab-7.11.…