MySQL逻辑备份利器-mydumper
关于mydumper的简介和下载请访问:https://launchpad.net/mydumper
简言之,mydumper是多线程逻辑备份,对于表和数据量很大的情况下,建议使用mydumper提高备份效率,比mysqldumper要快很多。
我为什么要用mydumper?是基于某个需求,比如我需要把某个库下的所有按日期分表的表备份并导入到新实例?如何实现?
table_20170101
table_20170102
......
table_20171231 一共三百多张表
开始我去尝试mysqldump,看到参数:-B [table1,table2......table n] ,多么厚颜无耻的说咱支持多个指定表备份,5个以下完全接受,但是我要备份1000个表,你要让我在那列1000个吗?我始终不相信,mysqldump怎么能不支持表名模糊匹配呢?于是我就使用下面的写法:
mysqldump -uxx -p -B xx table_* > backup.sql
执行没有报错,惊喜,我就说嘛,怎么能不支持表的模糊匹配呢!!当我打开backup.sql文件时,膀胱都气炸了,尼玛直接备份了某个数据库下所有的表了。忽视我的模糊匹配嘛。从此对mysqldump没有好印象了,(当然也可能是我能力有限,还没有找到mysqldump的多表备份方式)。
转投mydumper,当我看到-x参数时,又是一喜!看看人家,写的多么清晰,于是开始使用:
一、mydumper安装:
# yum install glib2-devel mysql-devel zlib-devel pcre-devel
# wget http://launchpad.net/mydumper/0.9/0.9.1/+download/mydumper-0.9.1.tar.gz
# tar zxvf mydumper-0.9.1.tar.gz -C ../software/
# cmake .
# make
# make install
二、使用mydumper
1、刚用时报错:
/usr/local/bin/myloader: error while loading shared libraries: libmysqlclient.so.18: cannot open shared object file: No such file or directory
解决方法:
# locate libmysqlclient.so.18
/usr/local/mysql/lib/libmysqlclient.so.18
/usr/local/mysql/lib/libmysqlclient.so.18.1.0
# echo "/usr/local/mysql/lib" >> /etc/ld.so.conf
# ldconfig
2、重要参数介绍:
-B, --database 需要备份的库 -T, --tables-list 需要备份的表,用,分隔 -o, --outputdir 输出目录 -s, --statement-size Attempted size of INSERT statement in bytes, default 1000000 -r, --rows 试图分裂成很多行块表 -c, --compress 压缩输出文件 -e, --build-empty-files 即使表没有数据,还是产生一个空文件 -x, --regex 支持正则表达式 -i, --ignore-engines 忽略的存储引擎,用,分隔 -m, --no-schemas 不导出表结构 -k, --no-locks 不执行临时共享读锁 警告:这将导致不一致的备份 -l, --long-query-guard 长查询,默认60s --kill-long-queries kill掉长时间执行的查询(instead of aborting) -b, --binlogs 导出binlog -D, --daemon 启用守护进程模式 -I, --snapshot-interval dump快照间隔时间,默认60s,需要在daemon模式下 -L, --logfile 日志文件 -h, --host -u, --user -p, --password -P, --port -S, --socket -t, --threads 使用的线程数,默认4 -C, --compress-protocol 在mysql连接上使用压缩 -V, --version -v, --verbose 更多输出, 0 = silent, 1 = errors, 2 = warnings, 3 = info, default 2 myloader参数介绍: -d, --directory 导入备份目录 -q, --queries-per-transaction 每次执行的查询数量, 默认1000 -o, --overwrite-tables 如果表存在删除表 -B, --database 需要还原的库 -e, --enable-binlog 启用二进制恢复数据 -h, --host -u, --user -p, --password -P, --port -S, --socket -t, --threads 使用的线程数量,默认4 -C, --compress-protocol 连接上使用压缩 -V, --version -v, --verbose 更多输出, 0 = silent, 1 = errors, 2 = warnings, 3 = info, default 2
mydumper输出文件介绍: metadata:元数据 记录备份开始和结束时间,以及binlog日志文件位置。
table data:每个表一个文件
table schemas:表结构文件
binary logs: 启用--binlogs选项后,二进制文件存放在binlog_snapshot目录下
daemon mode:在这个模式下,有五个目录0,1,binlogs,binlog_snapshot,last_dump。
备份目录是0和1,间隔备份,如果mydumper因某种原因失败而仍然有一个好的快照,
当快照完成后,last_dump指向该备份。
3、用例
# 将某个库下日表备份
mydumper -x "new_broker.broker_action_log_*" -o /data/dbbackup/tmp/ --host='xxxx' --user='xxxx' --password='xxx' --port='3306' --logfile='/data/dbbackup/tmp/mydumper.log' --threads=6 -v 3 #将备份数据恢复到新数据库broker_biz_log中
myloader -t 6 -v 3 --host='xxxx' --user='xxxx' --password='xxxx' --port='3306' -B broker_biz_log --directory='/data/dbbackup/tmp'
4、使用误区
需求1:备份多个数据库下所有表
【错误案例,有部分库导出失败】
nohup mydumper -x "(test_db.*)|(test.*)|(mysql.*)" -o /data/dbbackup/mydumper/ --host='192.168.1.20' --user='secret' --password='xx' --port='3306' --logfile='/data/dbbackup/mydumper/mydumper.log' --threads=6 -v 3 &
【正确的写法】
nohup mydumper -x "(test_db|test|mysql).*" -o /data/dbbackup/mydumper/ --host='192.168.1.20' --user='secret' --password='xx' --port='3306' --logfile='/data/dbbackup/mydumper/mydumper.log' --threads=6 -v 3 &
需求2:备份所有数据库下所有表
mydumper -o /data/dbbackup/mydumper/ --host='ip' --user='secret' --password='xx' --port='3306' --logfile='/data/dbbackup/mydumper/mydumper.log' --threads=6 -v 3
[myloader]
--将/data/dbbackup/mydumper上的所有库都恢复
【正确的写法】
nohup myloader -t 6 -v 3 -u secret -p xxx -S /tmp/mysql.sock --directory='/data/dbbackup/mydumper' &
【值得注意的是: myloader是以.为分隔符来截取库名的,所以如果本身库的名字中包含.的,那么会失败】
MySQL逻辑备份利器-mydumper的更多相关文章
- MySQL 逻辑备份工具
简介: Mydumper.Myloader 是一个第三方的.开源的 MySQL 逻辑备份工具. 支持多线程,比起 mysqldump 要快很多,也能解决 innobackupex 备份工具对 MyIS ...
- (4.12)mysql备份还原——mysql逻辑备份之mysqldump
关键词:mysql逻辑备份介绍,mysqldump,mysqldump最佳实践 我的相关文章:https://www.cnblogs.com/gered/p/9721696.html 正文 1.mys ...
- 图解MySQL逻辑备份的实现流程
1. 摘要 数据作为一家公司的重要资产,其重要程度不言而喻.数据库为数据提供存取服务,担任着重要的角色,如果因数据误删.服务器故障.病毒入侵等原因导致数据丢失或服务不可用,会对公司造成重大损失,所以数 ...
- MySQL多线程备份工具:mydumper
MySQL多线程备份工具:mydumper http://www.orczhou.com/index.php/2011/12/how-to-split-mysqldump-file/ Mydumper ...
- MySQL 逻辑备份mysqldump&mysqlpump&mydumper原理解析
目录 准备 mysqldump备份 mysqlpump备份 mydumper备份 想弄清除逻辑备份的原理,最好的办法是开启general_log,一探究竟 准备 创建用户 CREATE USER IF ...
- mysql逻辑备份mydumper
mydumper是一个针对MySQL的高性能多线程备份和恢复工具,它提供了并发备份功能,备份效率有很大提高. 安装mydumper yum安装 # rpm -ivh https://github. ...
- mysql逻辑备份与还原工具mysqldump
(一)mysqldump介绍 mysqldump是MySQL自带的逻辑备份工具,类似于Oracle的expdp/impdp,mysqldump备份十分灵活,可以在以下级别对数据库进行备份: 实例下的所 ...
- MySQL逻辑备份into outfile
MySQL 备份之 into outfile 逻辑数据导出(备份) 用法: select xxx into outfile '/path/file' from table_name; mysql> ...
- MySQL多线程备份工具mydumper
mydumper是一个针对MySQL和Drizzle的高性能多线程的备份和恢复工具.此工具的开发人员分别来自MySQL.Fackbook.SkySQL公司,目前已经有一些大型产品业务测试并使用了该工具 ...
随机推荐
- SpannableString富文本
忍不住想吐槽这个类,这个类是要给文本设置不同的颜色.字体样式 例子:一句话中只有某几个文字想要设置成不同的颜色 起初写了一个函数setColorStyle(), public SpannableStr ...
- 如何获取DOM中当前获取焦点的元素
<script type="text/javascript"> function msg(e) // e = event { var target; //initial ...
- poi jar包介绍
来自官网: Component Application type Maven artifactId Notes POIFS OLE2 Filesystem poi Required to work w ...
- Java 之 Servlet介绍(Java之负基础实战)
1.介绍 Servlet是用Java编写的服务器端程序.其主要功能在于交互式地浏览和修改数据,生成动态Web内容.狭义的Servlet是指Java语言实现的一个接口,广义的Servlet是指任何实现了 ...
- HTTP Session学习
session在web开发中是一个非常重要的概念,这个概念很抽象,很难定义,也是最让人迷惑的一个名词,也是最多被滥用的名字之一,在不同的场合,session一次的含义也很不相同.这里只探讨HTTP S ...
- TortoiseSVN使用简介
TortoiseSVN使用简介 2009-04-24 来源: dev.idv.tw 1.安装及下载client 端 2.什么是SVN(Subversion)? 3.为甚么要用SVN? 4.怎么样在Wi ...
- LoadRunner
LoadRunner,是一种预测系统行为和性能的负载测试工具.通过以模拟上千万用户实施并发负载及实时性能监测的方式来确认和查找LoadRunner能够对整个企业架构进行测试.通过使用LoadRunne ...
- svn git协同管理
项目开发过程中总有一些奇奇怪怪的需求出现. 我们的项目管理是使用SVN的,用SVN是历史原因,无法整个项目向Git切换.由于我需要管理SVN,做一些代码合并工作.每次合并都会遇到SVN代码需要对比查看 ...
- 同步、异步、阻塞、非阻塞IO
在网上看到一篇对这四个概念比较清晰的分析的文章:http://blog.csdn.net/historyasamirror/article/details/5778378.结合自己一直在学习Java ...
- 从零开始学C#——基本语法(二)
基本语法 C#,又名Csharp,天朝喜欢叫C井. C#是一种面向对象的编程语言.在面向对象的程序设计方法中,程序有各种相互交互的对象组成.相同种类的对象通常具有相同的类型,或者说,是在先沟通那个的c ...