MySQL 之mydumper安装详解
1 yum install glib2-devel mysql-devel zlib-devel pcre-devel openssl-devel cmake make
1 wget https://launchpadlibrarian.net/225370879/mydumper-0.9.1.tar.gz
1
2
3
4 tar zxvf mydumper-0.9.1.tar.gz
cd mydumper-0.9.1/
cmake .
make && make install
1 |
|
方法二:
安装
1 安装依赖包
yum -y install glib2-devel mysql-devel zlib-devel pcre-devel cmake gcc-c++ git
1
2 下载安装文件
cd /usr/MyWorkSpace/
git clone https://github.com/maxbube/mydumper.git
cd mydumper
//注意下面包含'.'
cmake .
make && make install
[root@mysql82 mydumper]# mydumper -V
mydumper 0.9.5, built against MySQL 5.5.60-MariaDB
mydumper是针对mysql数据库备份的一个轻量级第三方的开源工具,备份方式为逻辑备份。它支持多线程,备份速度远高于原生态的mysqldump以及众多优异特性。因此该工具是DBA们的不二选择。本文主要描述该工具的使用方法并给出示例。
有关mydumper安装参考:mydumper安装及安装故障汇总
1、mydumper的特点
a、多线程逻辑备份,生产的多个备份文件
b、与mysqldump相同,备份时对 MyISAM 表施加FTWRL (FLUSH TABLES WITH READ LOCK), 会阻塞DML 语句
c、保证备份数据的一致性
d、支持文件压缩,支持导出binlog,支持多线程恢复,支持将备份文件切块
e、支持以守护进程模式工作,定时快照和连续二进制日志
2、mydumper语法
mydumper -u [USER] -p [PASSWORD] -h [HOST] -P [PORT] -t [THREADS] -b -c -B [DB] -o [directory]
参数说明
-B, --database 需要备份的库
-T, --tables-list 需要备份的表,用逗号分隔
-o, --outputdir 输出文件的目录
-s, --statement-size 生成插入语句的字节数, 默认 1000000
-r, --rows 分裂成很多行块表
-c, --compress 压缩输出文件
-e, --build-empty-files 即使表没有数据,还是产生一个空文件
-x, --regex 正则表达式: 'db.table'
-i, --ignore-engines 忽略的存储引擎,用逗号分隔
-m, --no-schemas 不导出表结构
-k, --no-locks 不执行共享读锁 警告:这将导致不一致的备份
-l, --long-query-guard 设置长查询时间,默认60秒
--kill-long-queries kill掉长时间执行的查询
-b, --binlogs 导出binlog
-D, --daemon 启用守护进程模式
-I, --snapshot-interval dump快照间隔时间,默认60s,需要在daemon模式下
-L, --logfile 日志文件
-h, --host The host to connect to
-u, --user Username with privileges to run the dump
-p, --password User password
-P, --port TCP/IP port to connect to
-S, --socket UNIX domain socket file to use for connection
-t, --threads 使用的线程数,默认4
-C, --compress-protocol 在mysql连接上使用压缩协议
-V, --version Show the program version and exit
-v, --verbose 更多输出, 0 = silent, 1 = errors, 2 = warnings, 3 = info, default 2
3、mydumper的工作过程
a、连接目标数据库;
b、通过show processlist来判断是否有长查询,根据参数long-query-guard和kill-long-queries决定退出或杀掉长查询;
c、锁定myisam表,flush tables with read lock;针对innodb table开启事务,start transaction;
d、创建worker子线程,缺省为4个;
e、确定候选表,根据类别分别插入innodb_table,non_innodb_table以及table_schemas链表(表结构);
f、将候选表通过g_async_queue_push加入任务队列(队列最后元素是thread shutdown),由worker子线程从队列中读取表信息并执行数据导出
g、执行unlock tables,处理完myisam表后立即解锁,以减少锁定时间;
h、等待worker退出;
4、备份文件相关信息
a、所有的备份文件在一个目录中,未指定时为当前目录, 且自动生成备份日期时间文件夹,如export-20150703-145806
b、目录中包含一个 metadata 文件,该文件记录了备份时间点的二进制日志文件名,日志的写入位置
c、如果是在从库进行备份,还会记录备份时同步至主库的二进制日志文件及写入位置
d、每个表有两个备份文件:database.table-schema.sql 表结构文件,database.table.sql 表数据文件
e、如果对表文件分片,将生成多个备份数据文件,可以指定行数或指定大小分片
5、常用备份示例:
###备份单个库
# mydumper -u leshami -p pwd -B sakila -o /tmp/bak
###备份所有数据库,全库备份期间除了information_schema与performance_schema之外的库都会被备份
# mydumper -u leshami -p pwd -o /tmp/bak
###备份单表
# mydumper -u leshami -p pwd -B sakila -T actor -o /tmp/bak
###备份多表
# mydumper -u leshami -p pwd -B sakila -T actor,city -o /tmp/bak
###当前目录自动生成备份日期时间文件夹,不指定-o参数及值时,如文件夹为:export-20150703-145806
mydumper -u leshami -p pwd -B sakila -T actor
###不带表结构备份表
# mydumper -u leshami -p pwd -B sakila -T actor -m
###压缩备份及连接使用压缩协议(非本地备份时)
# mydumper -u leshami -p pwd -B sakila -o /tmp/bak -c -C
###备份特定表
# mydumper -u leshami -p pwd -B sakila --regex=actor* -o /tmp/bak
###过滤特定库,如本来不备份mysql及test库
# mydumper -u leshami -p pwd -B sakila --regex '^(?!(mysql|test))' -o /tmp/bak
###基于空表产生表结构文件
# mydumper -u leshami -p pwd -B sakila -T actor -e -o /tmp/bak
##设置长查询的上限,如果存在比这个还长的查询则退出mydumper,也可以设置杀掉这个长查询
#mydumper -u leshami -p pwd -B sakila --long-query-guard 200 --kill-long-queries
###备份时输出详细日志
# mydumper -u leshami -p pwd -B sakila -T actor -v 3 -o /tmp/bak
###导出binlog,使用-b参数,会自动在导出目录生成binlog_snapshot文件夹及binlog
# mydumper -u leshami -p pwd -P 3306 -b -o /tmp/bak
MySQL 之mydumper安装详解的更多相关文章
- mysql多实例安装详解
首先说明一个场景:我的电脑是ubuntu系统,之前apt-get自动安装过mysql.这也是出现错误最多的原因之一. 安装过程,其中充斥着各种错误: 6.mkdir mysql 7.groupadd ...
- MySQL Windows版安装详解
一.下载MySQL MySQL官网https://dev.mysql.com提供了Windows下的安装版msi和解压版zip,其中均包含32和64位版本,mis版本与SqlServer安装基本一致N ...
- MySQL数据库图文安装详解及相关问题
(尊重劳动成果,转载请注明出处: http://blog.csdn.net/qq_25827845/article/details/53366444冷血之心的博客) 首先说明:安装目录中不能有中文和空 ...
- MYSQL之数据库初识、安装详解、sql语句基本操作
目录 MYSQL之数据库初识及安装详解 1.什么是数据库? 1.什么是数据?(data) 2.什么是数据库?(databases,简称DB) 2.为什要用数据库? 3.什么是数据库管理系统?(Data ...
- Python中操作mysql的pymysql模块详解
Python中操作mysql的pymysql模块详解 前言 pymsql是Python中操作MySQL的模块,其使用方法和MySQLdb几乎相同.但目前pymysql支持python3.x而后者不支持 ...
- mysql配置文件my.cnf详解
原文地址:mysql配置文件my.cnf详解 作者:gron basedir = path 使用给定目录作为根目录(安装目录). character-sets-dir = path 给出存放着字符集的 ...
- zabbix agent安装详解
安装 Installing repository configuration package Zabbix 2.2 for RHEL5, Oracle Linux 5, CentOS 5: rpm - ...
- zabbix server安装详解
简介 zabbix(音同 zæbix)是一个基于WEB界面的提供分布式系统监视以及网络监视功能的企业级的开源解决方案. zabbix能监视各种网络参数,保证服务器系统的安全运营:并提供灵活的通知机制以 ...
- Phpstudy+WordPress安装详解
Phpstudy+WordPress安装详解 1.安装phpStudy程序 将下载的phpStudy程序解压到某个分区的根目录中,第一次使用会提示你初始化一下: 之后在主控制界面点击启动即可. php ...
随机推荐
- nginx https配置——Let's Encrypt 部署和维护
let's encrypt Let's Encrypt 的最大贡献是它的 ACME 协议,第一份全自动服务器身份验证协议,以及配套的基础设施和客户端.这是为了解决一直以来 HTTPS TLS X.50 ...
- Explicit
Prefixing the explicit keyword to the constructor prevents the compiler from using that constructor ...
- java 中 heap(堆)和stack(栈)的区别
总结在Java里面Heap和Stack分别存储数据的不同. 区别项 Heap(堆) Stack(栈) JVM中的功能 内存数据区 内存指令区 存储数据 对象实例(注1) 基本数据类型, 指令代码,常量 ...
- python3 TypeError: Unicode-objects must be encoded before hashing
python3下,利用hash值对字符串进行md5加密时报错:TypeError: Unicode-objects must be encoded before hashing 原因是:python3 ...
- jquery遍历table的tr获取td的值
方法一: var siginArray = []; $("#tbody").children("tr").each(function () { var sigi ...
- docker: Error response from daemon: driver failed programming external connectivity on endpoint jolly_shockley
1. docker 启动image错误 docker: Error response from daemon: driver failed programming external connectiv ...
- NLB网路负载均衡管理
相对于ARR来说,ARR算是应用级别的负载均衡方案,而NLB则是服务器级别的负载均衡方案.ARR只能做请求入口的消息分发服务,这样如果我们的消息分发服务器给挂掉,那么做再多的应用服务集群也都枉然. A ...
- HADOOP1.X中HDFS工作原理
转载自:http://www.daniubiji.cn/archives/596 HDFS(Hadoop Distributed File System )Hadoop分布式文件系统.是根据googl ...
- javafx 监听选择变化(TabPane)
editTab.getSelectionModel().selectedIndexProperty().addListener(evnt); javafx2.0 监听树和表的选择变化 Swing中的组 ...
- Quartz定时任务详解一
以下是我在应用的的一个基本配置: #---------调度器属性---------------- org.quartz.scheduler.instanceName = TestScheduler o ...