简介 mydumper 是一款开源的 MySQL 逻辑备份工具,主要由 C 语言编写.与 MySQL 自带的 mysqldump 类似,但是 mydumper 更快更高效. mydumper 的一些优点特性: 轻量级C语言开发 支持多线程备份数据,备份后按表生成多个备份文件 支持事务性和非事务性表一致性备份 支持将导出的文件压缩,节约空间 支持多线程恢复 支持已守护进程模式工作,定时快照和连续二进制日志 支持按指定大小将备份文件切割 数据与建表语句分离 下载安装 安装方式非常多,以下介绍几种常见

背景: TokuDB引擎是有Tokutek开发的一个数据库存储引擎,在设计之初便引入了独特的索引算法,在其官网测试的文章中看到TokuDB性能比InnoDB高出很多. MySQL是一个插件式的数据库,在MySQL5.5版本之前MyISAM是MySQL的默认存储引擎,在之后的版本中默认的存储引擎变成了InnoDB.其特点是它支持事务,具有完善的崩溃恢复机制,具体的特点这里不说明,可以自行的寻找资料.这里介绍的TokuDB和InnoDB有很多相似之处:一个高性能,支持事务.MVCC.聚簇索引等.最大

参考:http://blog.sina.com.cn/s/blog_4673e6030102v46l.html 参考:http://hcymysql.blog.51cto.com/5223301/1431698 参考:http://blog.csdn.net/yueliangdao0608/article/details/21230627 参考:http://code.openark.org/blog/mysql/tokudb-configuration-variables-of-interes

mydumper介绍 MySQL自身的mysqldump工具支持单线程工作,依次一个个导出多个表,没有一个并行的机,这就使得它无法迅速的备份数据. mydumper作为一个实用工具,能够良好支持多线程工作,可以并行的多线程的从表中读入数据并同时写到不同的文件里,这使得它在处理速度方面快于传统的mysqldump.其特征之一是在处理过程中需要对列表加以锁定,因此如果我们需要在工作时段执行备份工作,那么会引起DML阻塞.但一般现在的MySQL都有主从,备份也大部分在从上进行,所以锁的问题可以不用考虑

原文出处:阿里云RDS-数据库内核组 HybridDB for MySQL(原名petadata)是面向在线事务(OLTP)和在线分析(OLAP)混合场景的关系型数据库.HybridDB采用一份数据存储来进行OLTP和OLAP处理,解决了以往需要把一份数据多次复制来分别进行业务交易和数据分析的问题,极大地降低了数据存储的成本,缩短了数据分析的延迟,使得实时分析决策称为可能. HybridDB for MySQL兼容MySQL的语法及函数,并且增加了对Oracle常用分析函数的支持,100%完全兼

欢迎来到 GreatSQL社区分享的MySQL技术文章,如有疑问或想学习的内容,可以在下方评论区留言,看到后会进行解答 GreatSQL社区原创内容未经授权不得随意使用,转载请联系小编并注明来源. 0.背景介绍 在某系统中为了保证历史数据的压缩性,采用tokudb引擎存储数据. slave节点所在机器数据盘总大小33TB,故障时磁盘剩余空间1.1TB. [root@redhat76-greatdb greatdb]# df -h Filesystem Size Used Avail Use% M

故障现象 2016.1.1号早上4点左右,zabbi数据库服务器报警,写入数据失败.登陆机器后检查发现磁盘空间使用95%没有用满,进去zabbix数据库,执行insert命令提示错误“errir 1030(HY000):got error 28 from storage engine”.    前提 zabbix数据库由于超大的写入量,我们使用tokudb存储引擎来存储,此引擎有强大的压缩比,写入性能也非常不错,适合zabbix数据库场景.   故障调查 1)检查错误日志,发现有如下 Versi

zabbix数据量大,数据量增长很快,使用tokudb可以更好的压缩 使用tokudb,用percona 或mariadb数据库 1.查看数据库版本 (1)登录数据库的时候可以看到 (2)status (3)查看安装的软件包 2.TokuDB has been included with MariaDB since MariaDB 5.5.34 and MariaDB 10.0.6 and does not require separate installation. tokudb已经集成到了m

前言:因为现在tokuDB直接整合到Percona server里面了,下载页面直接跳转到下载Percona Server 页面了.安装方法跟以前不一样了,下面就来看一下新版本怎么安装了 ##准备阶段就不说了, #首先配置文件不能先有tokudb相关配置,因为默认是没有启用这个引擎,所以得初始化安装成功之后,启动MySQL之后才能安装该引擎. [root@node12 mysql]# ./scripts/mysql_install_db --user=mysql --basedir=/usr/l

前言:TokuDB 是一个高性能.支持事务处理的 MySQL 和 MariaDB 的存储引擎.TokuDB 的主要特点是高压缩比,高 INSERT 性能,支持大多数在线修改索引.添加字段,非常适合日志型应用场景(只有insert,select,少update),下面就来看一下安装步骤 1.解压缩包   tar xvf Percona-Server-5.6.24-rel72.2-TokuDB.Linux.x86_64.ssl098e.tar.gz   cd Percona-Server-5.6.2

innodb引擎的数据库可以使用mysqldump备份,如果表很大几十个G甚至上百G,显示用mysqldump备份会非常慢.然后使用xtrabackup 可以很快的在线备份innodb数据库.InnoDB 有个商业的InnoDB Hotbackup,可以对InnoDB引擎的表实现在线热备.而 percona出品的Xtrabackup,是InnoDB Hotbackup的一个开源替代品,可以在线对InnoDB/XtraDB引擎的表进行物理备份. innobackupex是参考了InnoDB Hot

1.安装工作 cd /usr/local/softwareyum install -y glib2-devel  zlib-devel pcre-develwget https://launchpad.net/mydumper/0.9/0.9.1/+download/mydumper-0.9.1.tar.gztar -xzvf mydumper-0.9.1.tar.gz cd mydumper-0.9.1cmake .make && make install 2. time /root/m

背景: 关于物理备份工具xtrabackup的一些说明可以先看之前写过的文章说明:XtraBackup 安装使用和xtrabackup 使用说明(续),本篇文章将介绍xtrabackup在使用中的注意事项和如何全量.增量备份和恢复,包含TokuDB.由于物理备份消耗的空间比较大,所以在工作中一直使用mydumper进行备份,通过逻辑备份虽然空间使用上又很大改善,但是由于还原的时候需要消耗很长时间才能使用,也非常令人头疼.现在准备在生产环境中使用XtraBackup,记录使用中的一些注意事项. 安

线上的数据增长越来越快,数据量的增长也愈来愈大,尤其是日志类数据,这对于数据迁移.数据备份恢复而言,都是一个非常大的挑战. 于是想到了 13 年开源 tokuDB 存储引擎,来解决我们迫在眉睫的容量问题. TokuDB 是一个高性能.支持事务处理的 MySQL 和 MariaDB 的存储引擎.TokuDB 的主要特点是高压缩比,高 INSERT 性能,支持大多数在线修改索引.添加字段,特别适合像 Zabbix 这种高 INSERT,少 UPDATE 的应用场景. 由于在 Percona 5.6

mydumper是一个针对MySQL和Drizzle的高性能多线程的备份和恢复工具.此工具的开发人员分别来自MySQL.Fackbook.SkySQL公司,目前已经有一些大型产品业务测试并使用了该工具.我们在恢复数据库时也可以使用myloader工具. Mydumper的主要特性包括: 一.采用了轻量级C语言写的代码. 二.相比于mysqldump,其速度快了近10倍(有待测试) 三.具有事务性和非事务性表一致的快照(应用于0.2.2+) 四.可以快速进行文件压缩(File compressio

在安装MariaDB的时候了解到代替InnoDB的TokuDB,看简介非常的棒,这里对ToduDB做一个初步的整理,使用后再做更多的分享. 什么是TokuDB? 在MySQL最流行的支持全事务的引擎为INNODB.其特点是数据本身是用B-TREE来组织,数据本身即是庞大的根据主键聚簇的B-TREE索引. 所以在这点上,写入速度就会有些降低,因为要每次写入要用一次IO来做索引树的重排.特别是当数据量本身比内存大很多的情况下,CPU本身被磁盘IO纠缠的做不了其他事情了.这时我们要考虑如何减少对磁盘的

业务运用场景 数据基本不用update, 不频繁的范围查询 数据存储量较大(为以后准备) 选择占用磁盘较小的db 业务对数据库插入操作频繁,为避免影响其它业务,需要将直播业务的DB 独立出来,选择另外的db db类型分析(只做简单表达,有兴趣可以自行了解) sqlite 优点 整个数据库都包含在磁盘上的一个文件中,因此它有很好的迁移性 功能简约,小型化,追求最大磁盘效率 支持数据库大小至2TB 缺点 SQLite 的数据库权限只依赖于文件系统,没有用户帐户的概念, SQLite 的缺陷之一是它的

Mydumper主要特性:是一个针对MySQL的高性能多线程备份和恢复工具,开发人员主要来自MySQL,Facebook,SkySQL公司. 特性: 1:轻量级C语言写的 2:执行速度比mysqldump快10倍 3:事务性和非事务性表一致的快照(适用于0.2.2以上版本) 4:快速的文件压缩 5:支持导出binlog 6:多线程恢复(适用于0.2.1以上版本) 7:以守护进程的工作方式,定时快照和连续二进制日志(适用于0.5.0以上版本) 8:开源 (GNU GPLv3) 安装地址及安装方法:

ylbtech-MySQL-TokuDB:MySQL 高性能存储引擎:TokuDB 1.返回顶部 1. 在安装MariaDB的时候了解到代替InnoDB的TokuDB,看简介非常的棒,这里对ToduDB做一个初步的整理,使用后再做更多的分享. 什么是TokuDB? 在MySQL最流行的支持全事务的引擎为INNODB.其特点是数据本身是用B-TREE来组织,数据本身即是庞大的根据主键聚簇的B-TREE索引. 所以在这点上,写入速度就会有些降低,因为要每次写入要用一次IO来做索引树的重排.特别是当数

  mydumper是一个针对MySQL的高性能多线程备份和恢复工具,它提供了并发备份功能,备份效率有很大提高. 安装mydumper yum安装 # rpm -ivh https://github.com/maxbube/mydumper/releases/download/v0.9.5/mydumper-0.9.5-2.el7.x86_64.rpm 编译安装 # yum install glib2-devel mysql-devel zlib-devel pcre-devel openssl

1.冷备流程: 停库备份,冷备份一般用于非核心业务,这类业务一般都允许停库. 在停止数据库后,将数据文件拷贝出来,然后对原始数据文件进行备份. 流程: 1.关闭数据库备份          2.拷贝数据文件 3.压缩数据文件           4.重启数据库 2.热备 热备份分逻辑备份和物理备份.,逻辑备份的是SQL语句,将数据库里面的数据,转储为SQL文件. 在线备份,一般是使用mysqldump和xtrabackup进行备份和恢复 Mysqldump适合规模比较小的库,业务并不繁忙的数据库