TokuDB是Tokutek公司开发的基于ft-index(Fractal Tree Index)键值对的存储引擎。

它使用索引加快查询速度,具有高扩展性,并支持hot scheme modification,具有以下特点:

1. 插入性能快20~80倍;

2. 压缩数据减少存储空间;

3. 数据量可以扩展到几个TB;

4. 不会产生索引碎片;

5. 支持hot column addition,hot indexing,mvcc

适用场景:

1. 如果你要存储blob,不要使用TokuDB,因为它限制记录不能太大;

2. 如果你的记录数量过亿,使用TokuDB;

3. 如果你注重update的性能,不要使用TokuDB,它没有Innodb快;

4. 如果你要存储旧的记录,使用TokuDB;

5. 如果你想要缩小数据占用的存储空间,使用TokuDB;

下面看看TokuDB与InnoDB的对比情况,

注:上述总结和性能数据来源于淘宝梁智超的《RethinkDB-&-TokuDB调研测试报告.pptx》

关于TokuDB和InnoDB性能压测报告,可参考:

https://www.percona.com/blog/2016/02/01/innodb-and-tokudb-on-aws/

以下安装基于Percona 5.6.31-77.0

安装libjemalloc库

该库在EPEL中有提供

# wget http://dl.fedoraproject.org/pub/epel/epel-release-latest-6.noarch.rpm

# rpm -ivh epel-release-latest-6.noarch.rpm

# yum install jemalloc -y

通过yum安装,生成的库文件为/usr/lib64/libjemalloc.so.1

[root@localhost ~]# rpm -qa |grep jemalloc
jemalloc-3.6.-.el6.x86_64
[root@localhost ~]# rpm -ql jemalloc-3.6.-.el6.x86_64
/usr/bin/jemalloc.sh
/usr/lib64/libjemalloc.so.1
/usr/share/doc/jemalloc-3.6.
/usr/share/doc/jemalloc-3.6./COPYING
/usr/share/doc/jemalloc-3.6./README
/usr/share/doc/jemalloc-3.6./VERSION
/usr/share/doc/jemalloc-3.6./jemalloc.html

修改配置文件my.cnf

在[mysqld_safe]下设置malloc-lib变量

malloc-lib=/usr/lib64/libjemalloc.so.

重启mysqld_safe进程

启动过程中,会输出以下信息:

 :: mysqld_safe Adding '/usr/lib64/libjemalloc.so.1' to LD_PRELOAD for mysqld

如果不安装该库的话,则在加载TokuDB插件时会报如下错误:

mysql> INSTALL PLUGIN tokudb SONAME 'ha_tokudb.so';
2016-08-10 16:25:02 1861 [ERROR] TokuDB is not initialized because jemalloc is not loaded
2016-08-10 16:25:02 1861 [ERROR] Plugin 'TokuDB' init function returned error.
2016-08-10 16:25:02 1861 [ERROR] Plugin 'TokuDB' registration as a STORAGE ENGINE failed.
2016-08-10 16:25:02 1861 [Note] Shutting down plugin 'TokuDB'
ERROR 1123 (HY000): Can't initialize function 'tokudb'; Plugin initialization function failed.

禁用Transparent huge pages

查看当前内核是否已启用Transparent huge pages

# cat /sys/kernel/mm/transparent_hugepage/enabled
[always] madvise never

always代表已启用

如何禁用呢?

echo never > /sys/kernel/mm/transparent_hugepage/enabled
echo never > /sys/kernel/mm/transparent_hugepage/defrag

如果没有禁用的话,在后续安装插件的时候会报错:

mysql> INSTALL PLUGIN tokudb SONAME 'ha_tokudb.so';
ERROR 1123 (HY000): Can't initialize function 'tokudb'; Plugin initialization function failed.

并且,错误日志中打印如下信息:

-- ::  [ERROR] TokuDB: Huge pages are enabled, disable them before continuing

-- ::  [ERROR] ************************************************************
-- :: [ERROR]
-- :: [ERROR] @@@@@@@@@@@
-- :: [ERROR] @@' '@@
-- :: [ERROR] @@ _ _ @@
-- :: [ERROR] | (.) (.) |
-- :: [ERROR] | (.) (.) |
-- :: [ERROR] | ` |
-- :: [ERROR] | > ' |
-- :: [ERROR] | .----. |
-- :: [ERROR] .. |.----.| ..
-- :: [ERROR] .. ' ' ..
-- :: [ERROR] .._______,.
-- :: [ERROR]
-- :: [ERROR] TokuDB will not run with transparent huge pages enabled.
-- :: [ERROR] Please disable them to continue.
-- :: [ERROR] (echo never > /sys/kernel/mm/transparent_hugepage/enabled)
-- :: [ERROR]
-- :: [ERROR] ************************************************************
-- :: [ERROR] Plugin 'TokuDB' init function returned error.
-- :: [ERROR] Plugin 'TokuDB' registration as a STORAGE ENGINE failed.
-- :: [Note] Shutting down plugin 'TokuDB'

启用TokuDB

Percona是5.6.17-66.0将TokuDB插件引入到自己的二进制版本中,5.6.19-67.0起才能作为GA版本使用。5.6.22-72.0起开发了一个脚本ps_tokudb_admin来简化TokuDB的安装工作。

首先,来看看TokuDB如何手动安装

主要是加载插件,TokuDB插件名为ha_tokudb.so,默认放到plugin_dir下。

登录mysql客户端,执行如下命令

INSTALL PLUGIN tokudb SONAME 'ha_tokudb.so';
INSTALL PLUGIN tokudb_file_map SONAME 'ha_tokudb.so';
INSTALL PLUGIN tokudb_fractal_tree_info SONAME 'ha_tokudb.so';
INSTALL PLUGIN tokudb_fractal_tree_block_map SONAME 'ha_tokudb.so';
INSTALL PLUGIN tokudb_trx SONAME 'ha_tokudb.so';
INSTALL PLUGIN tokudb_locks SONAME 'ha_tokudb.so';
INSTALL PLUGIN tokudb_lock_waits SONAME 'ha_tokudb.so';
INSTALL PLUGIN tokudb_background_job_status SONAME 'ha_tokudb.so';

查看插件是否加载成功

mysql> show engines;

| TokuDB             | YES     | Percona TokuDB Storage Engine with Fractal Tree(tm) Technology             | YES          | YES  | YES        |

mysql> show plugins;

| TokuDB                        | ACTIVE   | STORAGE ENGINE     | ha_tokudb.so | GPL     |
| TokuDB_file_map | ACTIVE | INFORMATION SCHEMA | ha_tokudb.so | GPL |
| TokuDB_fractal_tree_info | ACTIVE | INFORMATION SCHEMA | ha_tokudb.so | GPL |
| TokuDB_fractal_tree_block_map | ACTIVE | INFORMATION SCHEMA | ha_tokudb.so | GPL |
| TokuDB_trx | ACTIVE | INFORMATION SCHEMA | ha_tokudb.so | GPL |
| TokuDB_locks | ACTIVE | INFORMATION SCHEMA | ha_tokudb.so | GPL |
| TokuDB_lock_waits | ACTIVE | INFORMATION SCHEMA | ha_tokudb.so | GPL |
| TokuDB_background_job_status | ACTIVE | INFORMATION SCHEMA | ha_tokudb.so | GPL |

创建一张表,测试一下

mysql> create table test.test(id int) engine=tokudb;
Query OK, 0 rows affected (0.23 sec)

至此,TokuDB手动安装完毕~

脚本安装

其实,Percona官方在5.6.22-72.0版本中提供了一个脚本,可用于自动安装TokuDB插件,涉及的操作包括禁用透明大页,加载插件。

该脚本在二进制包的bin目录下。

[root@localhost bin]# ./ps_tokudb_admin --help
This script is used for installing and uninstalling TokuDB plugin for Percona Server 5.6.
It can also be used to install or uninstall the Percona TokuBackup plugin (requires mysql server restart).
If transparent huge pages are enabled on the system it adds thp-setting=never option to my.cnf
to disable it on runtime. Valid options are:
--user=user_name, -u user_name mysql admin username
--password[=password], -p[password] mysql admin password (on empty will prompt to enter)
--socket=path, -S path the socket file to use for connection
--host=host_name, -h host_name connect to given host
--port=port_num, -P port_num port number to use for connection
--defaults-file=file specify defaults file instead of guessing
--enable, -e enable TokuDB plugin and disable transparent huge pages in my.cnf
--enable-backup, -b enable Percona TokuBackup and add preload-hotbackup option to my.cnf
(this option includes --enable option)
--disable, d disable TokuDB plugin and remove thp-setting=never option in my.cnf
(this option includes --disable-backup option)
--disable-backup, r disable Percona TokuBackup and remove preload-hotbackup option in my.cnf
--help show this help For TokuDB requirements and manual steps for installation please visit this webpage:
http://www.percona.com/doc/percona-server/5.6/tokudb/tokudb_installation.html

该脚本是用shell写的,参数也比较简单,其中,--enable-backup还包括安装TokuDB在线热备插件。

脚本安装过程如下

 ./ps_tokudb_admin --enable --host=127.0.0.1 --port= --user=root -p
Enter password:
Continuing without password... Checking SELinux status...
INFO: SELinux is disabled. Checking if Percona Server is running with jemalloc enabled...
INFO: Percona Server is running with jemalloc enabled. Checking transparent huge pages status on the system...
INFO: Transparent huge pages are currently disabled on the system. Checking if thp-setting=never option is already set in config file...
INFO: Option thp-setting=never is set in the config file. Checking TokuDB engine plugin status...
INFO: TokuDB engine plugin is installed.

总结

TokuDB最新版本是7.5.7,实际上现在是以插件的形式包含在Percona二进制发行版中。但该插件并不能直接在MySQL社区版中使用。

TokuDB基于MySQL 5.5.30源码,重新打包了个二进制版本,mysql-5.5.30-tokudb-7.1.0-linux-x86_64.tar.gz,基于TokuDB 7.1.0。

但也仅限如此,MySQL 5.6和5.7的社区版中并不能直接使用TokuDB插件。

以后若要使用较新版本的MySQL和TokuDB,只能使用Percona版本的。

下面是官档中的说明

Please note that Tokutek made some changes to the MySQL source that are required to either fix bugs or aid in performance, so if you are compiling from source you must use the Tokutek version of MySQL that is based on the MySQL 5.5. source.

参考

1. https://www.percona.com/blog/2013/07/02/tokumx-fractal-treer-indexes-what-are-they/

2. http://dbaplus.cn/news-21-418-1.html

3. https://www.izhangheng.com/highly-scalable-storage-engine-tokudb

TokuDB存储引擎的更多相关文章

  1. 你需要知道的MySQL开源存储引擎TokuDB

    在四月份的Percona Live MySQL会议上, TokuDB庆祝自己成为开源存储引擎整一周年.我现在仍能记得一年前它刚创建时的官方声明与对它的期望.当时的情况非常有意思,因为它拥有帮助MySQ ...

  2. MySQL 高性能存储引擎:TokuDB初探

    在安装MariaDB的时候了解到代替InnoDB的TokuDB,看简介非常的棒,这里对ToduDB做一个初步的整理,使用后再做更多的分享. 什么是TokuDB? 在MySQL最流行的支持全事务的引擎为 ...

  3. MySQL-TokuDB:MySQL 高性能存储引擎:TokuDB

    ylbtech-MySQL-TokuDB:MySQL 高性能存储引擎:TokuDB 1.返回顶部 1. 在安装MariaDB的时候了解到代替InnoDB的TokuDB,看简介非常的棒,这里对ToduD ...

  4. 20160924-1——mysql存储引擎

    一.主要存储引擎 5.5以后的版本,默认存储引擎从myisam改成了innodb:线上推荐都用innodb 二.innodb存储引擎 (一)结构 INNODB存储引擎大致分三部分,图中已经(1)(2) ...

  5. Mysql存储引擎之TokuDB以及它的数据结构Fractal tree(分形树)

    在目前的Mysql数据库中,使用最广泛的是innodb存储引擎.innodb确实是个很不错的存储引擎,就连高性能Mysql里都说了,如果不是有什么很特别的要求,innodb就是最好的选择.当然,这偏文 ...

  6. 主流存储引擎详解:Innodb,Tokudb、Memory、MYISAM、Federated

    主流存储引擎: Innodb:推荐使用,主力引擎,使用99%以上的场景 Tokudb:高速写入使用,日用量大量写入eg:500G可压缩为50G.适用于访问日志的写入,相对MYISAM有事务性,相对于I ...

  7. NewSQL——优化的SQL存储引擎(TokuDB, MemSQL)+?

    NewSQL 是对各种新的可扩展/高性能数据库的简称,这类数据库不仅具有NoSQL对海量数据的存储管理能力,还保持了传统数据库支持ACID和SQL等特性. NewSQL 是指这样一类新式的关系型数据库 ...

  8. 试用阿里云RDS的MySQL压缩存储引擎TokuDB

    以前就用过自己搭建MySQL服务器的两种存储引擎MyISAM和InnoDB(也用过一点Memory方式),在今年初转向阿里云关系型数据库服务RDS的时候,看到可调参数中有一个TokuDB,不过不太了解 ...

  9. mysql不同版本和存储引擎选型的验证

    Mysql的版本和存储引擎较多,为了选择最适合业务使用的系统,需要进行一定的验证,本文描述mysql的验证过程和思路. 主要涉及: Mysql的版本 v Mariadb v Tokudb v Orac ...

随机推荐

  1. ASP.NET Aries 入门开发教程1:框架下载与运行

    背景: 鉴于框架的使用者越来越多,文档太少,不少用户反映框架的入门门槛太高. 好吧,再辛苦下,抽时间写教程吧! 步骤1:下载框架源码 开源地址:https://github.com/cyq1162/A ...

  2. [.NET] C# 知识回顾 - 事件入门

    C# 知识回顾 - 事件入门 [博主]反骨仔 [原文]http://www.cnblogs.com/liqingwen/p/6057301.html 序 之前通过<C# 知识回顾 - 委托 de ...

  3. 如何安全的将VMware vCenter Server使用的SQL Server Express数据库平滑升级到完整版

    背景: 由于建设初期使用的vSphere vCenter for Windows版,其中安装自动化过程中会使用SQL Server Express的免费版数据库进行基础环境构建.而此时随着业务量的增加 ...

  4. GOF23设计模式归类

    创建型模式:-单例模式.工厂模式.抽象工厂模式.建造者模式.原型模式结构型模式:-适配器模式.桥接模式.装饰模式.组合模式.外观模式.享元模式.代理模式行为型模式:-模板方法模式.命令模式.迭代器模式 ...

  5. iOS开发 适配iOS10

    2016年9月7日,苹果发布iOS 10.2016年9月14日,全新的操作系统iOS 10将正式上线. 作为开发者,如何适配iOS10呢? 1.Notification(通知) 自从Notificat ...

  6. 说说BPM数据表和日志表中几个状态字段的详细解释

    有个客户说需要根据这些字段的值作为判断条件做一些定制化需求,所以需要知道这些字段的名词解释,以及里面存储的值具体代表什么意思 我只好为你们整理奉上这些了! Open Work Sheet  0 Sav ...

  7. .net core和angular2之前端篇—1

    2016-10-20更新 今天的这篇文章还是一篇"Hello World",只不过开发环境有所改变--Visual Studio Code+Angular2+Webapck,也算是 ...

  8. 自定义ConfigSection

      CCustom configuration section with intelisense

  9. 在Mac OS X上安装ASP.NET 5(译文)

    ASP.NET 5 运行在包括OS X的可用于多个平台的.NET Execution Environment(DNX)上.本文介绍如何在OS X上通过HomeBrew安装DNX和ASP.NET 5. ...

  10. 【腾讯Bugly干货分享】WebVR如此近-three.js的WebVR示例解析

    本文来自于腾讯bugly开发者社区,非经作者同意,请勿转载,原文地址:http://dev.qq.com/topic/57c7ff1689a6c9121b1adb16 作者:苏晏烨 关于WebVR 最 ...