最近工作中需要测试数据库的OLTP的性能,参考了下MariaDB的benchmark中的测试脚本,发现脚本中已经使用了Sysbench-0.5,可以在这里https://launchpad.net/sysbench 拉下来trunk,这就是传说中的0.5版本。

1. 编译安装

 Shell>pwd

 /home/nocode

 Shell> bzr branch lp:~sysbench-developers/sysbench/0.5  sysbench

 Shell> cd sysbench

 Shell> ./autogen.sh

 Shell> ./configure

 Shell> make

 Shell> sudo make install

2. 使用

 Shell>pwd

 /home/nocode/sysbench/sysbench

 Shell>./sysbench --num-threads= --test=./tests/db/oltp.lua --oltp-table-size= --oltp-tables-count=  --mysql-host=127.0.0.1 --mysql-port= --mysql-user=root --mysql-password= --mysql-db=test prepare

 Shell>./sysbench --num-threads= --test=./tests/db/oltp.lua --oltp-table-size= --oltp-tables-count= --report-interval= --mysql-host=127.0.0.1 --mysql-port= --mysql-user=root --mysql-password= --mysql-db=test run

 Shell>./sysbench --num-threads= --test=./tests/db/oltp.lua --oltp-table-size= --oltp-tables-count=  --mysql-host=127.0.0.1 --mysql-port= --mysql-user=root --mysql-password= --mysql-db=test cleanup

3. Sysbench分析

这里可以看出来--test参数的值有所变化,在之前的版本,--test取值如下

Compiled-in tests:
fileio - File I/O test
cpu - CPU performance test
memory - Memory functions speed test
threads - Threads subsystem performance test
mutex - Mutex performance test
oltp - OLTP test

新版本的test的取值是lua脚本,我们看下test/db/下都有哪些脚本:

Shell>ls
common.lua Makefile.am parallel_prepare.lua update_index.lua
delete.lua Makefile.in select.lua update_non_index.lua
insert.lua oltp.lua select_random_points.lua
Makefile oltp_simple.lua select_random_ranges.lua

这些脚本大部分都是可以作为test的取值的,这就是新版本有别于之前版本的最大区别,我们可以自己定义lua脚本,

进行定制化的测试,而不需要去修改sysbench的代码,重新编译再进行测试。

我们首先看下common.lua,这个文件并非是测试文件,而是用于prepare和cleanup,当然还包括参数的读取。

先看下一下这个脚本里面的prepare:

 function prepare()
local query
local i
local j set_vars() db_connect()
for i = ,oltp_tables_count do
create_insert(i)
end return
end

prepare函数调用create_insert函数来创建表并插入数据。cleanup函数用来DROP TABLE,如下所示。

function cleanup()
local i set_vars() for i = ,oltp_tables_count do
print("Dropping table 'sbtest" .. i .. "'...")
db_query("DROP TABLE sbtest".. i )
end
end

下面我们看下oltp.lua文件,这里面有两个函数,一个初始化函数:thread_init,用于初始化每个线程的参数

function thread_init(thread_id)
set_vars() if (db_driver == "mysql" and mysql_table_engine == "myisam") then
begin_query = "LOCK TABLES sbtest WRITE"
commit_query = "UNLOCK TABLES"
else
begin_query = "BEGIN"
commit_query = "COMMIT"
end end

这个初始化函数主要是调用了common.lua里面的set_vars函数,来初始化oltp相关的参数,如oltp_range_size,oltp_sum_ranges等等,

这些参数都是用来控制一个T(Transaction)里面语句的类型和个数的。所谓的TPS值的高低也和这些值有关系,一个T的语句越少,越简单,

TPS的值就会越高,相反,如果一个T里面语句多,语句复杂,那么TPS必然降低。我们来具体看下每个事务执行哪些语句,这就是函数event做的事情。

我们看下这个函数里面的典型代码:

if not oltp_skip_trx then
db_query(begin_query)
end for i=, oltp_point_selects do
rs = db_query("SELECT c FROM ".. table_name .." WHERE id=" .. sb_rand(, o ltp_table_size))
end for i=, oltp_simple_ranges do
range_start = sb_rand(, oltp_table_size)
rs = db_query("SELECT c FROM ".. table_name .." WHERE id BETWEEN " .. rang e_start .. " AND " .. range_start .. "+" .. oltp_range_size - )
end

根据oltp_skip_trx来决定是否启用事务,然后根据oltp_point_selects来决定点查询语句的个数,oltp_simple_rannges来确定范围查询语句的个数。

4. 定制脚本

默认的sysbench在prepare的时候是使用的多行插入,而我的测试需要使用单行插入来完成初始化。

故这里需要对common.lua中的create_insert函数进行修改。需要添加一个参数oltp_bulk_insert来决定是否使用多行插入,

同时需要修改相应的INSERT语句,看下面的patch就一目了然了。

Shell>bzr diff
=== modified file 'sysbench/tests/db/common.lua'
--- sysbench/tests/db/common.lua 2011-12-01 19:43:29 +0000
+++ sysbench/tests/db/common.lua -- :: +
@@ -, +, @@
CREATE TABLE sbtest]] .. i .. [[ (
id INTEGER UNSIGNED NOT NULL ]] ..
((oltp_auto_inc and "AUTO_INCREMENT") or "") .. [[,
-k INTEGER UNSIGNED DEFAULT '0' NOT NULL,
+k INTEGER UNSIGNED DEFAULT '0' NOT NULL, KEY(k),
c CHAR(120) DEFAULT '' NOT NULL,
pad CHAR(60) DEFAULT '' NOT NULL,
]] .. index_name .. [[ (id)
@@ -58,14 +58,18 @@ db_query(query) - db_query("CREATE INDEX k_" .. i .. " on sbtest" .. i .. "(k)")
+ if (db_driver ~= "mysql") then
+ db_query("CREATE INDEX k_" .. i .. " on sbtest" .. i .. "(k)")
+ end print("Inserting " .. oltp_table_size .. " records into 'sbtest" .. i .. "'") - if (oltp_auto_inc) then
- db_bulk_insert_init("INSERT INTO sbtest" .. i .. "(k, c, pad) VALUES")
- else
- db_bulk_insert_init("INSERT INTO sbtest" .. i .. "(id, k, c, pad) VALUES")
+ if (oltp_bulk_insert) then
+ if (oltp_auto_inc) then
+ db_bulk_insert_init("INSERT INTO sbtest" .. i .. "(k, c, pad) VALUES")
+ else
+ db_bulk_insert_init("INSERT INTO sbtest" .. i .. "(id, k, c, pad) VALUES")
+ end
end local c_val
@@ -79,13 +83,21 @@
pad_val = sb_rand_str([[
###########-###########-###########-###########-###########]]) - if (oltp_auto_inc) then
- db_bulk_insert_next("(" .. sb_rand(, oltp_table_size) .. ", '".. c_val .."', '" .. pad_val .. "')")
+ if (oltp_bulk_insert) then
+ if (oltp_auto_inc) then
+ db_bulk_insert_next("(" .. sb_rand(, oltp_table_size) .. ", '".. c_val .."', '" .. pad_val .. "')")
+ else
+ db_bulk_insert_next("("..j.."," .. sb_rand(, oltp_table_size) .. ",'".. c_val .."', '" .. pad_val .. "' )")
+ end
else
- db_bulk_insert_next("("..j.."," .. sb_rand(, oltp_table_size) .. ",'".. c_val .."', '" .. pad_val .. "' )")
+ if (oltp_auto_inc) then
+ db_query("INSERT INTO sbtest" .. i .. "(k, c, pad) VALUES(" .. sb_rand(, oltp_table_size) .. ", '".. c_val .."', '" .. pad_val .. "')")
+ else
+ db_query("INSERT INTO sbtest" .. i .. "(id, k, c, pad) VALUES(" ..j.."," .. sb_rand(, oltp_table_size) .. ", '".. c_val .."', '" .. pad_val .. "')")
+ end
end
+
end
-
db_bulk_insert_done()
@@ -, +, @@
oltp_skip_trx = false
end + if (oltp_bulk_insert == 'off') then
+ oltp_bulk_insert = false
+ else
+ oltp_bulk_insert = true
+ end
+
end

5. 小结

sysbench-0.5使用脚本来决定测试语句,比之前在代码里写死测试更加方便用户修改和使用,不需要去修改源程序,只需要修改相应的lua脚本,

即可定制不同的测试用例,真心不错。

Sysbench0.5初体验的更多相关文章

  1. .NET平台开源项目速览(15)文档数据库RavenDB-介绍与初体验

    不知不觉,“.NET平台开源项目速览“系列文章已经15篇了,每一篇都非常受欢迎,可能技术水平不高,但足够入门了.虽然工作很忙,但还是会抽空把自己知道的,已经平时遇到的好的开源项目分享出来.今天就给大家 ...

  2. Xamarin+Prism开发详解四:简单Mac OS 虚拟机安装方法与Visual Studio for Mac 初体验

    Mac OS 虚拟机安装方法 最近把自己的电脑升级了一下SSD固态硬盘,总算是有容量安装Mac 虚拟机了!经过心碎的安装探索,尝试了国内外的各种安装方法,最后在youtube上找到了一个好方法. 简单 ...

  3. Spring之初体验

                                     Spring之初体验 Spring是一个轻量级的Java Web开发框架,以IoC(Inverse of Control 控制反转)和 ...

  4. Xamarin.iOS开发初体验

    aaarticlea/png;base64,iVBORw0KGgoAAAANSUhEUgAAAKwAAAA+CAIAAAA5/WfHAAAJrklEQVR4nO2c/VdTRxrH+wfdU84pW0

  5. 【腾讯Bugly干货分享】基于 Webpack & Vue & Vue-Router 的 SPA 初体验

    本文来自于腾讯bugly开发者社区,非经作者同意,请勿转载,原文地址:http://dev.qq.com/topic/57d13a57132ff21c38110186 导语 最近这几年的前端圈子,由于 ...

  6. 【Knockout.js 学习体验之旅】(1)ko初体验

    前言 什么,你现在还在看knockout.js?这货都已经落后主流一千年了!赶紧去学Angular.React啊,再不赶紧的话,他们也要变out了哦.身旁的90后小伙伴,嘴里还塞着山东的狗不理大蒜包, ...

  7. 在同一个硬盘上安装多个 Linux 发行版及 Fedora 21 、Fedora 22 初体验

    在同一个硬盘上安装多个 Linux 发行版 以前对多个 Linux 发行版的折腾主要是在虚拟机上完成.我的桌面电脑性能比较强大,玩玩虚拟机没啥问题,但是笔记本电脑就不行了.要在我的笔记本电脑上折腾多个 ...

  8. 百度EChart3初体验

    由于项目需要在首页搞一个订单数量的走势图,经过多方查找,体验,感觉ECharts不错,封装的很细,我们只需要看自己需要那种类型的图表,搞定好自己的json数据就OK.至于说如何体现出来,官网的教程很详 ...

  9. Python导出Excel为Lua/Json/Xml实例教程(二):xlrd初体验

    Python导出Excel为Lua/Json/Xml实例教程(二):xlrd初体验 相关链接: Python导出Excel为Lua/Json/Xml实例教程(一):初识Python Python导出E ...

随机推荐

  1. [ Laravel 5.5 文档 ] 底层原理 —— 一次 Laravel 请求的生命周期

     Posted on 2018年3月5日 by  学院君 简介 当我们使用现实世界中的任何工具时,如果理解了该工具的工作原理,那么用起来就会得心应手,应用开发也是如此.当你理解了开发工具如何工作,用起 ...

  2. 《JavaScript高级程序设计》笔记

    1. 当在函数内部定义了其他函数时,就创建了闭包.闭包有权访问包含函数内部的所有变量. 2. 闭包可以分隔变量空间,不会占用全局空间而造成相互间的干拢.使用闭包可以在JavaScript中模仿块级作用 ...

  3. delphi 数据库技术沉浮录--谨给成为历史的BDE

    2014年9月,delphi xe7 出来了,这次在数据库技术方面,彻底抛掉了从1995 年 delphi 1.0 就自带的(Borland Database Engine)数据库访问技术.从而宣告了 ...

  4. 2018.09.24 bzoj1867: [Noi1999]钉子和小球(概率dp)

    传送门 概率dp经典题. 如果当前位置(i,j)(i,j)(i,j)有钉子,那么掉到(i+1,j),(i+1,j+1)(i+1,j),(i+1,j+1)(i+1,j),(i+1,j+1)的概率都是1/ ...

  5. 2018.09.21 codeforces1051D. Bicolorings(线性dp)

    传送门 sb线性DP. f[i][j][0/1/2/3]f[i][j][0/1/2/3]f[i][j][0/1/2/3]表示前i列j个连通块且第i列状态为00/01/10/11时的方案总数. 这个显然 ...

  6. 数据库面试sql

    问题一:.有三张表,学生表S,课程表C,学生课程表SC 01:写出建表语句 答: create table s(id integer primary key,name varchar(20)); cr ...

  7. where /group by/ having/ order by/

    1.order by 是 按字段 进行排序.. 字段后面可跟 desc 降序..asc 升序..默认为升序2.group by 是进行分组 查询3.having 和 where 都属于 条件过滤 区别 ...

  8. SAX, JSON , DOM 数据解析

    //解析:将特定数据格式(如:xml,json)中提取出来所需的内容 //SAX: Simply API for XML, xml解析的一种方式,逐行解析,读一行内容,取一行内容,速度慢,占用内存小, ...

  9. 常用的SLAM解决方案

    ORB SLAM 可以去Github上自己搜索现成的SLAM程序包 在此基础上做优化 视觉SLAM的分类方法:按摄像头的多少分为单目和双目,按是否使用概率方法分为概率法和图法 链接 学习SLAM重要的 ...

  10. Ansible基本命令

    Ansible安装完成之后就自带很多命令,其中较常用的有7个: ansible ansible-doc ansible-galaxy ansible-init ansible-playbook ans ...