[数据库]000 - 🍳Sysbench 数据库压力测试工具
000 - Sysbench 数据库压力测试工具
sysbench
是一个开源的、模块化的、跨平台的多线程性能测试工具,可以用来进行CPU、内存、磁盘I/O
、线程、数据库的性能测试。目前支持的数据库有MySQL
、Oracle
和PostgreSQL
。以下操作都将以支持MySQL
数据库为例进行。
1. Linux 上安装 sysbench 工具
- 安装方式有两种,一种是通过
yum
/apt
等来安装,另一种自己下载源码包来安装,笔者这里采用的是centos
,采用yum
安装 sysbench
的源码包下载地址: http://sourceforge.net/projects/sysbench ,采用源码安装的可转这里- 通过
yum
安装如下:- 设置
yum repo
仓库
- 设置
curl -s https://packagecloud.io/install/repositories/akopytov/sysbench/script.rpm.sh | sudo bash
- 安装
sudo yum -y install sysbench
- 安装完检查是否成功
sysbench --version
2. 数据库测试用例准备
- 我们这里测试的是
MySQL
,首先我们在数据库创建一个专门用来测试的库test_db
- 通过
sysbench
创建20个测试表,每个表中创建100万数据,再通过10个线程对测试库发起访问,持续5分钟,对其进行压测
3. sysbench 构建表与数据
- 执行下面命令准备数据
sysbench --db-driver=mysql --time=300 --threads=10 --report-interval=1 --mysql-host=192.168.56.10 --mysql-port=3306 --mysql-user=root --mysql-password=root --mysql-db=test_db --tables=20 --table_size=1000000 oltp_read_write --db-ps-mode=disable prepare
- 上面命令的参数说明:
--db-driver=mysql
: 表示数据库的驱动类型,我们使用的是MySQL
所以填mysql
,如果使用Oracle
则填写相应的oracle
--time=300
: 这个参数表示持续访问的时间 300秒--threads=10
: 表示使用10个线程模拟并发访问--report-interval=1
: 表示每隔一秒输出以此压测情况--mysql-host=192.168.56.10 --mysql-port=3306 --mysql-user=root --mysql-password=root
: 这一块的配置,就是基本的数据库链接信息,指定数据库IP
,端口,账号密码--mysql-db=test_db --tables=20 --table_size=1000000
: 这三个参数设置,表示指定测试的库为test_db
, 同时在这个库中构建20个表,并且每个表中构建出 100万条测试数据,表的名字会类似sbtest1
,sbtest2
这种格式oltp_read_write
: 表示执行oltp
数据库的读写测试--db-ps-mode=disable
: 禁止ps
模式prepare
: 表示按照命令设置去构建出我们的数据,也就是对前面所有命令的执行方案
4. 全方位测试
1. 综合读写测试
- 测试数据库的综合读写
TPS
,使用oltp_read_write
模式
sysbench --db-driver=mysql --time=300 --threads=10 --report-interval=1 --mysql-host=192.168.56.10 --mysql-port=3306 --mysql-user=root --mysql-password=root --mysql-db=test_db --tables=20 --table_size=1000000 oltp_read_write --db-ps-mode=disable run
注意:命令最后不再是 之前的 prepare,这里是 run ,表示运行压测,前面的是准备数据
- 效果
- 上面是直接输出到控制台,我们也可以将其全部记录在文件中,通过管道,
| tee /tmp/mysysbench.log
整个命令如下:
sysbench --db-driver=mysql --time=300 --threads=10 --report-interval=1 --mysql-host=192.168.56.10 --mysql-port=3306 --mysql-user=root --mysql-password=root --mysql-db=test_db --tables=20 --table_size=1000000 oltp_read_write --db-ps-mode=disable run | tee /tmp/mysysbench.log
2. 只读性能测试
- 测试数据库的只读性能,使用
oltp_read_only
模式,命令如下:
sysbench --db-driver=mysql --time=300 --threads=10 --report-interval=1 --mysql-host=192.168.56.10 --mysql-port=3306 --mysql-user=root --mysql-password=root --mysql-db=test_db --tables=20 --table_size=1000000 oltp_read_only --db-ps-mode=disable run
- 结果:
- 如果要输出到文件如上
3. 删除性能测试
- 测试数据库的删除性能,使用模式:
oltp_delete
,命令如下:
sysbench --db-driver=mysql --time=300 --threads=10 --report-interval=1 --mysql-host=192.168.56.10 --mysql-port=3306 --mysql-user=root --mysql-password=root --mysql-db=test_db --tables=20 --table_size=1000000 oltp_delete --db-ps-mode=disable run
4. 更新索引字段测试
- 测试数据库的更新索引字段的性能,使用模式:
oltp_update_index
, 命令如下:
sysbench --db-driver=mysql --time=300 --threads=10 --report-interval=1 --mysql-host=192.168.56.10 --mysql-port=3306 --mysql-user=root --mysql-password=root --mysql-db=test_db --tables=20 --table_size=1000000 oltp_update_index --db-ps-mode=disable run
5. 更新非索引字段测试
- 测试数据库中更新非索引字段的性能,使用模式:
oltp_update_non_index
, 命令如下:
sysbench --db-driver=mysql --time=300 --threads=10 --report-interval=1 --mysql-host=192.168.56.10 --mysql-port=3306 --mysql-user=root --mysql-password=root --mysql-db=test_db --tables=20 --table_size=1000000 oltp_update_non_index --db-ps-mode=disable run
6. 插入性能测试
- 测试数据库的数据插入性能,使用模式:
oltp_insert
,命令如下:
sysbench --db-driver=mysql --time=300 --threads=10 --report-interval=1 --mysql-host=192.168.56.10 --mysql-port=3306 --mysql-user=root --mysql-password=root --mysql-db=test_db --tables=20 --table_size=1000000 oltp_insert --db-ps-mode=disable run
7. 写入性能测试
- 测试数据库的写入性能,使用模式:
oltp_write_only
, 命令如下:
sysbench --db-driver=mysql --time=300 --threads=10 --report-interval=1 --mysql-host=192.168.56.10 --mysql-port=3306 --mysql-user=root --mysql-password=root --mysql-db=test_db --tables=20 --table_size=1000000 oltp_write_only --db-ps-mode=disable run
8. 清理数据
- 前面命令进行了各种测试,在测试完之后我们可以通过下面的
cleanup
命令来清除构建的测试数据
sysbench --db-driver=mysql --time=300 --threads=10 --report-interval=1 --mysql-host=192.168.56.10 --mysql-port=3306 --mysql-user=root --mysql-password=root --mysql-db=test_db --tables=20 --table_size=1000000 oltp_read_write --db-ps-mode=disable cleanup
9. 压测结果分析
- 通过上面的命令我们可以全方位的得到测试的结果,我们直接每个一秒输出一次结果,在控制台会输出类似下面的东西:
[ 31s ] thds: 10 tps: 350.35 qps: 5575.50 (r/w/o: 4874.81/0.00/700.69) lat (ms,95%): 36.89 err/s: 0.00 reconn/s: 0.00
我们来解释一下其中的含义,首先
[31s]
表示这是在第31秒的时候输出的一段压测统计结果,其他字段如下:thds:10
: 表示当前有10
个线程正在压测tps:350.35
: 表示当前每秒执行了350.35
个事务qps:5575.50
: 表示当前每秒可以执行5575.50
个请求(r/w/o: 4874.81/0.00/700.69)
: 表示在每秒5575.50
个请求中,有4874.81
个读请求,0.00
个写请求,700.69
个其他请求,其实就是对qps
的细化lat (ms,95%): 36.89
:表示 95% 的请求的延迟都在36.89 毫秒以下err/s: 0.00 reconn/s: 0.00
:表示有0个请求失败,发生了0次的网络重连
在压测结束后会输出一个总的压测结果,如下:
- 其中的参数的解释:
10. 常用监控命令
- 在压测过程中我们要时刻关注服务器的
CPU
、磁盘I/O
、网络负载等信息,一旦发现任何一个超出一定负荷,则不适合再继续加大线程数来压测了 - 一定要注意,压测的过程是要保证机器各项指标在正常范围内的最大负载,而不是我们不断的增大
sysbench
的线程数,不关系其他指标,这样即使机器每秒抗住了很高的qps
,但是这时候的机器已经是满负荷运行了,内存,cpu
,网络带宽等都几乎被打满,这种情况机器随时可能挂掉,这时候的测压就没有什么代表性了,因为你不可能在生产者让它达到这样的负荷
观察 CPU 的的负荷
- 在
Linux
下最常见的命令就是top
命令,可以输出详细的情况,如下:
- 对于上面的输出,我们详细来分析一下,首先看第一行的输出
top - 16:24:21 up 13:41, 4 users, load average: 0.11, 3.10, 3.72
16:24:21
: 表示当前的时间up 13:41
:表示已经运行了多长时间4 users
:当前机器有几个用户在使用load average: 0.11, 3.10, 3.72
:这是核心。表示CPU
在 一分钟、五分钟、十五分钟 内的平均负载情况,简单解释一下,假设我们是一个四核的CPU
,此时如果我们的CPU
负载是0.15
,那么表示这四个核心中连一个核心都没使用满,表明整体比较空闲;如果整个负载是1,则表示四个核中有一个已经使用的比较繁忙了,但是其他三个还是比较空闲的;如果负载是4,则说明当前四个核心都处于跑满的状态,如果负载大于四,假设6,那说明四核的CPU
被超负荷使用也无法处理完当前的任务,有很多线程与要等待CPU
资源- 后面有内存的使用情况,
KiB Mem : 498684 total, 6216 free, 366620 used, 125848 buff/cache
498684 total
: 总的内存,差不多490M
6216 free
:当前可用内存,6M
366620 used
:已使用内存125848 buff/cache
:用于IO
缓冲的内存
磁盘IO检测
- 在检测
CPU
和内存使用的同时,我们还需要检测磁盘的使用状况,包括IO
吞吐量,IOPS
等信息 - 主要通过
dstat
命令来查看,如果系统没有装可以通过yum install dstat
进行安装 - 执行
dstat -d
命令,可以看到如下:
上面显示的内存可以看到存储的IO吞吐量的详细数据,每秒读
19M
数据,每秒写6521K
的数据,这个吞吐量并不是很高,一般普通的机械硬盘可以到达上百MB
的读写量
- 使用命令
dstat -r
来查看IOPS
的情况,如下:
如上面结果可以看到,读写分别的
IOPS
的值,也就是说随即磁盘读取/写入每秒多少次,通常来说磁盘的读写每秒在两三百次是可接受的
网卡流量检测
- 同样我们可以通过
dstat -n
来查看网卡的具体流量情况,如下:
可以看到上面所示,网卡每秒接收和发送的数据量。通常来说如果我们电脑是千兆网卡,那么每秒钟网卡的总流量也就在
100M
左右,甚至更低
本文由AnonyStar 发布,可转载但需声明原文出处。
欢迎关注微信公账号 :云栖简码 获取更多优质文章
更多文章关注笔者博客 :云栖简码 i-code.online
[数据库]000 - 🍳Sysbench 数据库压力测试工具的更多相关文章
- mysqlslap 一个MySQL数据库压力测试工具
在Xen/KVM虚拟化中,一般来说CPU.内存.网络I/O的虚拟化效率都非常高了,而磁盘I/O虚拟化效率较低,从而磁盘可能会是瓶颈.一般来说,数据库对磁盘I/O要求比较高的应用,可以衡量一下在客户机中 ...
- MySQL数据库基准压力测试工具之MySQLSlap使用实例
一.Mysqlslap介绍 mysqlslap是MySQL5.1之后自带的benchmark基准测试工具,类似Apache Bench负载产生工具,生成schema,装载数据,执行benckmark和 ...
- 数据库相关文章转载(2) MySQL自带的性能压力测试工具mysqlslap详解
PS:今天一同事问我有木有比较靠谱的mysql压力测试工具可用.其实mysql自带就有一个叫mysqlslap的压力测试工具,还是模拟的不错的.下面举例说说.mysqlslap是从5.1.4版开始的一 ...
- mysql之 mysql数据库压力测试工具(mysqlslap)
mysqlslap是从MySQL的5.1.4版开始就开始官方提供的压力测试工具.通过模拟多个并发客户端并发访问MySQL来执行压力测试,同时提供了较详细的SQL执行数据性能报告,并且能很好的对比多个存 ...
- sysbench压力测试工具简介和使用(二)
sysbench压力测试工具使用: 2.1 测试数据库服务器的硬件配置信息如下: CPU: 24核心线程数,Intel(R) Xeon(R) CPU E5-2620 0 @ 2.00G ...
- sysbench压力测试工具简介和使用(一)
sysbench压力测试工具安装和参数介绍 一.sysbench压力测试工具简介: sysbench是一个开源的.模块化的.跨平台的多线程性能测试工具,可以用来进行CPU.内存.磁盘I/O.线程.数据 ...
- sysbench压力测试工具安装和参数介绍
一.sysbench压力测试工具简介: sysbench是一个开源的.模块化的.跨平台的多线程性能测试工具,可以用来进行CPU.内存.磁盘I/O.线程.数据库的性能测试.目前支持的数据库有MySQL. ...
- sysbench 压力测试工具
一.sysbench压力测试工具简介: sysbench是一个开源的.模块化的.跨平台的多线程性能测试工具,可以用来进行CPU.内存.磁盘I/O.线程.数据库的性能测试.目前支持的数据库有MySQL. ...
- show processlist,sysbench压力测试工具
processlist.sh 记录数据库的状态 #!/bin/bash while true do mysql -uroot -pwangxiaohu -e 'show processlist\G'| ...
随机推荐
- 码农飞升记-Java是什么?
1.Java概述 Java 原名 Oak 是 Sun Microsystems 公司的 James Gosling 及其团队于 1995 年 5 月推出的 Java 程序设计语言 和 Java 平台 ...
- CentOS中安装Docker步骤
1.安装仓库所需要的软件包 yum install -y yum-utils device-mapper-persistent-data lvm2 2.设置yum加速源 yum-config-mana ...
- Why系统:0.1 + 0.2 != 0.3
为了知道更多一点,打算自己来一个why系列. 面试官:同学, 请问 0.1 + 0.2 等于多少 同学:不等于0.3, 因为精度问题 面试官:能更深入的说一下嘛 同学:...... 上面的同学,就是曾 ...
- PyQt(Python+Qt)学习随笔:QTreeView树形视图的allColumnsShowFocus属性
老猿Python博文目录 专栏:使用PyQt开发图形界面Python应用 老猿Python博客地址 QTreeView树形视图的allColumnsShowFocus属性用于控制是否使视图中的所有列显 ...
- 函数与函数式编程(生成器 && 列表解析 && map函数 && filter函数)-(四)
在学习python的过程中,无意中看到了函数式编程.在了解的过程中,明白了函数与函数式的区别,函数式编程的几种方式. 函数定义:函数是逻辑结构化和过程化的一种编程方法. 过程定义:过程就是简单特殊没有 ...
- 混合云存储打开的正确姿势——腾讯云存储网关 CSG
近年来,随着云计算的发展,越来越多的企业选择将IT系统基础设施转移到云上,上云有助于推动企业加快信息化.数字化.智能化的转型,但是很多企业对传统的业务系统依赖程度较高,短时间内将业务迁移上云将会面临很 ...
- LeetCode初级算法之数组:66 加一
加一 题目地址:https://leetcode-cn.com/problems/plus-one/ 给定一个由整数组成的非空数组所表示的非负整数,在该数的基础上加一.最高位数字存放在数组的首位, 数 ...
- 原生js之事件解绑
#removeEventListener ##html <button id='btn'>click</button> ##js ###第一种方式(错误方式) var btn ...
- Java并发编程的艺术(六)——中断、安全停止线程
什么是中断 Java的一种机制,用于一个线程去暂停另一个线程的运行.就是一个正在运行的线程被其他线程给打断,停止运行挂起了. 我觉得,在Java中,这种中断机制只是一种方便程序员编写进程间的通信罢了. ...
- STL——容器(Set & multiset)编译器提供的16种构造(挖个坑)
Set & multiset 在vs2019编译器中提供了16种构造方法 1.默认的无参构造 2.比较容器内容,key_comp()函数返回一个比较key的函数. 3.使用迭代器的区间拷贝,拷 ...