[转帖]FIO – IO压力测试工具
https://blog.csdn.net/younger_china/article/details/71129541
《存储工具系列文章》主要介绍存储相关的测试和调试工具,包括不限于dd、fio、vdbench、iozone、iometer、cosbench等性能负载工具,及strace等调试工具。
1. 概述
IO是一个 I/O 工具,旨在用于基准测试和压力/硬件验证。它支持 19 种不同类型的I/O引擎(sync、mmap、libaio、posixaio、SG v3、splice、null、network、syslet、guasi、solarisaio 等)、I/O 优先级(适用于较新的Linux内核)、评估 I/O、分叉或线程作业等等。它可以在块设备和文件上工作。fio 接受简单易懂的文本格式的职位描述。包括几个示例作业文件。FIO显示各种 I/O 性能信息,包括完整的IO延迟和百分位数。Fio在许多地方被广泛使用,用于基准测试、QA 和验证目的。它支持 Linux、FreeBSD、NetBSD、OpenBSD、OS X、OpenSolaris、AIX、HP-UX、Android 和 Windows。
目前主流的第三方IO测试工具有fio、iometer 和 Orion,这三种工具各有千秋,在linux 下也可以使用dd 进行简单的磁盘(文件系统)测试(文末补充)。
Fio在Linux系统下使用比较方便,iometer在window系统下使用比较方便,Orion是oracle的IO测试软件,可在没有安装oracle数据库的情况下模拟oracle数据库场景的读写。
FIO 是一个多线程IO生成工具,可以生成多种IO模式,用来测试磁盘设备的性能(也包含文件系统:如针对网络文件系统 NFS 的IO测试)。
FIO是一个开源的I/O压力测试工具,主要是用来测试磁盘/SSD的IO性能,也可测试cpu,nic的IO性能。它可以支持13种不同的I/O引擎,包括:sync,mmap, libaio, posixaio, SG v3, splice, network, syslet, guasi, solarisaio, I/Opriorities (针对新的Linux内核), rate I/O, forked or threaded jobs等。
Github地址:https://github.com/axboe/fio
2. 安装部署
2.1 软件包安装
第一步:查询fio所属软件包
-
[root@node1 fio]# yum provide fio
-
Loaded plugins: fastestmirror
-
No such command: provide. Please use /usr/bin/yum --help
-
[root@node1 fio]# yum provides fio
-
Loaded plugins: fastestmirror
-
Loading mirror speeds from cached hostfile
-
* base: mirror.lzu.edu.cn
-
* extras: ftp.sjtu.edu.cn
-
* updates: ftp.sjtu.edu.cn
-
fio-3.7-2.el7.x86_64 : Multithreaded IO generation tool
-
Repo : base
-
-
-
-
[root@node1 fio]# yum info fio
-
Loaded plugins: fastestmirror
-
Loading mirror speeds from cached hostfile
-
* base: mirror.lzu.edu.cn
-
* extras: ftp.sjtu.edu.cn
-
* updates: ftp.sjtu.edu.cn
-
Available Packages
-
Name : fio
-
Arch : x86_64
-
Version : 3.7
-
Release : 2.el7
-
Size : 467 k
-
Repo : base/7/x86_64
-
Summary : Multithreaded IO generation tool
-
URL : http://git.kernel.dk/?p=fio.git;a=summary
-
License : GPLv2
-
Description : fio is an I/O tool that will spawn a number of threads or processes doing
-
: a particular type of io action as specified by the user. fio takes a
-
: number of global parameters, each inherited by the thread unless
-
: otherwise parameters given to them overriding that setting is given.
-
: The typical use of fio is to write a job file matching the io load
-
: one wants to simulate.
-
-
[root@node1 fio]#
第二包:安装
[root@node1 fio]# yum install fio -y
2.2 源码包安装
第一步:根据实际情况安装依赖包
[root@node1 fio]# yum -y install libaio-devel libaio-dev libaio* zilb*
第二部:下载源码:https://git.kernel.org/pub/scm/linux/kernel/git/axboe/fio.git/
[root@node1 fio]# wget http://git.kernel.org/pub/scm/linux/kernel/git/axboe/fio.git/snapshot/fio-3.30.tar.gz --no-check-certificate
解压源码
[root@node1 fio]# tar -zxvf fio-3.30.tar.gz
第三步:编译安装
[root@node1 fio-3.30]# ./configure;
确保此处不报错,如果缺少依赖包,则根据情况安装。
[root@node1 fio-3.30]# make;make install;
第四步:检查是否安装成功
-
[root@node1 fio-3.30]# fio -v
-
fio-3.29
3 配置参数介绍
Fio提供了非常多的配置参数。
参数名称 |
释义 |
filename |
待测试的文件或块设备。 若为文件,则代表测试文件系统的性能;例:-filename=/work/fstest/fio.img 若为块设备,则代表测试裸设备的性能; 例:-filename=/dev/sdb1 |
ioengine |
IO引擎 fio支持多种引擎如:cpuio、mmap、sync、psync、vsync、pvsync、pvsync2、null、net、netsplice、ftruncate、filecreate、libaio、posixaio、falloc、e4defrag、splice、rados、rbd、mtd、sg、io_uring |
direct |
当前测试是否采用直接IO方式进行读写,如果采用直接IO,则取值-direct=1,否则取值-direct=0。 采用直接IO写测试,会使得测试结果更加真实。 |
rw |
读写模式。 read:顺序读测试,使用方式-rw=read write:顺序写测试,使用方式-rw=write randread:随机读测试,使用方式-rw=randread randwrite:随机写测试,使用方式-rw=randwrite randrw:随机读写,-rw=randrw;默认比率为5:5,通过参数-rwmixread设定读的比率,如-rw=randrw-rwmixread=70,说明读写比率为70:30。或rwmixwrite |
bs |
单次IO的大小;例:-bs=4k |
bssplit |
设备读写访问的IO大小,例:-bssplit=4k/30:8k/40:16k/30,随机读4k文件占30%、8k占40%、16k占30% |
bsrange |
设置IO大小的范围,例如-bsrange=512-2048 |
size |
本次测试文件的大小;例-size=1G |
iodepth |
IO队列深入,即一次下发的IO的个数,例如:-iodepth=16 |
numjobs |
测试进程的并发数,默认为,例:-numjobs=16 |
sync |
设置同步模式,同步-sync=1,异步-sync=0 |
fsync |
设置数据同步模式,同步-fsync=1,异步-fsync=0 |
runtime |
设置测试运行的时间,单位秒,例:-runtime=300 |
group_reporting |
关于显示结果的,汇总每个进程的信息 |
lockmem |
对测试所使用的内存进行限制,如-lockmem=1g,限制1G |
关于ioengine, 采用的文件读写方式
- sync:采用read,write,使用fseek定位读写位置。
- psync:采用pread、pwrite进行文件读写操作
- vsync:采用readv(2) orwritev(2)进行文件读写操作,
libaio:Linux异步读写IO(Linuxnative asynchronous I/O)
posixaio: glibc POSIX 异步IO读写,使用aio_read(3)and aio_write(3)实现IO读写。
注:
read()和write()系统调用每次在文件和进程的地址空间之间传送一块连续的数据。但是,应用有时也需要将分散在内存多处地方的数据连续写到文件中,或者反之。在这种情况下,如果要从文件中读一片连续的数据至进程的不同区域,使用read()则要么一次将它们读至一个较大的缓冲区中,然后将它们分成若干部分复制到不同的区域,要么调用read()若干次分批将它们读至不同区域。同样,如果想将程序中不同区域的数据块连续地写至文件,也必须进行类似的处理。UNIX提供了另外两个函数—readv()和writev(),它们只需一次系统调用就可以实现在文件和进程的多个缓冲区之间传送数据,免除了多次系统调用或复制数据的开销。readv()称为散布读,即将文件中若干连续的数据块读入内存分散的缓冲区中。writev()称为聚集写,即收集内存中分散的若干缓冲区中的数据写至文件的连续区域中。
4. 测试案例
测试命令如下:
[root@node0 fio-3.30]# fio -filename=/work/fstest/fio.img -direct=1 -rw=randread -bs=8k -size=1G-numjobs=16 -runtime=60 -group_reporting -name=fio_test
磁盘读写常用测试点:
1. Read=100% Ramdon=100% rw=randread (100%随机读)
2. Read=100% Sequence=100% rw=read (100%顺序读)
3. Write=100% Sequence=100% rw=write (100%顺序写)
4. Write=100% Ramdon=100% rw=randwrite (100%随机写)
5. Read=70% Sequence=100% rw=rw, rwmixread=70, rwmixwrite=30 (70%顺序读,30%顺序写)
6. Read=70% Ramdon=100% rw=randrw, rwmixread=70, rwmixwrite=30 (70%随机读,30%随机写)
测试过程中
-
fio_test: (g=0): rw=randread,bs=8K-8K/8K-8K/8K-8K, ioengine=psync, iodepth=1
-
...
-
fio-3.30
-
Starting 16 processes
-
Jobs: 16 (f=16): [r(16)] [18.0% done][1840KB/0KB/0KB /s] [230/0/0 iops] [eta 00m:50s]
第一行:当前测试为随机读(randread),IO块大小,文件读写方式psync,IO队列深度为1,
第二行:fio的版本号
第三行:说明任务的并发数
第四行:任务并发数,进度,剩余测试时间。
5 . 测试结果解析
-
[root@node0 fio-3.30]# fio -filename=/dev/sdb -direct=1 -ioengine=libaio -bs=4k -size=5G -numjobs=10 -iodepth=16 -runtime=60 -thread -rw=randrw -rwmixread=70 -group_reporting -name="local_randrw_test"
-
local_randrw_test: (g=0): rw=randrw, bs=(R) 4096B-4096B, (W) 4096B-4096B, (T) 4096B-4096B, ioengine=libaio, iodepth=16
-
...
-
fio-3.10
-
Starting 10 threads
-
Jobs: 10 (f=10): [m(10)][100.0%][r=19.4MiB/s,w=8456KiB/s][r=4969,w=2114 IOPS][eta 00m:00s]
-
local_randrw_test: (groupid=0, jobs=10): err= 0: pid=11189: Mon Oct 25 11:01:46 2021
-
read: IOPS=5230, BW=20.4MiB/s (21.4MB/s)(1226MiB/60031msec)
-
slat (usec): min=2, max=342637, avg=1266.82, stdev=7241.29
-
clat (usec): min=4, max=459544, avg=20056.81, stdev=24888.90
-
lat (usec): min=134, max=459586, avg=21329.16, stdev=25378.16
-
clat percentiles (usec):
-
| 1.00th=[ 1467], 5.00th=[ 1844], 10.00th=[ 2147], 20.00th=[ 2606],
-
| 30.00th=[ 3032], 40.00th=[ 3556], 50.00th=[ 4359], 60.00th=[ 6063],
-
| 70.00th=[ 36439], 80.00th=[ 46924], 90.00th=[ 51643], 95.00th=[ 59507],
-
| 99.00th=[105382], 99.50th=[117965], 99.90th=[137364], 99.95th=[152044],
-
| 99.99th=[219153]
-
bw ( KiB/s): min= 795, max= 4494, per=9.91%, avg=2072.23, stdev=744.04, samples=1195
-
iops : min= 198, max= 1123, avg=517.74, stdev=186.00, samples=1195
-
write: IOPS=2243, BW=8972KiB/s (9188kB/s)(526MiB/60031msec)
-
slat (usec): min=2, max=311932, avg=1272.76, stdev=7272.09
-
clat (usec): min=6, max=458031, avg=20206.30, stdev=24897.71
-
lat (usec): min=974, max=459755, avg=21484.12, stdev=25400.41
-
clat percentiles (usec):
-
| 1.00th=[ 1500], 5.00th=[ 1860], 10.00th=[ 2147], 20.00th=[ 2606],
-
| 30.00th=[ 3064], 40.00th=[ 3621], 50.00th=[ 4424], 60.00th=[ 6194],
-
| 70.00th=[ 36439], 80.00th=[ 46924], 90.00th=[ 51643], 95.00th=[ 59507],
-
| 99.00th=[105382], 99.50th=[117965], 99.90th=[137364], 99.95th=[149947],
-
| 99.99th=[200279]
-
bw ( KiB/s): min= 357, max= 1944, per=9.90%, avg=888.57, stdev=325.49, samples=1195
-
iops : min= 89, max= 486, avg=221.80, stdev=81.37, samples=1195
-
lat (usec) : 10=0.01%, 50=0.01%, 100=0.01%, 250=0.02%, 500=0.01%
-
lat (usec) : 750=0.01%, 1000=0.01%
-
lat (msec) : 2=7.45%, 4=38.36%, 10=18.10%, 20=1.09%, 50=22.31%
-
lat (msec) : 100=11.42%, 250=1.24%, 500=0.01%
-
cpu : usr=0.26%, sys=19.41%, ctx=12026, majf=0, minf=18
-
IO depths : 1=0.1%, 2=0.1%, 4=0.1%, 8=0.1%, 16=100.0%, 32=0.0%, >=64=0.0%
-
submit : 0=0.0%, 4=100.0%, 8=0.0%, 16=0.0%, 32=0.0%, 64=0.0%, >=64=0.0%
-
complete : 0=0.0%, 4=100.0%, 8=0.0%, 16=0.1%, 32=0.0%, 64=0.0%, >=64=0.0%
-
issued rwts: total=313975,134655,0,0 short=0,0,0,0 dropped=0,0,0,0
-
latency : target=0, window=0, percentile=100.00%, depth=16
-
-
Run status group 0 (all jobs):
-
READ: bw=20.4MiB/s (21.4MB/s), 20.4MiB/s-20.4MiB/s (21.4MB/s-21.4MB/s), io=1226MiB (1286MB), run=60031-60031msec
-
WRITE: bw=8972KiB/s (9188kB/s), 8972KiB/s-8972KiB/s (9188kB/s-9188kB/s), io=526MiB (552MB), run=60031-60031msec
-
-
Disk stats (read/write):
-
sdb: ios=314008/134653, merge=0/0, ticks=189470/89778, in_queue=279286, util=99.75%
下面是每个执行的数据方向的I/O统计数据信息的代表值含义
read/write: 读/写的IO操作(还有一个trim没用过)
salt: 提交延迟,这是提交I/O所花费的时间(min:最小值,max:最大值,avg:平均值,stdev:标准偏差)
chat: 完成延迟,表示从提交到完成I/O部分的时间
lat: 相应时间,表示从fio创建I/O单元到完成I/O操作的时间
bw: 带宽统计
iops: IOPS统计
lat(nsec/usec/msec):
I/O完成延迟的分布。这是从I/O离开fio到它完成的时间。与上面单独的读/写/修剪部分不同,这里和其余部分的数据适用于报告组的所有I/ o。10=0.01%意味着0.01%的I/O在250us以下完成。250=0.02%意味着0.02%的I/O需要10到250us才能完成。
cpu: cpu使用率
IO depths: I/O深度在作业生命周期中的分布
IO submit: 在一个提交调用中提交了多少个I/O。每一个分录表示该数额及其以下,直到上一分录为止——例如,4=100%意味着我们每次提交0到4个I/O调用
IO complete: 和上边的submit一样,不过这个是完成了多少个
IO issued rwt: 发出的read/write/trim请求的数量,以及其中有多少请求被缩短或删除
IO latency: 满足指定延迟目标所需的I/O深度
下面是Run status group 0 (all jobs) 全部任务汇总信息的代表值含义:
bw: 总带宽以及最小和最大带宽
io: 该组中所有线程执行的累计I/O
run: 这组线程中最小和最长的运行时。
最后是Linux中特有的磁盘状态统计信息的代表值含义:
ios: 所有组的I/ o个数
merge: I/O调度器执行的总合并数
ticks: 使磁盘繁忙的滴答数(仅供参考,原文是Number of ticks we kept the disk busy)
in_queue: 在磁盘队列中花费的总时间
util: 磁盘利用率。值为100%意味着我们保留了磁盘,如果一直很忙,那么50%的时间磁盘就会闲置一半的时间
6. 参考资料
[01]https://juejin.cn/post/7090839375033925646
</article>
[转帖]FIO – IO压力测试工具的更多相关文章
- 【转帖】sysbench压力测试工具简介
sysbench压力测试工具简介 https://www.cnblogs.com/pdlife/p/6698957.html 一.sysbench压力测试工具简介: sysbench是一个开源的.模块 ...
- 模拟SQLserver IO压力测试 工具编 SQLIOSIM
描述 最近有业务需求需了解客户的服务器SQLserver 的IO情况,而不仅仅是通过系统计数器 了解硬盘的IO情况或者使用CrystalDiskMark或者Trace重播进行压力测试 .这时SQL S ...
- linux压力测试工具stress
最近给PASS平台添加autoscaling的功能,根据服务器的负载情况autoscaling,为了测试这项功能用到了stress这个压力测试工具,这个工具相当好用了.具体安装方式就不说了.记录下这个 ...
- 微软压力测试工具 web application stress
转自 http://www.cnblogs.com/tonykan/p/3514749.html lbimba 铜牌会员 这里给广大的煤油推荐一个web网站压力测试工具.它可以用来模拟多个用户操作网 ...
- sysbench压力测试工具简介和使用(二)
sysbench压力测试工具使用: 2.1 测试数据库服务器的硬件配置信息如下: CPU: 24核心线程数,Intel(R) Xeon(R) CPU E5-2620 0 @ 2.00G ...
- sysbench压力测试工具简介和使用(一)
sysbench压力测试工具安装和参数介绍 一.sysbench压力测试工具简介: sysbench是一个开源的.模块化的.跨平台的多线程性能测试工具,可以用来进行CPU.内存.磁盘I/O.线程.数据 ...
- SwingBench---ORACLE压力测试工具
SwingBench---ORACLE压力测试工具 ◆描述SwingBench是Oracle UK的一个员工在一个被抛弃的项目的基础上开发的.目前稳定版本2.5,基于JDK.该工具是免费的,可以在作者 ...
- .net分布式压力测试工具(Beetle.DT)
肯定有人会问为什么会写这样一个开源工具?和现有的有什么差别?不过对于一个程序员来说写东西还真不需要理由的:),主要原因是工作有点闲(开玩笑),不过说实话一个程员怎可能会停止写代码呢(作为一个奔4的程序 ...
- WebBench压力测试工具(详细源码注释+分析)
本文适合人群:对WebBench实现感兴趣的人 WebBench原理: Linux下使用的服务器压力测试工具,利用fork建立多个子进程,每个子进程在测试时间内不断发送请求报文,建立多个连接,然后由父 ...
- Linux压力测试工具stress的参数详解
为了测试服务器的负载情况,可以使用stress这个压力测试工具,可以在环境上验证测试下. stress安装 sudo yum install -y epel-release sudo yum inst ...
随机推荐
- Skywalking(8.7)安装以及docker镜像打包
Skywalking安装以及docker镜像打包 Skywalking版本:apache-skywalking-apm-es7-8.7.0 ES版本:7.17.2 一.下载Skywalking的安装包 ...
- 文心一言 VS 讯飞星火 VS chatgpt (18)-- 算法导论4.1 5题
五.使用如下思想为最大子数组问题设计一个非递归的.线性时间的算法.从数组的左边界开始,由左至右处理,记录到目前为止已经处理过的最大子数组.若已知 A[1..j]门的最大子数组,基于如下性质将解扩展为 ...
- ChatGPT新玩法来了,微信聊天机器人
前言 上一篇文章中说了ChatGPT是什么,然后怎么注册使用. 传送门:花了1块钱体验一把最近很火的ChatGPT 但是实际操作下来还是有不少小伙伴跟我一样遇到各种坑. 没有魔法工具 OpenAI的服 ...
- 干货分享丨玩转物联网IoTDA服务系列六-恒温空调
摘要:本文主要讲述空调接入到物联网平台后,通过恒温空调控制系统,不论空调是否开机,都可以调整空调默认温度,待空调上电开机后,自动按默认温度调节. 场景简介 通过恒温控制系统,不论空调是否开机,都可以调 ...
- 几款Java开发者必备常用的工具,准点下班不在话下
摘要:一问一答的形式轻松学习掌握java工具. 以一问一答的形式学习java工具 Q:检查内存泄露的工具有?A: jmap生成dump转储文件,jhat可视化查看. Q:某进程CPU使用率一直占满,用 ...
- Weex原理及架构剖析
早期H5和Hybrid方案的本质是,利用客户端App的内置浏览器(也就是webview)功能,通过开发前端的H5页面满足跨平台需求.比如PhoneGap cordova ionic -- 该方案提升开 ...
- CentOS 7上安装 Jenkins 2.227 -- yum 方式
CentOS 7上安装 Jenkins 2.227 -- yum 方式 装插件的时候会报版本过低,建议安装 2.346 安装 Jenkins # [root@localhost ~]# ll /etc ...
- mit6.s081 lab1:Unix Utilities
1 sleep(easy) 要求:为 xv6实现 UNIX 程序睡眠; 睡眠需要暂停一段用户指定的时间.刻度是由 xv6内核定义的时间概念,即定时器芯片两次中断之间的时间.解决的程序应该在 user/ ...
- 一个神奇的Python库:Evidently,机器学习必备
Evidently 是一个面向数据科学家和机器学习工程师的开源 Python 库.它有助于评估.测试和监控从验证到生产的数据和 ML 模型.它适用于表格.文本数据和嵌入. 简介 Evidently 是 ...
- Go--发起HTTP请求
一.HTTP请求 根据 HTTP 标准,HTTP 请求可以使用多种请求方法.在日常开发中大多数会用到 5 种请求方法: GET.POST.PUT.PATCH 和 DELETE 方法 描述 GET 请求 ...