http://blog.yufeng.info/archives/751

我们在Linux上总是要保存数据的，数据要么保存在文件系统里(如ext3)，要么就在裸设备里面。我们在使用这些数据的时候都是通过文件这个抽象来访问的，操作系统会把我们需要的数据给我们，我们通常无需和块设备打交道。

从下图我们可以很清楚的看到：

我们会发现IO是个层次很深的子系统，有很复杂的数据流动线路。

至于操作系统如何去存储和获取这些数据对我们完全是黑盒子的，这通常不是问题。但是如果我们的IO很密集，我们就需要搞清楚IO具体是如何运作的，免的滥用IO和导致设计问题。

这时候你就需要blktrace这样的工具。

blktrace is a block layer IO tracing mechanism which provides detailed information about request queue operations up to user space.

它的作者Jens Axboe， 是内核IO模块的维护者，目前就职于FusionIO, 是个很nice的家伙，同时他还是著名IO评测工具fio的作者。

相关的文档：
users guide: http://pdfedit.petricek.net/bt/file_download.php?file_id=17&type=bug

HP的人写的指南：http://www.gelato.org/pdf/apr2006/gelato_ICE06apr_blktrace_brunelle_hp.pdf

CU上的小伙子写的： http://linux.chinaunix.net/bbs/viewthread.php?tid=1115851&extra=&ordertype=2

目前blktrace在大部分的Linux发行版都支持的，我们可以轻松的安装使用：

  1. $ sudo yum install blktrace
  2.  
  3. $ sudo  blktrace /dev/sda5 -o - | blkparse -i -   
  4.  
  5.   ,                 0.000000000       C   W  +  []
  6.   ,                 0.000040884    A   W  +  <- (,)
  7.   ,                 0.000041214    Q   W  +  [(null)]
  8.   ,                 0.000045947    G   W  +  [(null)]
  9.   ,                 0.000046707    P   N [(null)]
  10.   ,                 0.000047073    I   W  +  [(null)]
  11.   ,                 0.000048282    A   W  +  <- (,)
  12.   ,                 0.000048357    Q   W  +  [(null)]
  13.   ,                 0.000049137    M   W  +  [(null)]
  14.   ,                0.000050167    A   W  +  <- (,)
  15.   ,                0.000050241    Q   W  +  [(null)]
  16.   ,                0.000050417    M   W  +  [(null)]
  17.   ,                0.000050984    A   W  +  <- (,)
  18.   ,                0.000051047    Q   W  +  [(null)]
  19.   ,                0.000051258    M   W  +  [(null)]
  20.   ,                0.000051829    U   N [(null)]
  21.   ,                0.000052699    D   W  +  [(null)]
  22.   ,                0.000108292       C   W  +  []
  23.   ,                0.000127791    A   W  +  <- (,)
  24.   ,                0.000128001    Q   W  +  [(null)]
  25.   ,                0.000128874    G   W  +  [(null)]
  26.   ,                0.000129373    P   N [(null)]
  27.   ,                0.000129706    I   W  +  [(null)]
  28.   ,                0.000130551    U   N [(null)]
  29.   ,                0.000131330    D   W  +  [(null)]
  30.   ,                0.000172705       C   W  +  []
  31.   ,            1266874889.709337223    A   W  +  <- (,)
  32.   ,            1266874889.709338011    Q   W  +  [kjournald]
  33.   ,            1266874889.709343974    G   W  +  [kjournald]
  34.   ,            1266874889.709346653    P   N [kjournald]
  35.   ,            1266874889.709347728    I   W  +  [kjournald]
  36.   ,            1266874889.709350795    U   N [kjournald]
  37.   ,            1266874889.709355396    D   W  +  [kjournald]
  38.   ,                0.504685570    A   W  +  <- (,)
  39.   ,                0.504686212    Q   W  +  [kjournald]
  40.   ,                0.504690614    G   W  +  [kjournald]
  41.   ,                0.504691826    P   N [kjournald]
  42.   ,                0.504692896    I   W  +  [kjournald]
  43.   ,                0.504694268    A   W  +  <- (,)
  44.   ,                0.504694448    Q   W  +  [kjournald]
  45.   ,                0.504695115    M   W  +  [kjournald]
  46.   ,                0.504696227    A   W  +  <- (,)
  47.   ,               0.504696357    Q   W  +  [kjournald]
  48.   ,               0.504696615    M   W  +  [kjournald]
  49.   ,               0.504697422    A   W  +  <- (,)
  50.   ,               0.504697565    Q   W  +  [kjournald]
  51.   ,               0.504697787    M   W  +  [kjournald]
  52.   ,               0.504698549    A   W  +  <- (,)
  53.   ,               0.504698677    Q   W  +  [kjournald]
  54.   ,               0.504698939    M   W  +  [kjournald]
  55.   ,               0.504699954    U   N [kjournald]
  56.   ,               0.504704050    D   W  +  [kjournald]
  57.   ,                0.504810390       C   W  +  []
  58.   ,                0.504842324    A   W  +  <- (,)
  59.   ,                0.504842594    Q   W  +  [kjournald]
  60.   ,                0.504844133    G   W  +  [kjournald]
  61.   ,                0.504845233    P   N [kjournald]
  62.   ,                0.504845703    I   W  +  [kjournald]
  63.   ,                0.504846958    U   N [kjournald]
  64.   ,                0.504848547    D   W  +  [kjournald]
  65.   ,                0.504879109       C   W  +  []
  66. CPU2 (,):
  67.  Reads Queued:           ,        0KiB  Writes Queued:           ,       24KiB
  68.  Read Dispatches:        ,        0KiB  Write Dispatches:        ,       24KiB
  69.  Reads Requeued:                        Writes Requeued:
  70.  Reads Completed:        ,        0KiB  Writes Completed:        ,       48KiB
  71.  Read Merges:            ,        0KiB  Write Merges:            ,       12KiB
  72.  Read depth:                            Write depth:
  73.  IO unplugs:                            Timer unplugs:
  74. CPU13 (,):
  75.  Reads Queued:           ,        0KiB  Writes Queued:           ,        4KiB
  76.  Read Dispatches:        ,        0KiB  Write Dispatches:        ,        4KiB
  77.  Reads Requeued:                        Writes Requeued:
  78.  Reads Completed:        ,        0KiB  Writes Completed:        ,        0KiB
  79.  Read Merges:            ,        0KiB  Write Merges:            ,        0KiB
  80.  Read depth:                            Write depth:
  81.  IO unplugs:                            Timer unplugs:
  82. CPU21 (,):
  83.  Reads Queued:           ,        0KiB  Writes Queued:           ,       20KiB
  84.  Read Dispatches:        ,        0KiB  Write Dispatches:        ,       20KiB
  85.  Reads Requeued:                        Writes Requeued:
  86.  Reads Completed:        ,        0KiB  Writes Completed:        ,        0KiB
  87.  Read Merges:            ,        0KiB  Write Merges:            ,       16KiB
  88.  Read depth:                            Write depth:
  89.  IO unplugs:                            Timer unplugs:           
  90.  
  91. Total (,):
  92.  Reads Queued:           ,        0KiB  Writes Queued:          ,       48KiB
  93.  Read Dispatches:        ,        0KiB  Write Dispatches:        ,       48KiB
  94.  Reads Requeued:                        Writes Requeued:
  95.  Reads Completed:        ,        0KiB  Writes Completed:        ,       48KiB
  96.  Read Merges:            ,        0KiB  Write Merges:            ,       28KiB
  97.  IO unplugs:                            Timer unplugs:           
  98.  
  99. Throughput (R/W): 0KiB/s / 95KiB/s
  100. Events (,):  entries
  101. Skips:  forward ( -   0.0%)

利用这些信息我们可以很清楚的知道我们IO设备在做什么，花了多少时间，透过它了解我们系统的运作。如何解读这些信息我们可以看手册有详细的解释：

$ man blkparse

同时如果你觉得这些信息太原始，类似btt, seekwatcher这样的工具在blktrace的信息的基础上更深入的挖掘了系统的行为，使用起来也更简单。

我们在实际工作的过程中用blktrace定位了很多问题，比如fsync的延时问题和IO调度器的问题，确实是很实用的一个工具。

祝大家玩的开心。

blktrace 深度了解linux系统的IO运作的更多相关文章

  1. Linux系统 磁盘IO过高排查总结

    最近做的一个电商网站因为磁盘 I/O 过高导致访问速度奇慢,问题存在两个月有余未得到解决办法.此次排查原因的经验可以作下次问题的参考. 1.会看懂 top 系统命令出来的各项参数.此次是无意中发现 u ...

  2. Linux系统：保证数据安全落盘

    在很多IO场景中,我们经常需要确保数据已经安全的写到磁盘上,以便在系统宕机重启之后还能读到这些数据.但是我们都知道,linux系统的IO路径还是很复杂的,分为很多层,每一层都可能会有buffer来加速 ...

  3. [转]linux 系统监控、诊断工具之 IO wait

    1.问题: 最近在做日志的实时同步,上线之前是做过单份线上日志压力测试的,消息队列和客户端.本机都没问题,但是没想到上了第二份日志之后,问题来了: 集群中的某台机器 top 看到负载巨高,集群中的机器 ...

  4. Linux系统编程--文件IO操作

    Linux思想即,Linux系统下一切皆文件. 一.对文件操作的几个函数 1.打开文件open函数 int open(const char *path, int oflags); int open(c ...

  5. Linux系统编程@终端IO

    Linux系统中终端设备种类  终端是一种字符型设备,有多种类型,通常使用tty 来简称各种类型的终端设备.终端特殊设备文件一般有以下几种: 串行端口终端(/dev/ttySn ) ,伪终端(/dev ...

  6. linux:关于Linux系统中 CPU Memory IO Network的性能监测

    我们知道:系统优化是一项复杂.繁琐.长期的工作.通常监测的子系统有以下这些:CPUMemoryIO Network 下面是常用的监测工具 Linux 系统包括很多子系统(包括刚刚介绍的CPU,Memo ...

  7. Linux系统IO分析工具之iotstat常用参数介绍

    Linux系统IO分析工具之iotstat常用参数介绍 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任. 1>.安装iostat [root@flume115 ~]# yum - ...

  8. Linux系统IO分析工具之iotop常用参数介绍

      Linux系统IO分析工具之iotop常用参数介绍 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任. 在一般运维工作中经常会遇到这么一个场景,服务器的IO负载很高(iostat中的 ...

  9. 操作系统复习——如何查看一个进程的详细信息，如何追踪一个进程的执行过程 ，如何在 Linux 系统下查看 CPU、内存、磁盘、IO、网卡情况？epoll和select区别？

    1. 如何查看一个进程的详细信息,如何追踪一个进程的执行过程 通过pstree命令(根据pid)进行查询进程内部当前运行了多少线程:# pstree -p 19135(进程号) 使用top命令查看(可 ...

随机推荐

  1. PAT 数列求和-加强版   (20分)（简单模拟）

    给定某数字A(1≤A≤9)以及非负整数N(0≤N≤100000),求数列之和S=A+AA+AAA+⋯+AA⋯A(N个A).例如A=1, N=3时,S=1+11+111=123 输入格式: 输入数字A与 ...

  2. CentOS7安装OpenStack(Rocky版)-09.安装Cinder存储服务组件（控制节点）

    本文分享openstack的Cinder存储服务组件,cinder服务可以提供云磁盘(卷),类似阿里云云盘 ----------------------- 完美的分隔线  -------------- ...

  3. stm32 定时器TIM时钟步骤

    1)TIM3 时钟使能 . RCC_APB1PeriphClockCmd(RCC_APB1Periph_TIMx, ENABLE); //时钟使能 2) 初始化定时器参数,设置自动重装值, 分频系数, ...

  4. Appium笔记（二） 丶Appium的安装

    一.前言 Appium 中有个很重要的组件Appium-Server,它主要用来监听我们的移动设备(真机或模拟器),然将不同编程语言编写的 appium 测试脚本进行解析,然后,驱动移动设备来运行测试 ...

  5. django 远程数据库mysql migrate失败报error 1045之 解决方案

    Access denied for user 'root'@'localhost' (using password: YES)       ERROR 1045: Access denied for ...

  6. k8s dockerk个人学习(1)

    虚拟机部署k8s 1. 创建虚拟机 虚拟机用的是virtualBox和vagrant工具,百度安装virtualBox和vagrant 创建vagrant目录并创建文件Vagrantfile内容为 V ...

  7. C# 使用oledb 方式连接本地或者远程oracel 数据库的方式

    对于C# 进行oracle 数据库的开发来说使用oracle 提供的odp.net 方式是比较方便的,同时在性能以及兼容性也是比较好的 但是,对于不打算使用的,那么该如何使用oledb 进行连接 连接 ...

  8. TFTP error: 'Only absolute filenames allowed' (2)

    hisilicon # tftp 0x82000000 u-boot-hi3518ev200.bin Hisilicon ETH net controler MAC: ----- eth0 : phy ...

  9. 关于事件委托的整理 ，另附bind,live,delegate,on区别

    随着DOM结构的复杂化和Ajax等动态脚本技术的运用导致如今的js界里最火热的一项技术应该是‘事件委托(event delegation)’了,什么是事件委托呢?小七给你娓娓道来,说白了就是想给子元素 ...

  10. stylus 知识点

    循环的范围可以用两个小数点..表示,如(1..10)就是从1到10,并且包括1和10 for in 的循环范围写法: for index in 1 2 3 等价于: $li_length = 3 fo ...