这个问题来源于我书中引用的一幅图:

我们从图中明显可以看某性能测试的结果表明普通机械磁盘的顺序I/O性能指标是53.2M values/s,SSD的顺序I/O性能指标是42.2M values/s,而内存的随机I/O性能指标是36.7M values/s。虽然图中没有给出values的具体含义,但既然使用了相同的单位,应该是它们是可以比较的。由此似乎可以得出结论:磁盘的顺序I/O性能要强于内存的随机I/O性能。

当初引入这幅图的主要目的是想说明Kafka顺序访问磁盘(特别是顺序写入)的性能并不像想象中的那么差。现在看来,这幅图还是有一些问题的,里面具体的数值也值得推敲。

第一就是单位不明确。一般这种测试常见的统计单位应该是MB/s,即磁盘或内存的吞吐量(TPS)或带宽(Bandwidth),但如果这里的values指的就是MB,显然数值又太小了,所以我目前搞不清楚这个values指代的是什么。这是第一个问题。

第二个问题就在于没有分开讨论读和写。很多磁盘的读写TPS差异很大,特别是对于随机I/O来说,不同块大小(block size)的随机IO相差巨大。这张图里面只是笼统地给出了磁盘的顺序I/O和随机I/O性能,没有显式区分出读写来。这是第二个问题。

第三个问题就在于图中的数值与我们平时的印象是矛盾的。一般情况下,我们会认为内存的TPS应该是很高的。即使是随机I/O也不应该比磁盘的要差,但这张图清晰地表明它真的就是差。特别是今天有人拿实际的测试结果反驳了图中的结论。下面我们着重探讨一下第三个问题。

首先是实际测试数据:内存使用的是DDR3的三星内存,TPS测试结果为2500MB/s,但没有说清楚是读TPS还是写TPS,也没有提及使用的chunk大小是多少,更没有说是随机IO访问还是顺序IO访问。不过我们姑且认为是随机IO吧,毕竟我们要PK的就是内存的随机IO。磁盘这边使用的是SSD,经测试最大的顺序读写IO大约是63MB/s,同样没有说到底是读IO还是写IO。测试结果说明SSD磁盘顺序IO TPS远逊于内存IO TPS。那么到底哪个是对的呢?为什么图中显示磁盘顺序IO是能胜过内存随机IO的呢?

针对这个矛盾之处,我个人的看法是这里面存在着田忌赛马的情形,也就是说图中用于比较的SSD和内存应该不是同一个等级的,有可能找了一个很好的SSD去与一个普通的内存条进行比较。拿上面实际的例子而言DDR3的三星内存TPS为2500MB/s,但这不算什么太好的成绩。还存在很多更好的内存产品远不止2500MB/s的吞吐量,比如Corsair Vengeance DDR3宣称能够达到5000+MB/s的随机IO TPS(它是以2MB chunk做的测试)。具体的数据来源详见:https://www.storagereview.com/corsair_vengeance_ddr3_ram_disk_review

至于SSD,顺序IO TPS超过2500MB/s的也有,比如这款基于MLC的Micron P420m SSD就宣称其顺序IO TPS能到3300MB/s。具体的数据来源详见:https://www.storagereview.com/micron_p420m_enterprise_pcie_ssd_review

那么现在如果用Micron P420m SSD和上面的三星内存比,其顺序IO的TPS就超过内存的随机IO TPS。这样看来,这不就是田忌赛马吗?用一个非常好的磁盘去PK一个普通的内存,结果就很可能是图中的那个样子。所以,个人认为不用太纠结图中的数据,只需要了解磁盘顺序读写性能很好或至少不差这个事实就好了:)

另外我感觉这张图还有其他不太合理的地方,比如对于SSD而言,顺序IO性能几乎是随机IO的40倍。的确,随机IO是要慢于顺序IO的,特别是对于写入而言,但在SSD中这不总是成立的。

如果IO size很小或者说写入数据很小(比如小于32MB),随机写入自然是要慢于顺序写入;但当IO size增加到某个程度后(比如和clustered block一样大或是其整数倍),那么随机写和顺序写的表现是差不多的,因为不再需要做过多的拷贝擦除,而且SSD内部的并行机制会开始逐渐起作用,抵消随机写和顺序写之间的差异。从这个角度来说,我觉得图中的两组数值对比过于悬殊了,似乎也有不真实的地方。

总之,我对这张图的结论是图中的数字是有一些水分的,至少没有给出完整的测试说明,缺乏必要的事实基础,但图要呈现的结论依然是成立的,即在某种程度下,磁盘顺序I/O访问(特别是写操作)是能够匹敌内存的随机I/O访问性能的。

关于顺序磁盘IO比内存随机IO快的讨论的更多相关文章

  1. 说说IO(一)- IO的分层

    IO性能对于一个系统的影响是至关重要的.一个系统经过多项优化以后,瓶颈往往落在数据库:而数据库经过多种优化以后,瓶颈最终会落到IO.而IO性能的发展,明显落后于CPU的发展.Memchached也好, ...

  2. 【磁盘】顺序IO比随机IO快

    假设磁盘每秒可以做100个随机I/O操作,并且可以完成每秒10MB的顺序读取(这大概是消费级磁盘现在能达到的水平).如果每行100字节,随机读每秒可以读100行(相当于每秒10000字节=10KB), ...

  3. 顺序、随机IO和Java多种读写文件性能对比

    概述 对于磁盘的读写分为两种模式,顺序IO和随机IO. 随机IO存在一个寻址的过程,所以效率比较低.而顺序IO,相当于有一个物理索引,在读取的时候不需要寻找地址,效率很高. 基本流程 总体结构 我们编 ...

  4. mysql在高内存、IO利用率上的几个优化点 (sync+fsync) 猎豹移动技术博客

    http://dev.cmcm.com/archives/107 Posted on 2014年10月16日 by liuding | 7条评论 以下优化都是基于CentOS系统下的一些优化整理,有不 ...

  5. linux下的CPU、内存、IO、网络的压力测试

    linux下的CPU.内存.IO.网络的压力测试  要远程测试其实很简单了,把结果放到一个微服务里直接在web里查看就可以了,或者同步到其他服务器上 一.对CPU进行简单测试: 1.通过bc命令计算特 ...

  6. MySQL在高内存、IO利用率上的几个优化点

    以下优化都是基于CentOS系统下的一些MySQL优化整理,有不全或有争议的地方望继续补充完善. 一.mysql层面优化 1. innodb_flush_log_at_trx_commit 设置为2设 ...

  7. [转帖]linux下的CPU、内存、IO、网络的压力测试

    linux下的CPU.内存.IO.网络的压力测试 https://www.cnblogs.com/zhuochong/p/10185881.html 一.对CPU进行简单测试: 1.通过bc命令计算特 ...

  8. [转帖]linux下CPU、内存、IO、网络的压力测试,硬盘读写速度测试,Linux三个系统资源监控工具

    linux下CPU.内存.IO.网络的压力测试,硬盘读写速度测试,Linux三个系统资源监控工具 https://blog.51cto.com/hao360/1587165 linux_python关 ...

  9. 转载: 一、linux cpu、内存、IO、网络的测试工具

    来源地址: http://blog.csdn.net/wenwenxiong/article/details/77197997 记录一下 以后好找.. 一.linux cpu.内存.IO.网络的测试工 ...

随机推荐

  1. JS与验证控件结合验证

    原文发布时间为:2010-05-14 -- 来源于本人的百度文章 [由搬家工具导入] 把BUTTOn中 的return CheckFive()去 掉 .. 放 到 <Form id=" ...

  2. [论文]Clustering-Based Ensembles as an Alternative to Stacking

    Clustering-Based Ensembles as an Alternative to Stacking 作者:Anna Jurek, Yaxin Bi, Shengli Wu, and Ch ...

  3. MSP430G2553头文件解析

    MSP430寄存器中文注释---P1/2口(带中断功能)       /************************************************************     ...

  4. TCP/IP和HTTP协议与Socket的区别联系

    参考资料: http://www.cnblogs.com/goodcandle/archive/2005/12/10/socket.html http://www.2cto.com/net/20121 ...

  5. python print的参数介绍

    参考print的官方文档 print(...) print(value, ..., sep=' ', end='\n', file=sys.stdout, flush=False) Prints th ...

  6. c语言命令行参数

    int main(int argc, char * argv[]) { ..... } argc: 代表启动程序时,命令行参数的个数.C和C++语言规定,可执行程序程序本身的文件名,也算是一个命令行参 ...

  7. (6)python tkinter-容器、子窗体

    Frame f = tkinter.Frame(width=380, height=270, bg='white').pack() LabelFrame f = tkinter.LabelFrame( ...

  8. HDU 5242 Game(树上贪心)

    题目链接 Game 题目的意思很简单, 就是要找一棵树权值最大等等前K条链. 在本题中,走的次数等于min(叶子结点个数,k) tree[i].sum意为从i号结点出发走到某个叶子结点能得到的最大总价 ...

  9. ACM的奇计淫巧_输入挂

    什么是输入挂? 众所周知scanf比cin快的多,那么有没有比scanf更快的东西呢?答案就是输入挂,输入挂利用了告诉读取的函数getchar(),然后再人工处理成整数或浮点,比使用scanf快太多. ...

  10. UVA - 11774 Doom's Day

    看样例猜结论hhhhhh,竟然蒙对了..(正确性待证明) #include<bits/stdc++.h> #define ll long long using namespace std; ...