1.  操作系统缓存
在linux世界里,一切可读写设备都可看作是文件。文件cache设计的好坏直接影响着文件系统和磁盘的性能。最直观的是使用free命令看到的cached列。

这里面的cached列就是操作系统缓存,操作系统会把空闲的内存拿来做缓存,提高系统性能。当然这里的cached不仅仅缓存文件的数据。操作系统的cache是通过page的方式管理的,内从管理系统分配和回收cache的最小单位是page。这个cache由多个page cache组成,每个page cache又包含多个buffer cache。VF(虚拟文件系统)和内从管理系统只与page cache交互,具体的文件系统和buffer cache交互。
 
2. 操作系统缓存读写方式
操作系统默认的读写都是有缓存的,如果想使用直接io,需要设置direct_io为true。缓存可以提高系统的读取速度,当第一次读取一个文件的时候,操作系统会把文件内从读入cache中,然后返回给用户;第二次读取的时候首先会从cache中检查,命中后返回给用户。
操作系统IO有通写和回写两种写方式:
write through (通写)
可以理解IO通过的地方都写入。这种方式在写数据时,先写cache再写磁盘,写磁盘成功后通知磁盘控制器返告知操作系统本次IO成功,操作系统再通知上层应用IO成功。
write back (回写)
操作系统把数据写入cache后便告知上层应用IO成功,其实此时并没有把数据持久化到磁盘介质。何时把cache刷入磁盘由操作系统的实现策略:比如cache空间满、调用sync显示的把cache刷入磁盘等。
注意:回写和异步写不同,异步写在写成功后会通知调用层,而回写在写入磁盘后不会通知调用层。所以回写成功只意味着写入操作系统缓存成功了,在返回io返回成功的情况下依然可能丢数据;而异步写告诉调用层io成功意味着数据已经被持久化到存储介质中了。
通写和回写优缺点:
write through
优点:无丢数据风险:由于返回IO成功即表示持久化成功,那么掉电也不会丢失任何数据,
缺点:写入速度慢:要写内存和磁盘两份数据
write back
优点:写入速度快:只要写入cache成功即可返回
缺点:有丢数据风险:如果cache中的数据没有刷入磁盘时断电,cache中的数据会丢失。
 
两种方式应用场景:
write through 一般应用在数据一致性要求高的场合
write back 写方式一般应用在对一致性要求不高且需要很好读写性能场景
 
下面以cp命令做个例子

 
 
a. 初始时系统cache为60M
b. 使用dd命令生成一个10M的块设备,此时iotest.dat数据被缓存到cache中,cache变为70M
c. cp iotest.dat iotest.dat.1 会直接从内存中读取iotest.dat文件,然后写入到cache中。难道cache此时缓存了两份iotest.dat的数据?
d. 继续调用cp iotest.dat iotest.dat.2,cache变为了90M。可见cache中写时缓存不会对内容去重,缓存了3分相同内容的文件(iotest.dat iotest.dat.1 iotest.dat.2)。
e. 继续调用cp iotest.dat iotest.dat.1,由于在cache中iotest.dat 和iotest.dat.1都已被缓存,所以此处cache不在发生变化。(此处猜测cache支持文件级别去重,不支持内容去重)

linux系统读写缓存的更多相关文章

  1. Linux系统清除缓存

    1)缓存机制介绍在Linux系统中,为了提高文件系统性能,内核利用一部分物理内存分配出缓冲区,用于缓存系统操作和数据文件,当内核收到读写的请求时,内核先去缓存区找是否有请求的数据,有就直接返回,如果没 ...

  2. LINUX - 文件读写缓存

    遇到一个进程core掉后日志打印不出来的问题: 参考如下: [引用] 只有正常退出,才能做到flush.否则将写失败. 之后有百度了下中文资料,发现同样的结论. "fflush库函数的作用是 ...

  3. Linux手动释放缓存的方法

    Linux释放内存的命令:syncecho 1 > /proc/sys/vm/drop_caches drop_caches的值可以是0-3之间的数字,代表不同的含义:0:不释放(系统默认值)1 ...

  4. linux系统缓存机制

    http://my.oschina.net/lenglingx/blog/425258 1.缓存机制 为了提高文件系统性能,内核利用一部分物理内存分配出缓冲区,用于缓存系统操作和数据文件,当内核收到读 ...

  5. 释放Linux系统缓存

    清理Linux缓存使用下面的命令 sync; echo 3 > /proc/sys/vm/drop_caches 需求与原理 下面介绍buffer与cache的差别: A buffer is s ...

  6. 在Linux系统中使用Vim读写远程文件

    大家好,我是良许. 今天我们讨论一个 Vim 使用技巧--用 Vim 读写远程文件.要实现这个目的,我们需要使用到一个叫 netrw.vim 的插件.从 Vim 7.x 开始,netrw.vim 就被 ...

  7. Ubuntu等Linux系统清除DNS缓存的方法

    buntu等Linux系统清除DNS缓存的方法 直接说方法: 如果系统下有nscd,那么就直接 sudo /etc/init.d/nscd restart 如果没有也没关系,网上接受的方法大都是 su ...

  8. Linux系统性能测试工具(九)——文件系统的读写性能测试工具之iozone

    本文介绍关于Linux系统(适用于centos/ubuntu等)的文件系统的读写性能测试工具-iozone: 参考链接: https://www.cnblogs.com/Dev0ps/p/788938 ...

  9. Linux系统的buff/cache缓存清理脚本

    cacheClean.sh #!/bin/bash # 日期: # 作者: 黄慧丰/何鹏举 # 说明: fastdfs所在的linux系统的buffer cache过大, 且并没有有效的自动回收, 因 ...

随机推荐

  1. js mvc框架

    介绍 使用过 JavaScript框架(如 AngularJS, Backbone 或者Ember)的人都很熟悉在UI(用户界面,前端)中mvc的工作机理.这些框架实现了MVC,使得在一个单页面中实现 ...

  2. 洛谷P1387最大正方形(dp,前缀和)

    题目描述 在一个n*m的只包含0和1的矩阵里找出一个不包含0的最大正方形,输出边长. 输入输出格式 输入格式: 输入文件第一行为两个整数n,m(1<=n,m<=100),接下来n行,每行m ...

  3. [Swift通天遁地]七、数据与安全-(9)文件的压缩和解压

    ★★★★★★★★★★★★★★★★★★★★★★★★★★★★★★★★★★★★★★★★➤微信公众号:山青咏芝(shanqingyongzhi)➤博客园地址:山青咏芝(https://www.cnblogs. ...

  4. HTML--form表单中的label标签

    小伙伴们,你们在前面学习表单各种控件的时候,有没有发现一个标签--label,这一小节就来揭晓它的作用. label标签不会向用户呈现任何特殊效果,它的作用是为鼠标用户改进了可用性.如果你在 labe ...

  5. 解决gradle project refresh failed: protocol family unavailable问题的几种方法

    Android Studio从版本1.5更新到2.1之后,打开Android Studio一直提示: gradle project refresh failed: protocol family un ...

  6. CSS——行内元素的margin与padding

    行内元素: 1.margin:0 20px:只可以定义左右. 2.pading:20px 20px 20px 20px:上下左右都有效 例如span: <!DOCTYPE html> &l ...

  7. 在Mac安装Scheme

    我也不知道安装的是Scheme这门语言还是编程环境还是其他的什么东西,反正能在控制台运行Scheme代码了.... 谁能告诉我怎么在sublime使用scheme.... 原地址 首先下载安装MIT- ...

  8. tac

    功能说明:反向显示文件内容. 参数选项: -b 在行前而非行尾加分隔标志. -r 将分隔标志视作正则表达式来解析. -s 使用指定字符串代替换行作为分隔标志.   cat命令与tac命令的对比:

  9. 配置Android的NDK开发环境(eclipse)

    ndk下载地址: http://blog.csdn.net/zhanghuoding/article/details/51345256 在eclipse设置ndk位置 右键你的工程,android t ...

  10. 使用原生JS的AJAX读取json全过程

    首先ajax(async javascript and xml)是用于前端与后端文件比如xml或者json之间的交互.他是一种异步加载技术,意味着你点击某个加载事件是再也不用刷新整个页面,而是发送局部 ...