1.  操作系统缓存
在linux世界里,一切可读写设备都可看作是文件。文件cache设计的好坏直接影响着文件系统和磁盘的性能。最直观的是使用free命令看到的cached列。

这里面的cached列就是操作系统缓存,操作系统会把空闲的内存拿来做缓存,提高系统性能。当然这里的cached不仅仅缓存文件的数据。操作系统的cache是通过page的方式管理的,内从管理系统分配和回收cache的最小单位是page。这个cache由多个page cache组成,每个page cache又包含多个buffer cache。VF(虚拟文件系统)和内从管理系统只与page cache交互,具体的文件系统和buffer cache交互。
 
2. 操作系统缓存读写方式
操作系统默认的读写都是有缓存的,如果想使用直接io,需要设置direct_io为true。缓存可以提高系统的读取速度,当第一次读取一个文件的时候,操作系统会把文件内从读入cache中,然后返回给用户;第二次读取的时候首先会从cache中检查,命中后返回给用户。
操作系统IO有通写和回写两种写方式:
write through (通写)
可以理解IO通过的地方都写入。这种方式在写数据时,先写cache再写磁盘,写磁盘成功后通知磁盘控制器返告知操作系统本次IO成功,操作系统再通知上层应用IO成功。
write back (回写)
操作系统把数据写入cache后便告知上层应用IO成功,其实此时并没有把数据持久化到磁盘介质。何时把cache刷入磁盘由操作系统的实现策略:比如cache空间满、调用sync显示的把cache刷入磁盘等。
注意:回写和异步写不同,异步写在写成功后会通知调用层,而回写在写入磁盘后不会通知调用层。所以回写成功只意味着写入操作系统缓存成功了,在返回io返回成功的情况下依然可能丢数据;而异步写告诉调用层io成功意味着数据已经被持久化到存储介质中了。
通写和回写优缺点:
write through
优点:无丢数据风险:由于返回IO成功即表示持久化成功,那么掉电也不会丢失任何数据,
缺点:写入速度慢:要写内存和磁盘两份数据
write back
优点:写入速度快:只要写入cache成功即可返回
缺点:有丢数据风险:如果cache中的数据没有刷入磁盘时断电,cache中的数据会丢失。
 
两种方式应用场景:
write through 一般应用在数据一致性要求高的场合
write back 写方式一般应用在对一致性要求不高且需要很好读写性能场景
 
下面以cp命令做个例子

 
 
a. 初始时系统cache为60M
b. 使用dd命令生成一个10M的块设备,此时iotest.dat数据被缓存到cache中,cache变为70M
c. cp iotest.dat iotest.dat.1 会直接从内存中读取iotest.dat文件,然后写入到cache中。难道cache此时缓存了两份iotest.dat的数据?
d. 继续调用cp iotest.dat iotest.dat.2,cache变为了90M。可见cache中写时缓存不会对内容去重,缓存了3分相同内容的文件(iotest.dat iotest.dat.1 iotest.dat.2)。
e. 继续调用cp iotest.dat iotest.dat.1,由于在cache中iotest.dat 和iotest.dat.1都已被缓存,所以此处cache不在发生变化。(此处猜测cache支持文件级别去重,不支持内容去重)

linux系统读写缓存的更多相关文章

  1. Linux系统清除缓存

    1)缓存机制介绍在Linux系统中,为了提高文件系统性能,内核利用一部分物理内存分配出缓冲区,用于缓存系统操作和数据文件,当内核收到读写的请求时,内核先去缓存区找是否有请求的数据,有就直接返回,如果没 ...

  2. LINUX - 文件读写缓存

    遇到一个进程core掉后日志打印不出来的问题: 参考如下: [引用] 只有正常退出,才能做到flush.否则将写失败. 之后有百度了下中文资料,发现同样的结论. "fflush库函数的作用是 ...

  3. Linux手动释放缓存的方法

    Linux释放内存的命令:syncecho 1 > /proc/sys/vm/drop_caches drop_caches的值可以是0-3之间的数字,代表不同的含义:0:不释放(系统默认值)1 ...

  4. linux系统缓存机制

    http://my.oschina.net/lenglingx/blog/425258 1.缓存机制 为了提高文件系统性能,内核利用一部分物理内存分配出缓冲区,用于缓存系统操作和数据文件,当内核收到读 ...

  5. 释放Linux系统缓存

    清理Linux缓存使用下面的命令 sync; echo 3 > /proc/sys/vm/drop_caches 需求与原理 下面介绍buffer与cache的差别: A buffer is s ...

  6. 在Linux系统中使用Vim读写远程文件

    大家好,我是良许. 今天我们讨论一个 Vim 使用技巧--用 Vim 读写远程文件.要实现这个目的,我们需要使用到一个叫 netrw.vim 的插件.从 Vim 7.x 开始,netrw.vim 就被 ...

  7. Ubuntu等Linux系统清除DNS缓存的方法

    buntu等Linux系统清除DNS缓存的方法 直接说方法: 如果系统下有nscd,那么就直接 sudo /etc/init.d/nscd restart 如果没有也没关系,网上接受的方法大都是 su ...

  8. Linux系统性能测试工具(九)——文件系统的读写性能测试工具之iozone

    本文介绍关于Linux系统(适用于centos/ubuntu等)的文件系统的读写性能测试工具-iozone: 参考链接: https://www.cnblogs.com/Dev0ps/p/788938 ...

  9. Linux系统的buff/cache缓存清理脚本

    cacheClean.sh #!/bin/bash # 日期: # 作者: 黄慧丰/何鹏举 # 说明: fastdfs所在的linux系统的buffer cache过大, 且并没有有效的自动回收, 因 ...

随机推荐

  1. Elasticsearch搜索常用API(利用Kibana来操作)

    上面我们已经介绍了Elasticsearch的一些基本操作,这篇文章属于进阶篇,我们一起来学习. 前面我们创建了sdb和user文档,现在我们来看如何查询user中所有的文档呢? GET /sdb/u ...

  2. BZOJ 3779 LCT 线段树 DFS序 坑

    hhhh抄了半天lty代码最后T了  对拍也没事.. 药丸 mine #pragma GCC optimize("O3") //By SiriusRen #include < ...

  3. mariadb的安装

    mysql (分支 mariadb)1.安装mariadb -yum -源码编译安装 -下载rpm安装 yum和源码编译安装的区别? 1.路径区别-yum安装的软件是他自定义的,源码安装的软件./co ...

  4. 《Java编程的逻辑》第一部分 编程基础与二进制

  5. Ajax——跨域访问

    同源 基本概念:同源策略是浏览器的一种安全策略,所谓同源是指,域名,协议,端口完全相同. //同一域名下,允许通讯 http://www.a.com/a.js http://www.a.com/b.j ...

  6. 【译】x86程序员手册19-6.3.2数据访问的约束

    6.3.2 Restricting Access to Data  数据访问的约束 To address operands in memory, an 80386 program must load ...

  7. RTL Compiler之Technology Library

    1 Target Library Design Compiler uses the target library to build a circuit. During mapping, Design ...

  8. HDU_1085_Holding Bin-Laden Captive!_母函数

    Holding Bin-Laden Captive! Time Limit: 2000/1000 MS (Java/Others)    Memory Limit: 65536/32768 K (Ja ...

  9. Android List,Set,Map集合安全 集合区别 并发集合类性能分析

    对于Android开发者来说深入了解Java的集合类很有必要主要是从Collection和Map接口衍生出来的,目前主要提供了List.Set和 Map这三大类的集合 Collection接口主要有两 ...

  10. Xamarin.Forms实现touch事件

    Xamarin.Forms的View没有touch事件,只能自己实现 首先,在共享项目里面,放入这几个类,结构大概是这样的: using System; using Xamarin.Forms; na ...