O_DIRECT和O_SYNC是系统调用open的flag参数.通过指定open的flag参数,以特定的文件描述符打开某一文件. 这两个flag会对写盘的性能有很大的影响,因此对这两个flag做一些详细的了解. 先看一个open函数的使用例子. /* Open new or existing file for reading and wrting, sync io and no buffer io; file permissions read+ write for owner, nothing…

春天来了,除了工作学习,大家也要注意锻炼身体,多出去运动运动.  上周末在元大都遗址公园海棠花溪拍的海棠花.   进入正题. O_DIRECT和O_SYNC是系统调用open的flag参数.通过指定open的flag参数,以特定的文件描述符打开某一文件. 这两个flag会对写盘的性能有很大的影响,因此对这两个flag做一些详细的了解. 先看一个open函数的使用例子. /* Open new or existing file for reading and wrting, sync io and…

在很多IO场景中,我们经常需要确保数据已经安全的写到磁盘上,以便在系统宕机重启之后还能读到这些数据.但是我们都知道,linux系统的IO路径还是很复杂的,分为很多层,每一层都可能会有buffer来加速IO读写.同时,用户态的应用程序和库函数也可能拥有自己的buffer,这又给IO路径增加了一些复杂性.可见,要想保证数据安全的写到磁盘上,并不是简单调一个write/fwrite就可以搞定的.那么要怎么做呢?很多人会想到很多办法,比如:fflush().fsync().fdatasync().syn…

背景 在很多IO场景中,我们经常需要确保数据已经安全的写到磁盘上,以便在系统宕机重启之后还能读到这些数据.但是我们都知道,linux系统的IO路径还是很复杂的,分为很多层,每一层都可能会有buffer来加速IO读写.同时,用户态的应用程序和库函数也可能拥有自己的buffer,这又给IO路径增加了一些复杂性.可见,要想保证数据安全的写到磁盘上,并不是简单调一个write/fwrite就可以搞定的.那么要怎么做呢?很多人会想到很多办法,比如:fflush().fsync().fdatasync().…

想着整理关于innodb_flush_log_at_trx_commit.innodb_flush_method.innodb_log_block_size和fsync().O_DIRECT.iops的关系,纯属这两天处理http://www.cnblogs.com/zhjh256/p/6519032.html帖子的问题,顺便整理下,以备下次不用各处重新汇总. innodb_flush_log_at_trx_commit用于控制commit的时候log_buffer同步到磁盘的行为,跟oracl…

aa.stp: probe kernel .function ( "sys_sync" ) { printf ( "probfunc:%s fun:%s\n",execname(),ppfunc()); print_backtrace();print_ubacktrace();exit();} A: [root@localhost ~]# sync B: stap -v aa.stp -d /lib64/libc-2.5.so -d /bin/sync probfu…

UNIX高级环境编程1 故宫角楼是很多摄影爱好者常去的地方,夕阳余辉下的故宫角楼平静而安详. 首先,了解一下进程的基本概念,进程在内存中布局和内容. 此外,还需要知道运行时是如何为动态数据结构(如链表和二叉树)分配额外内存的. 一 进程 1 进程和程序 进程:是一个可执行程序的实例. 程序:包含一系列信息的文件,这些信息描述了如何在运行时创建一个进程.包含如下信息: 二进制格式标识:如最常见的ELF格式. 机器语言指令:对程序算法进行编码. 程序入口地址:标识程序开始执行时的起始指令位置. 数据…

通过本文你会清楚知道 fsync().fdatasync().sync().O_DIRECT.O_SYNC.REQ_PREFLUSH.REQ_FUA的区别和作用. fsync() fdatasync() sync() 是什么? 首先它们是系统调用. fsync fsync(int fd) 系统调用把打开的文件描述符fd相关的所有缓冲元数据和数据与都刷新到磁盘上(non-volatile storage) fsync() transfers ("flushes") all modifie…

关于Redis我的一部分工作是阅读博客,论坛以及twitter时间线(time line).对于开发者来说,能够了解用户社区,非用户社区如果理解他正在开发的产品是非常重要的.据我所知,持久化特性是最易产生误解的Redis特性. 这篇博客中,我会尽力客观公正,不为Redis做宣传,不忽略可能让Redis出丑的诸多细节.我所期望的仅是说明Redis持久化机制,可靠性,以及和其他数据库系统相比较的优势. 操作系统与磁盘 首先需要考虑的是数据库的耐用性(durability).为此,我们看看一个简单的写…

原文在这里: http://pic.dhe.ibm.com/infocenter/lnxinfo/v3r0m0/index.jsp?topic=%2Fliaat%2Fliaatbpkvmguestcache.htm kvm中host和guest可以各自维护自己的缓存,这导致内存中可以有两份缓存数据.这里说的host上的缓存是页缓存,guest上的缓存则是说guest机上的disk write cache.一般至少要保留这两种缓存的其中一种.在linux上,不通过页缓存进行读写使用O_DIRECT…