4.1 缓存 buff 说明

  一般设置缓存 buff  的大小是由一定的规律的,就是根据磁盘块的大小来定。

  Linux下输入命令: df -k  查看磁盘

  

  可以用命令查看下 /dev/sda1 磁盘的磁盘说明

 sudo tune2fs -l /dev/sda1

  

  Block size 就是磁盘块的大小,这个磁盘块的大小为 4M ,那么就可以设置缓存 buff 大小为 4096,一次就可以将数据写入。

  设置的缓存大小最好与磁盘块的大小保持一致,有利于提升读写文件的效率。

4.2 操作文件中内核数据结构简要介绍

  • 一个打开的文件再内核中使用三种数据结构表示

    • 文件描述符

      • 文件描述符标志
      • 文件表项指针
    • 文件表项
      • 文件状态标志

        • 读、写、追加、同步和非阻塞等状态标志  
      • 当前文件偏移量
      • i 节点表项指针
      • 引用计数器  
    • i 节点   
      • 文件类型和对该文件的操作函数指针
      • 当前文件长度
      • 文件所有者
      • 文件所在的设备、文件访问权限
      • 指向文件数据在磁盘上所在位置的指针等   

  

4.3 原子操作

4.3.1 介绍

  主要是open 函数中的文件追加和文件创建

  • 文件追加

    • 打开文件时,使用 O_APPEND 标志,进程对到文件偏移量调整和数据追加成为原子操作
    • 内核每次对文件写之前,都将进程的当前偏移量设置为该文件的尾端。这样不再需要 lseek 来调整偏移量  
  • 文件创建
    • 对 open 函数的 O_CREAT 和 O_EXCL 的同时使用,而该文件存在,open 将失败,否则创建该文件,并且使得文件是否存在的判定和创建过程成为原子操作。  

  例子:两个进程对同一文件进行追加,没有使用 append 的时候

  file_append.c

 #include <sys/types.h>
#include <sys/stat.h>
#include <fcntl.h>
#include <unistd.h>
#include <string.h>
#include <errno.h>
#include <stdlib.h>
#include <stdio.h>
#include <fcntl.h> int main(int argc, char *argv[])
{
if(argc < ) {
fprintf(stderr, "usage: %s content destfile\n", argv[]);
exit();
} int fd;
int ret;
size_t size; fd = open(argv[], O_WRONLY);
if(fd < ){
perror("open error");
exit();
} //定位到文件尾部
ret = lseek(fd, 0L, SEEK_END);
if(ret == -) {
perror("lseek error");
close(fd);
exit();
} sleep(); //睡眠 10s //往文件中追加内容
size = strlen(argv[]) * sizeof(char);
if(write(fd, argv[], size) != size) {
perror("write error");
close(fd);
exit();
} return ;
}

  编译:gcc -o bin/file_append src/file_append.c

  创建一个  append.txt 文件,然后开启两个终端运行此程序

  第一个终端:

  第二各终端:

  第二个终端在第一个终端之后运行,运行完之后,查看 append.txt 的内容:

  

  现象上说明,第二个终端的写入将第一个终端的写入给覆盖掉了。

  第一个进程运行的时候,文件表项中的当前偏移量来源于 i 节点的文件长度(即调用 lseek 的时候),第二个进程运行的时候也是用 lseek 来获取偏移量,但是 i 节点中的文件长度没有增加,所以文件表项中的 当前偏移量 依然未变,因此第二个进程追加的内容覆盖掉了第一个进程中的内容。

  要想不覆盖,则要使用原子操作。将 open 和 注释掉 lseek 的代码做修改:

     //fd = open(argv[2], O_WRONLY);
fd = open(argv[], O_WRONLY | O_APPEND);

  删除 appent.txt 中的内容,然后再次在两个终端中运行两个程序:

  

  加了 O_APPEND 后,write 函数做了几件事情,此时整个 write 成为一个原子操作,只有当第一个进程的 write 执行完后,第二个进程的 write 才后执行:

  1. 从 i 节点中读取文件长度作为当前偏移量
  2. 往文件中写入数据
  3. 修改 i 节点中文件操作

四、文件IO——内核数据结构和原子操作的更多相关文章

  1. 第3章 文件I/O(3)_内核数据结构、原子操作

    3. 文件I/O的内核数据结构 (1) 内核数据结构表 数据结构 主要成员 文件描述符表 ①文件描述符标志 ②文件表项指针 文件表项 ①文件状态标志(读.写.追加.同步和非阻塞等状态标志) ②当前文件 ...

  2. Unix系统编程()深入探究文件IO概述

    open调用将引入原子atomicity操作的概念. 将某一系统调用所要完成的各个动作作为不可中断的操作,一次性加以执行. 原子操作是许多系统调用得以正确执行的必要条件. 还介绍一个系统调用fcntl ...

  3. 文件IO

    在unix世界中视一切为文件,无论最基本的文本文件还是网络设备或是u盘,在内核看来它们的本质都是一样的.大多数文件IO操作只需要用到5个函数:open . read . write . lseek 以 ...

  4. UNIX高级环境编程(14)文件IO - O_DIRECT和O_SYNC详解 < 海棠花溪 >

    春天来了,除了工作学习,大家也要注意锻炼身体,多出去运动运动.  上周末在元大都遗址公园海棠花溪拍的海棠花.   进入正题. O_DIRECT和O_SYNC是系统调用open的flag参数.通过指定o ...

  5. linux中文件内核数据结构

    3.文件io 3.1 文件内核数据结构 3.2 复制文件描述符的内核数据结构 3.3 对指定的描述符打印文件标志 #include "apue.h" #include <fc ...

  6. 《UNIX环境高级编程》笔记——3.文件IO

    一.引言 说明几个I/O函数:open.read.write.lseek和close,这些函数都是不带缓冲(不带缓冲,只调用内核的一个系统调用),这些函数不输入ISO C,是POSIX的一部分: 多进 ...

  7. linux中文件IO

    一. linux常用文件IO接口 1.1. 文件描述符 1.1.1. 文件描述符的本质是一个数字,这个数字本质上是进程表中文件描述符表的一个表项,进程通过文件描述符作为index去索引查表得到文件表指 ...

  8. (二) 一起学 Unix 环境高级编程 (APUE) 之 文件 IO

    . . . . . 目录 (一) 一起学 Unix 环境高级编程 (APUE) 之 标准IO (二) 一起学 Unix 环境高级编程 (APUE) 之 文件 IO (三) 一起学 Unix 环境高级编 ...

  9. linux内核数据结构学习总结

    目录 . 进程相关数据结构 ) struct task_struct ) struct cred ) struct pid_link ) struct pid ) struct signal_stru ...

随机推荐

  1. luogu4728 双递增序列 (dp)

    设f[i][j]表示以i位置为第一个序列的结尾,第一个序列的长度为j,第二个序列的结尾的最小值 那么对于f[i][j],有转移$f[i+1][j+1]=min\{f[i+1][j+1],f[i][j] ...

  2. CF932E Team Work(第二类斯特林数)

    传送门:CF原网 洛谷 题意:给定 $n,k$,求 $\sum\limits^n_{i=1}\dbinom{n}{i}i^k\bmod(10^9+7)$. $1\le n\le 10^9,1\le k ...

  3. centos7修改默认网卡名称

    问题场景: 使用centos7有好一阵子了,安装过centos7的朋友都会发现网卡命名跟6.x系统的不一样,类似ifcfg-eno16780032, ens192,或者enp2s0等其他不习惯的.不容 ...

  4. ACM-ICPC 2018 焦作赛区网络预赛 G. Give Candies (打表找规律+快速幂)

    题目链接:https://nanti.jisuanke.com/t/31716 题目大意:有n个孩子和n个糖果,现在让n个孩子排成一列,一个一个发糖果,每个孩子随机挑选x个糖果给他,x>=1,直 ...

  5. yd的汇总

    因为是我这只蒟蒻个人的汇总嘛,可能有些奇♂怪的东西或者不规范的语言出现啦,见谅见谅 搬了一些到知识汇总里,删了一些过时和无用的,少了好多=.= 1.STL_queue 经实践验证,!qs.empty( ...

  6. JAVA版本8u171与8u172的区别

    用了java 7好几年了,今天闲来无事,想升级到 java 8,到官网下载的时候发现JAVA放出了8u171与8u172两个版本. 什么情况? 百度一下找到答案:https://blog.csdn.n ...

  7. 在Java中调用与系统有关的剪切板Clipboard

    java从1.5版开始已经能与系统的剪切板很好的交互了. 如果可以在程序中直接调用系统的剪切板来保存“复制”的对象内容,那可以说的比之前的想法好很多. 下面是一个对java.io.File对象进行co ...

  8. log.error("异常:", e);与log.error(e.getMessage());区别

    转: log.error("异常:", e);与log.error(e.getMessage());区别 2017年04月28日 14:51:32 行走的soong 阅读数:120 ...

  9. Idea + Git + GitLab 使用

    首先去下载Git,https://git-scm.com/ 安装好之后,打开Idea--->Settings,,,设置Git路径,然后点击Test按钮 然后是GitLab,一般企业内部开发都会有 ...

  10. POJ 3463 Sightseeing (次短路经数)

    Sightseeing Time Limit: 2000MS   Memory Limit: 65536K Total Submissions:10005   Accepted: 3523 Descr ...