Linux文件系统十问,你知道吗?
一、磁盘构成及分区
结果是26.8G,和磁盘的总大小相符(至于fdisk给出的详细结果相差了约4M的大小,笔者也没有弄彻底明白,有兴趣的读者可以继续研究)。
方案一: 255个盘面,C盘是0-100盘面, D盘是101-200个盘面,……
二、 目录与文件
我们都知道第五列显示的是占用的空间大小,那么我来提个几个小小的问题吧。
(1)为什么目录占用的空间是4096?
(2)为什么空文件占用的空间却是0?
(3)如果空文件真占用0byte空间,那么该文件的文件名、创建者以及权限-rw-rw-r—等文件夹相关的信息都存到哪儿去了?
2、我就不信空文件不占用空间
为了解开这个谜底,需要借助df命令。输入df –i,
Linux结果中红框位置处显示的是inodes的相关信息,如果你对inode的概念不熟悉,你可以暂时把它当成一个操作系统秘密管理的一个家伙,会占用空间就行了。接下来我touch一个空的文件后再次df -i。
虽然前面操作系统告诉我们,一个新建的空文件占用的空间是0。但是这个实验却证明操作系统“欺骗”了我们,它消耗掉了一个inode。那么inode的节点大小是多少呢,使用dumpe2fs命令可以帮助我们查看到这个东东的实际大小。
在输出的结果中我们可以找到下面这行:
它告诉我们每个inode的大小是256Byte。当然这个大小每台机器都会不一样,它实际上是在系统格式化磁盘的时候决定的。
好了,开篇第二个问题也有答案了。原来新建一个空的文件是会占用磁盘空间的,实际占用的是256Byte。哦,不,准确的说法应该是一个inode size,具体的值是在格式化时决定的。
再说说新建空目录吧,前面说了新建空目录会占用4KB的磁盘空间。那么仅仅如此吗? 我们同样在新建目录前后都使用df –i来监视系统inode的占用。
原来目录也是会占用一个inode节点的,第三个问题也有了答案了,新建一个空目录会占用磁盘空间4KB + inode size。 哦,这个在你的系统上也不一定是4K,它实际上一个block size。同样在dumpe2fs下可以看到。
只不过我的磁盘在格式化时采用的是4KB的大小,呵呵!
3、神秘的空目录的4KB
前面的谜团解开了,可以作为攻城狮的我对另外一个东西产生了好奇心。就是空目录占用的那4KB,这些空间是用来存什么的呢?好神秘呀。
cd到我们新建的目录下查看。
我们再新建两个空的文件,再查看下目录的空间占用情况。
貌似,没有什么新发现。因为空文件不占用block,所以这里显示的仍然是目录占用的block,和之前大小没有变化。那么我继续使用php脚本创建100个文件名长度为32Byte的空文件。
这时我们发现目录占用的磁盘空间变大了,成了3个Block了。哈哈,这就解答了我们开篇的第四个问题,文件名是存在目录占用的block中的。接下来我又还证明了每个目录block中能保存的文件名个数是和文件名的长度有关的(好像有点废话的意思,不过亲手证明自己的猜想还是有点小爽的)。我又另外新建了个空目录,创建了100个文件名长度为32*3个空文件,该临时目录占用的磁盘空间如下:
你可能会问我为什么文件名变成了3倍后,占用的block数目为什么没有变成3倍。其实Linux文件系统关于文件的结构体中除了文件名以外,还有其它的一些字段的,文件名变长3倍不会导致结构体变大3倍的,这点可以参考Linux系统内核相关书籍。
好了,到现在开篇问题6也有了答案了。文件名长了当然会对系统性能产生影响,因为这可能会导致更多的磁盘IO。很多程序员都喜欢将文件命名为有意义的长串,使人一看文件名就知道用途。当然我没说这样不好,但是如果你的文件数量相当大的时候,你就要考虑你的文件名是否导致你的目录block占用太多了。占用的空间倒是小事,磁盘很便宜,但是你得考虑下在目录下查找文件时操作系统的感受,操作系统可需要用你你提供的文件名进行字符串比较,而且运气不好的话需要将其名下所有block都搞一遍才行啊。(当然了,你的文件名长度不变态,而且数量没有达到十万数量级的话实际上这个开销也不会太大,但是这个开销你还是知道的为好)
至于开篇问题5,文件名最长多长。实际上Linux操作系统就是为了避免程序员不节制地使用长文件名,强加了个限制,不得超过255byte。
另外,大家有没有经验,在目录下文件很多的时候,我们使用ls命令时会很慢。现在大家知道原因了吧,这时实际上操作系统在读取当前目录的所有block,如果block比较多的话,可能得需要多次IO操作才能完成这个简单的ls命令。
我在自己的电脑某个目录下创建了一100W个空文件,ls命令1分钟还没出结果,被我ctrl+c掉了。在自己的项目中可不要这么干,虽然操作系统可以cache住你的目录数据,使你下次调用时会块很多,但我还是建议你单个目录下文件数目不要过万。否则你的程序在重启后首次运行时可能会出现性能不佳的情况。
好了,回到开篇问题7,你有答案了吗?一个目录下最多能建多少个文件,这个最多其实是受限于你目录所在分区的inode数量,你有100W个inode,你最多就可以新建100W个文件。但是,上面说了,单个目录下文件数量最好不要过万,否则会带来系统性能的问题。
4、文件的block
再做个关于文件的实验。我新建了个空目录,并在其下新建了个文件,里面只写了一个空格数据,保存后du命令显示如下:
这8K里有4K是目录的,也就可以算出操作系统为只包含一个空格的文件分配了4KB。其实文件的block比较简单的了,不像目录的block里会存很多文件系统的结构体,文件的block里只会保存文件的数据。上面这个实验表明,操作系统分配空间时是以block为最小单位。也就是说只要你的文件数据不为空,操作系统就至少会给你分配一个block来存储,直到你超过了4KB,操作系统再给你分配下一个block,就是这样。所以对于开篇问题8,新建一个内容大小为1k的文件,实际会占用1个block(一般为4k)和一个inode(一般为256byte)。
其实文件系统在向磁盘发起IO请求的时候,也是以block size为单位的。哪怕你只向操作系统发起读取文件的2Byte,但是操作系统会一次性给你读取4KB回来。因此磁盘IO真的是很慢,而且我们只要访问了这2Byte,确实很有可能接下来继续访问这2byte后面的内容,这也就是程序局部性原理,所以操作系统索性一次性就多读取些回来了。呵呵,这就是开篇问题9的答案。
这就像我们去逛超市,逛一次真的是很浪费时间,这可要比坑爹的磁盘IO也慢许多了。我们总不会逛了一圈超市就买了一个苹果就回来了吧,我们肯定会多买些东西为家里以后的需求准备着,反正买一堆东西比买一个苹果也没多花多少时间,何乐为不为呢,就是这个道理。
再说说开篇问题10,我们攻城狮怎么样设计你的文件能提高一些IO速度呢?那就是如果你知道你的要新建的文件大概会占用多大的空间的话,比如1M。那么你新建文件时就顺便和操作系统说一下,让它帮你将文件的size预留下来。这样实际上操作系统时会尽可能为你分配连续的block,这样你再读取这个文件时,磁头就省去很多寻道时间了,IO速度就显得快多了。
三、写在后面的话
前面我们说的都是基于我自己的文件系统,情形是一个block size是4KB,一个inode size是256byte,包括我虚拟机上的inode数量才只有140多万个。这些值实际上不是固定的,你完全可以在格式化你的硬盘的时候设置成其它的值。设置的原则就是看你的硬盘的容量,以及你的用途。
如果你的文件都是大于4KB,甚至是几M,几G的文件,那么建议你的block还是尽可能的大一点吧,这样inode里就能少记几个地址。
如果你的文件大部分都是1K以下的,那么确实使用4K的block会造成一点点浪费,如果你的老板对成本要求异常苛刻的话,你可以适当考虑把你的block设置得小一点。
另外,要关注你的文件系统的inode。操作系统在查看目录和文件占用的磁盘空间信息时把inode节点的占用给隐藏起来了,其用意在于为用户提供一个白盒的环境,把数据占用的空间交给我们来认知,而把inode信息隐藏起来为了降低我们理解操作系统的难度。而实际上,我们作为非普通用户的开发人员应该具备这个知情权。这个东东直接关系到你文件系统能创建文件数量。否则哪天等你发现线上机器磁盘还剩大把大把的空间,但就是inode使用光了,那时候就只有重新格式化或者迁移服务器了。这两个操作想想都觉得苦逼啊,还是能避免就尽量避免吧。
Linux文件系统十问,你知道吗?的更多相关文章
- Linux文件系统十问---深入理解文件存储方式(rhel6.5,EXT4)【转】
本文转载自:https://blog.csdn.net/tongyijia/article/details/52832236 前几天在红黑联盟上看了一篇博客<Linux文件系统十问—深入理解文件 ...
- linux --> 文件系统十问
文件系统十问 参考:http://djt.qq.com/article/view/620 关于Linux文件系统相关的问题: 1.机械磁盘随机读写时速度非常慢,操作系统是采用什么技巧来提高随机 ...
- 十天学Linux内核之第五天---有关Linux文件系统实现的问题
原文:十天学Linux内核之第五天---有关Linux文件系统实现的问题 有时间睡懒觉了,却还是五点多醒了,不过一直躺倒九点多才算起来,昨晚一直在弄飞凌的嵌入式开发板,有些问题没解决,自己电脑系统的问 ...
- 十问 Linux 虚拟内存管理 (glibc) (二)
版权声明:本文由陈福荣原创文章,转载请注明出处: 文章原文链接:https://www.qcloud.com/community/article/184 来源:腾云阁 https://www.qclo ...
- Linux学习之二十-Linux文件系统
Linux文件系统 文件系统的定义 文件系统是操作系统的必备软件,文件系统是对一个存储设备上的数据(block)和元数据(inode)进行组织的一种机制.文件系统可以帮助用户管理磁盘空间,进行文件的快 ...
- 学习笔记:CentOS7学习之十四:linux文件系统
目录 1. 机械硬盘结构 1.1 机械硬盘结构 1.2 簇和block 2.文件系统结构 2.1 文件名 2.2 inode的内容 2.3 inode的大小 2.4 目录文件 2.5 block块大小 ...
- Linux 文件系统剖析
[转自]https://www.ibm.com/developerworks/cn/linux/l-linux-filesystem/ 按照分层结构讨论 Linux 文件系统 在文件系统方面,Linu ...
- 24小时学通Linux内核之有关Linux文件系统实现的问题
有时间睡懒觉了,却还是五点多醒了,不过一直躺倒九点多才算起来,昨晚一直在弄飞凌的嵌入式开发板,有些问题没解决,自己电脑系统的问题,虽然Win10发布了,,但我还是好喜欢XP呀,好想回家用用家里的XP来 ...
- Linux文件系统的设计
总论: linux的文件系统设计非常优秀,总的来讲有两大部分,第一部分就是树形的组织结构,第二部分就是vfs,树形的组织结构组织了文件系统的表象,用户非常方便的使用,而vfs是文件系统的实现机理,它处 ...
随机推荐
- android项目总体界面架构(可直接复用)
文章解读.效果图.源代码下载链接 http://blog.csdn.net/gao_chun/article/details/37903673
- CSS中选择器优先级顺序实战讲解
原文:CSS中选择器优先级顺序实战讲解 我们有些程序猿在给一个元素(比如div)应用样式的时候,会有一些疑问,为什么我写在后面的样式不能覆盖前面的样式呢,不是说CSS是层叠样式表吗? 如果你在开发中也 ...
- MongoDB的upsert状态判断和pymongo使用方法
在mongo中,有一个命令非常的方便,就是upsert,顾名思义就是update+insert的作用 根据条件判断有无记录,有的话就更新记录,没有的话就插入一条记录 upsert的使用方法: Mong ...
- Web Service单元测试工具实例介绍之SoapUI
原文 Web Service单元测试工具实例介绍之SoapUI SoapUI是当前比较简单实用的开源Web Service测试工具,提供桌面应用程序和IDE插件程序两种使用方式.能够快速构建项目和组 ...
- [译]在运行时内存中的Java对象是怎么样的
(文章翻译自What do Java objects look like in memory during run-time?) 我们知道函数在内存中是作为一个活动记录栈来实现的.而且我们知道Java ...
- 【SSH三个框架】Hibernate第八部分基础:经营-many关系
在Hibernate在-many关系.它通常不使用.由于当数据库查询复杂度太高时. 我们在这里做的是学生和教师,学生可以有多个老师,教师可以有多个学生. watermark/2/text/aHR0cD ...
- 【分布式存储系统sheepdog
】
Sheepdog,是由NTT的3名日本研究员开发的开源项目,主要用来为虚拟机提供块设备. 其架构例如以下: 以下,我们将从架构.模块等几个方面来介绍下: 一.架构图 如上图: 採用无中心节点的全对称架 ...
- jquery无缝滚动效果实现
demo如下: <!DOCTYPE html> <html lang="en"> <head> <meta charset="U ...
- SVN服务器搭建(1)
转自:http://www.cnblogs.com/xiaobaihome/archive/2012/03/20/2407610.html SVN服务器搭建和使用(一) Subversion是优秀的版 ...
- TRIGGER的使用(修改SP自动触发)
CREATE TRIGGER [trg_save_change_SP] ON DATABASE FOR CREATE_PROCEDURE, ALTER_PROCEDURE,DROP_PROCEDURE ...