HACK #17 如何使用ext4 本节介绍ext4的编写和挂载方法.开发版ext4的使用方法.ext4是ext3的后续文件系统,从Linux 2.6.19开始使用.现在主要的发布版中多数都是采用ext4作为标准文件系统.除了间接参照块管理以外,ext4还以扩展形式支持块的管理,使其能够处理更大的文件.文件系统.另外,还增加了确保多块(multiblock)注1.确保延迟块.提高fsck速度.碎片整理等新的功能.在ext3中,时间戳(time stamp)的单位为毫秒,而ext4中变成了纳秒,可

1章 内核入门HACK #1 如何获取Linux内核HACK #2 如何编译Linux内核HACK #3 如何编写内核模块HACK #4 如何使用GitHACK #5 使用checkpatch.pl检查补丁的格式HACK #6 使用localmodconfig缩短编译时间 第2章 资源管理HACK #7 Cgroup.Namespace.Linux容器HACK #8 调度策略HACK #9 RT Group Scheduling 与RT ThrottlingHACK #10 Fair Group

HACK #1 如何获取Linux内核 本节介绍获取Linux内核源代码的各种方法.“获取内核”这个说法看似简单,其实Linux内核有很多种衍生版本.要找出自己想要的源代码到底是哪一个,必须首先理解各种衍生版本的意义.接下来将简单介绍Linux内核的开发模式,并分析各种衍生版本在其中所处的地位,然后介绍获取这些衍生版本的源代码的方法.内核的种类想要获取正确的Linux内核源代码,首先必须了解Linux内核的开发模式.Linux内核是由多个开发者以分散型的模式进行开发的.这里出现的“分散型”,是指

HACK #21FUSE 本节将介绍使用用户进程的文件系统框架—FUSE.FUSE概要FUSE(Filesystem in Userspace,用户空间文件系统),是用来生成用户空间的一般进程的框架.使用FUSE,就可以以一般应用程序进程的形式生成独特的文件系统,与已有的文件系统同样进行挂载.从Linux 2.6.14开始实际安装FUSE.例如,在最近的Linux发布版中,有一些标准配置用于挂载Windows的文件系统NTFS的ntfs-3g(Ubuntu等).当连接到存在NTFS格式文件系统的

HACK #15 ramzswap 本节介绍将一部分内存作为交换设备使用的ramzswap.ramzswap是将一部分内存空间作为交换设备使用的基于RAM的块设备.对要换出(swapout)的页面进行压缩后,不是写入磁盘,而是写入内存.可以使用的内存仅为完成压缩的部分.压缩处理使用的是LZO注1.ramzswap是从Linux 2.6.33合并到Staging驱动程序的.Staging驱动程序是指尚未达到某种程度的质量的试验性驱动程序.通过使用ramzswap,运转速度可以比换出到一般磁盘设备时

HACK #13 使用Block I/O控制器设置I/O优先级 本节介绍使用Block I/O控制器的功能设置I/O优先级的方法.Block I/O控制器可以将任意进程分组,并对该分组设置I/O的优先级.这个功能是在Linux 2.6.33时添加到Linux内核中的.例如,在前台进行一般处理的同时,在后台磁盘备份处理的情况下,如果备份处理频繁地向磁盘进行I/O操作,前台的处理即使有I/O请求,也不能立刻进行I/O处理,结果导致前台处理的性能下降.Block I/O控制器在这种情况下就非常有效.创

HACK #12 使用Memory Cgroup限制内存使用量 Memory Cgroup是Cgroup的资源限制功能之一,可以控制特定进程可以使用的内存量.Memory CgroupMemory Cgroup是Cgroup(参考Hack #7)之一,用来控制进程所使用的内存(LRU管理的缓存)数量.其用法有很多种,例如,可以用来避免因一时处理较大文件或大量文件,而导致无用的页面缓存增大,内存资源紧张的情况.另外,还可以在多用户环境中限制各用户可以使用的内存量.用法Memory Cgroup是C

HACK #10 Fair Group Scheduling 本节介绍Cgroup之一.管理CPU资源的Fair Group Scheduling.Fair Group SchedulingFair Group Scheduling是Cgroup的资源管理之一,用来控制Linux内核的进程调度程序进行的CPU时间分配.与其他Cgroup进行的资源管理一样,可以对每个特定进程组进行资源(CPU分配时间)管理.使用这个功能,就可以在分组间对CPU分配时间进行调整.另外,Fair Group Sche

HACK #8 调度策略 本节介绍Linux的调度策略(scheduling policy).Linux调度策略的类别大致可以分为TSS(Time Sharing System,分时系统)和实时系统这两种.一方面,一般的进程是通过分时运行的.也就是说,使用CPU的时间达到分配给进程的时间(时间片)时,就会切换到其他进程.这种分时运行的调度策略称为TSS.另一方面,在实时制约较严格且要求保证实时的处理中,就需要指定静态的执行优先级,并严格按照执行优先级进行调度.对这种对应答性有要求的进程,可以使用

HACK #6 使用localmodconfig缩短编译时间 本节介绍使用make localmodconfig生成精简的.config文件,缩短内核编译时间的方法.为了能够应对各种各样的环境,发布版的内核包含很多内核模块.但是在某个特定机器,例如,大家自己平时使用的PC上实际用到的模块只是其中的极小一部分.重新构建内核时,对不使用的模块进行编译就会浪费时间.编译后的模块存放在磁盘里,因此也会造成磁盘空间的浪费.将localmodconfig作为make的目标,就可以生成仅以正在使用的内核模块为

HACK #7 Cgroup.Namespace.Linux容器 本节将介绍Cgroup与Namespace以及通过这两个功能实现的容器功能.CgroupCgroup(control group)是将任意进程进行分组化管理的Linux内核功能.Cgroup本身是提供将进程进行分组化管理的功能和接口的基础结构,I/O或内存的分配控制等具体的资源管理功能是通过这个功能来实现的.这些具体的资源管理功能称为Cgroup子系统或控制器.Cgroup子系统有控制内存的Memory控制器.控制进程调度的CPU

HACK #5 使用checkpatch.pl检查补丁的格式 本节介绍发布前检查补丁格式的方法.Linux内核是由多个开发者进行开发的.因此,为了保持补丁评估与源代码的可读性,按照统一的规则进行编写是非常重要的.编写规则写在Linux内核源代码的Documentation/CodingStyle中.所有开发者必须先阅读规则内容,遵照这些规则进行编写后再将补丁发布到论坛上.话虽如此,但要从一开始就将这些规则完全记住也是不太可能的.因此Linux内核的源码树内准备了用来检查补丁格式的脚本script

HACK #4 如何使用Git 本节介绍Git的使用方法.Git是Linux内核等众多OSS(Open Source Software,开源软件)开发中所使用的SCM(Source Code Management,源码管理)系统.在2005年以前,在Linux内核开发中一直使用一个叫做BitKeeper的SCM.但是由于后来BitKeeper的许可证被更改,可能会对开发造成障碍,因此Linux不得不改用新的SCM进行开发.在这种情况下,Linux内核的创始人Linus Torvalds就开发了G

HACK #3 如何编写内核模块 本节将介绍向Linux内核中动态添加功能的结构—内核模块的编写方法.内核模块Linux内核是单内核(monolithic kernel),也就是所有的内核功能都集成在一个内核空间内.但是内核具有模块功能,可以将磁盘驱动程序.文件系统等独立的内核功能制作成模块,并动态添加到内核空间或者删除.内核模块是可以动态添加到Linux内核空间的二进制文件,文件扩展名为ko.内核模块的编写方法大致有两种.一种是将内核源码树带有的功能编写为模块的方法(参考Hack #2),另一

HACK #2 如何编译Linux内核 本节介绍编译Linux内核的方法.当发现bug而修改源代码或者添加新功能时,就需要对内核进行重新编译,生成二进制映像文件.另外,如果想要使用发布版内核中无效的功能或者驱动程序时,或者相反地,想要删除不需要的功能从而使内核更精简.更快时,或者想使用最新版的上游内核时,也需要对内核进行编译.下面主要介绍对上游内核进行设置.编译以及安装的方法.当使用发布版内核的源码包管理系统来管理内核映像文件时,需要将内核映像文件打包.接下来以两个具有代表性的发布版Fedora

HACK #20 使用fio进行I/O的基准测试 本节介绍使用fio进行模拟各种情况的I/O基准测试的操作方法.I/O的基准测试中有无数需要考虑的因素.是I/O依次访问还是随机访问?是通过read/write的I/O?还是通过访问mmap的空间的I/O?是单一进程发出的I/O?还是多个进程同时发出的I/O?进程是受I/O限制还是受CPU限制?等等.如果使用fio,就不需要每次都根据不同情况来编写用于性能评估的程序,就可以模拟这些情况的I/O.安装fioFedora.Ubuntu等主流发布版中都备

HACK #16 OOM Killer的运行与结构(1) 本节介绍OOM Killer的运行与结构. Linux中的Out Of Memory(OOM) Killer功能作为确保内存的最终手段,可以在耗尽系统内存或交换区后,向进程发送信号,强制终止该进程. 这个功能即使在无法释放内存的情况下,也能够重复进行确保内存的处理过程,防止系统停滞.还可以找出过度消耗内存的进程.本节将介绍2.6内核的OOM Killer. 确认运行.日志 进行系统验证或负载试验时,有时会出现正在运行中的进程终止或者SSH

HACK #14 虚拟存储子系统的调整 本节介绍如何使用/proc进行虚拟存储子系统的调整.虚拟空间存储方式在Linux上向应用程序分配内存时,是通过以页面为单位的虚拟存储方式进行的.采用虚拟存储方式,在实际操作中具有不需要确保连续的物理内存(不用担心内存碎片)的优点.最近的处理器大部分都具备用于虚拟存储的处理器嵌入式TLB(Translation lookaside buffer,旁路转换缓冲区,或称为页表缓冲区)和处理不存在的页面访问的结构.除了部分嵌入式应用外,大多数Linux应用中都可以

HACK #11cpuset 本节介绍控制物理CPU分配的cpuset.cpuset是Linux控制组(Cgroup)之一,其功能是指定特定进程或线程所使用的CPU组.另外,除CPU以外,同样还能指定内存节点的分配.以前的内核具有CPU affinity功能,该功能将线程分配给特定CPU.现在的内核中虽然也有affinity(taskset命令),但推荐使用cpuset.用法使用cpuset前,必须通过内核config启用cpuset功能.CONFIG_CPUSETS=y最近的发布版在标准中就已

HACK #9 RT Group Scheduling 与RT Throttling 本节介绍对实时进程所使用的CPU时间进行限制的功能RT Group Scheduling和RT Throttling.RT Group Scheduling和RT Throttling功能是用来限制使用实时调度策略的进程的CPU时间.内核2.6.25以后的版本都可以使用这个功能.本节将介绍如何使用RT Scheduling和RT Throttling来限制实时进程的CPU时间.为了让Linux系统能够应用到需要