维护Linux服务器正常使用需要经常删除Linux系统运行产生的系统日志和业务环境产生的debug日志文件.安装包等.本文主要描述如何通过脚本实现清理业务环境产生的 debug日志文件和上传或备份的打包文件.原因是手工查找删除不同业务环境下的debug日志和安装包文件比较费时. 问题现象 df -h命令查看磁盘空间使用率即将达到100% 问题分析 文件占用或者已删除文件由于使用进程占用导致未释放.通常是第一种原因. 问题解决 1.利用df命令确定将磁盘空间即将耗尽的文件系统对应的目录. linu

### Linux磁盘与文件系统管理 linux 最传统的文件系统格式是EXT2,centos7 默认文件系统是xfs(日志式文件系统) 磁盘的组成: 盘片 机械手臂 主轴马达 (机械硬盘) 磁盘格式化:由于每种os所设置的文件的属性/权限不同,为了存放所需数据,所以要进行格式化供os利用 LVM将一个分区格式化为多个文件系统 superblock 文件系统的整体信息 (inode block总量 使用量 剩余量 文件系统格式等) inode 记录文件的属性(权限和文件属性) 一个文件一个ino

认识EXT2文件系统 文件的系统特性 Linux的正规文件系统为Ext2 文件数据除了文件实际内容外,还包括其他属性(文件权限.文件属性). 文件系统将这两部分数据分别存放在不同的块,权限和属性放在inode内,实际数据放在data block块中.此外还有一个super block,记录整个文件系统的信息. super block:记录文件系统的整体信息,包括inode/block的总量.使用量和剩余量. inode:记录文件的属性,一个文件或目录占用一个inode,同时记录文件数据所在的bl

Linux磁盘及文件系统管理 CPU,memory(RAM),I/O i/o: disks,ehtercard disks:持久存储数据 接口类型: IDE(ata): 并口,133MB/s;并行总线,双向四车道;并行数据容易产生干扰,导致数据损坏重传,因此效率低;并行越高,干扰频率越高 SCSI:并口,Ultrascsi320,320MB/s,UltraSCSI640,640MB/s;SCSI的费用更高; SATA: 串口,6Gbps;串行总线,有前后,不能并行传输; SAS:串口,6Gbps

Linux磁盘与文件系统管理 硬盘组成与分区 硬盘组成 圆形的盘片(主要记录数据) 机械手臂与磁头(可读取盘片上的数据) 主轴马达,转动盘片,让机械手臂的磁头在盘片上读取数据 扇区(Sector)为最小的物理存储单位,每个扇区512bytes 将扇区组成一个圆,那就是柱面(Cylinder),柱面是分区的最小单位 第一个扇区最重要,里面有硬盘主引导记录(Masterbootrecord,MBR)及分区表(partition table),其中MBR占446bytes,partition tabl

认识 EXT2 文件系统 Linux最传统的磁盘文件系统(filesystem)使用的是EXT2这个啦!所以要了解文件系统就得要由认识EXT2开始! 而文件系统是创建在硬盘上面的,因此我们得了解硬盘的物理组成才行.磁盘物理组成的部分我们在第零章谈过了,至于磁盘分区则在第三章谈过了,所以底下只会很快的复习这两部份. 重点在于inode, block还有superblock等文件系统的基本部分喔! 硬盘组成与分割的复习 由于各项磁盘的物理组成我们在第零章里面就介绍过, 同时第三章也谈过分割的概念了,

1 磁盘组成与分区 1.1 磁盘物理组成 (1)圆形盘片-记录数据 (2)机械手臂及磁头-读写盘片数据 (3)主轴马达-使得机械手臂成功读写数据驱动 1.2 盘片物理组成 (1)扇区-最小物理存储单位,512bytes (2)柱面-扇区组成的圆,分区的最小单位 (3)第一扇区-最重要的扇区,包含主引导记录MBR446bytes 以及 分区表PB 64bytes 1.3 磁盘接口在Linux中文件名 (1)/dev/sd[a-p][1-15]  为 SCSI . SATA . USB . Flas

1.1).文件系统特征 我们称呼一个可被挂载的数据为一个文件系统而不是一个分区! 文件系统通常会将这两部份的数据分别存放在不同的区块,权限与属性放置到 inode 中,至于实际数据则放置到 data block 区块中. 另外,还有一个超级区块 (superblock) 会记录整个文件系统的整体信息,包括 inode 与 block 的总量.使用量.剩余量等. 每个 inode 与 block 都有编号,至于这三个数据的意义可以简略说明如下: superblock:记录此 filesystem

上一篇文章主要从理论上分析了Linux的Ext2文件系统.这一篇主要解说怎样查看Linux的文件系统的容量以及解说Linux文件系统中的连接文件. 能够通过df和du命令来查看磁盘与文件夹的容量.df命令用来列出文件系统的总体磁盘容量,df命令的使用方法是 df  [-ahikHTm]  文件夹或文件名称.假设df命令不加不论什么參数,则默认将系统内全部的文件系统的容量以及使用情况都列出来.关于df命令还须要说明的是 df命令是查看文件系统的总体使用情况,因此是从Super block(见前一篇

在Linux下往往会碰到这样的问题,磁盘的设备文件,比如/dev/sda, sdb, sdc等等在某些情况下会混乱掉,比如sda变成了sdb或者sdc变成了sdb等等,这样无形中会导致磁盘设备管理的混乱,最常见的比如Linux文件系统的启动问题.很多人在遇到这种问题的时候都去找磁盘.阵列厂家,怀疑是他们的问题,其实这种底层的磁盘(单个磁盘或者RAID阵列)和Linux下磁盘设备文件的映射并不是磁盘.阵列厂家来决定的,而是Linux内核自身的原因. 目前Linux内核对于这种磁盘设备的映射基本上取

本文总结了Linux操作系统来管理我们的硬盘和文件系统需要使用命令.当我们在系统中增加一个硬盘驱动器.什么是我们需要去通过这个硬盘就可以真正使用步骤?下面步骤: (1)对磁盘进行分区,新建能够使用的分区: (2)对分区进行格式化.将分区格式化为我们操作系统可以使用的文件系统: (3)对新建好的文件系统进行检验: (4)创建挂载点,将该文件系统挂载上来. 接下来就介绍磁盘分区,格式化,检验和挂载的相关命令. 磁盘分区通过 fdisk命令进行.fdisk命令的基本用法 为"fdisk [-l]  设

RHCSA认证中的东西: Linux系统管理包括的内容有: 磁盘分区及文件系统管理 RAID LVM 网络属性管理 程序包管理 sed and awk 进程查看和管理 内核管理(编译和安装) 系统启动流程 定制.编译内核.busybox 系统安装:kickstart,dhcp,pxe shell脚本编程 linux磁盘管理及文件系统管理 先搞明白 CPU,Memory(RAM),I/O I/O设备有:Disks,Ethercard Disks:持久存储数据 磁盘的接口类型有: IDE(ata):

在做spark开发过程中,时不时的就有可能遇到租户的hive库目录下的文件个数超出了最大限制问题. 一般情况下通过hive的参数设置: val conf = new SparkConf().setAppName("MySparkJob") //.setMaster("local[1]").setMaster("spark://172.21.7.10:7077").setJars(List("xxx.jar")).set(&qu

在LINUX中我们知道一个很重要的概念,那就是"一切皆文件",这里的一切表示所有在LINUX系统的对象,自然也包括了LINUX中的硬盘设备.在LINUX中所有设备都被抽象成一个文件,保存在/dev目录下. LINUX系统中硬盘设备名称一般为hd[a-z]或sd[a-z](a-z为分区号),如hda,hdb,sda,sdb 那么这种不同的设备名有什么区别?在LINUX中IDE设备都会被抽象成hd[a-z]名称的文件,STAT.SCSI.SAS.USB等设备都会被抽象成sd[a-z]名称的

一.认识EXT2文件系统:     a.硬盘的组成:转动小马达+存储的磁盘+读写的机械臂     b.磁盘的一些概念              扇区为最小的物理储存单位,每个扇区为512B             将扇区组成一个圆,就是磁柱,磁柱是最小的分割单位             第一扇区最重要,a.主要开机区及分割表,其中MBR占有446B,而partition table 则占有64B    c.inode block superblock 三个数据的意义             in

虚拟机的磁盘通常为:/dev/vd[a-p] LVM和软件磁盘阵列 software RAID可以将一个分区格式化为多个文件系统或者多个分区格式化为一个文件系统. 索引式文件系统中:如ext2.ext3等 文件系统初始已经将inode和数据区块规划好,不再变动. 在磁盘的整体规划分区过程中,文件系统最前有启动扇区.之后为一个个块(block group).在block group下有: 超级区块:记录文件系统的整体信息,数据区块与inode的总量(已使用,未使用).区块大小(1k 2k 4k).

各种接口磁盘在Linux中的文件名分别为 /dev/sd[a-p][1-15]:为SCSI,SATA,USB,Flash随身碟等接口的磁盘文件名 /dev/hd[a-d][1-63]:为IDE接口的磁盘文件名 注:sd/hd为硬盘接口,即为sd接口还是ide接口.  a-p 字母为 硬盘的个数,即  a为第一块硬盘,b为第二块硬盘以此类推. 主分区,延伸分区(扩展分区),逻辑分区的区别. 硬盘分区有三种,主磁盘分区.扩展磁盘分区.逻辑分区. 一个硬盘主分区至少有1个,最多4个,扩展分区可以没有,

介绍一本书叫<Linux 鸟哥私房菜>, 一本教人用linux很经典的一本书,这两天又看了里面的一章节,做一点笔记.有一些很细节的东西的, 在平时运用过很容易被忽略. 1)U盘使用的文件格式一般是FAT格式,这种格式的读写的方式,是读定完一个black后才知道下一个black的位置.所以当各个black很分散,要做磁盘碎片整理. 2)Ext2是索引式文件系统,基本不太需要进行碎片整理. 3)Ext2一个block的大小是一般4K 4)block的大小与数量在格式化完就不能够再改变了,除了重新格

原文地址:http://vbird.dic.ksu.edu.tw/linux_basic/0230filesystem.php#filesys 创建大文件以制作 loop 装置文件!(练习非常有用) 想一想,既然能够挂载 DVD 的映象档,那么我能不能制作出一个大文件,然后将这个文件格式化后挂载呢? 好问题!这是个有趣的动作! 而且还能够帮助我们解决很多系统的分割不良的情况呢!举例来说,如果当初在分割时, 你只有分割出一个根目录,假设你已经没有多余的容量可以进行额外的分割的! 偏偏根目录的容量还

原文地址:http://vbird.dic.ksu.edu.tw/linux_basic/0230filesystem.php#filesys 查看文件系统参数命令 dumpe2fs 盘符地址 例: dumpe2fs /dev/sda5 利用 dumpe2fs 可以查询到非常多的信息,不过依内容主要可以区分为上半部是 superblock 内容, 下半部则是每个 block group 的信息了 如果想要实际观察 root 家目录内的文件所占用的 inode 号码时,可以使用 ls -i 或者

fdisk 常用的磁盘分区工具,受mbr分区表的限制,只能给小于2TB的磁盘划分分区,如果使用fdisk对大于2TB的磁盘进行分区,虽然可以分区,但只能识别2T的空间,一般使用parted分区工具 -l # 显示所有磁盘分区信息 [root@puppet105 ~]# fdisk -l Disk /dev/sda: bytes, sectors # 磁盘/dev/sda 的大小 Units = sectors of * = bytes # 每个柱面大小512字节 Sector size (log