由来:公司内部外网记录日志的方式现在都是通过Nginx模块收到数据发送到系统消息队列,然后由另外一个进程来从消息队列读取然后写回磁盘这样的操作,尽量的减少Nginx的阻塞. 但是由于System/V消息队列在使用前需要规定消息长度,且结构不一样需要重新定义消息格式等等...所以在增加需求的时候需要修改代码并重新编译,这样带来的坏处可想而知,外网服务器也会因此重启. 所以组内有同事准备在Nginx中加入异步写日志的功能,大致方式就是将数据写入到一块内存然后由另外一个进程读取然后flush到磁盘,或…

还有不到4个月就要毕业了,前几天半夜没事捣鼓小米路由没想到竟然实现了wifi的ipv6. 正好又安利了同学一台小米路由mini,从刷机到inode到ipv6全搞了一遍. 这里将教程写出来,服务学弟妹. 首先要感谢这些先行者给我提供的教程和软件资料: 小米路由器mini攻克inode h3c链接校园网攻略 中山大学东校区成功 小米路由器mini折腾之自动FQ篇 小米路由器mini折腾之自动opkg篇 分享一个PandoraBox的IPV6可用插件 准备工作: 一台小米路由mini 一个FAT或者F…

Inode详解 转自: Inode详解   一.inode是什么 理解inode,要从文件储存说起. 文件储存在硬盘上,硬盘的最小存储单位叫做"扇区"(Sector).每个扇区储存512字节(相当于0.5KB). 操作系统读取硬盘的时候,不会一个个扇区地读取,这样效率太低,而是一次性连续读取多个扇区,即一次性读取一个"块"(block).这种由多个扇区组成的"块",是文件存取的最小单位."块"的大小,最常见的是4KB,即连续八…

Linux inode节点 inode查看命令 stat 功能:列出文件大小,文件所占的块数,块的大小,主设备号和次设备号,inode number,链接数,访问权限,uid,gid,atime,mtime,ctime ruanyang@ruanyang-HP-ProDesk-680-G2-MT:~$ stat go 文件:"go" 大小:3657 块:8 IO 块:4096 普通文件 设备:802h/2050d Inode:13137033 硬链接:1 权限:(0775/-rwxrw…

内核使用3种数据结构表示打开的文件,他们之间的关系决定了在文件共享方面一个进程对另一个进程的影响. (1) 每个进程在进程表中都有一个纪录项,纪录项中包含一张打开文件描述符表,每个文件描述符各占一项,与每个文件描述符相关的是 a. 文件描述符标志 b. 指向一个文件表项的指针 (2) 内核为所有打开文件维护一张文件表项,每个文件表项包含: a. 文件状态(读 写 同步 非阻塞等) b. 当前文件偏移量 c. 指向改文件V节点(i节点)的指针 (3) 没打开一个文件或设备,都有一个V节点结构,V节…

From:http://www.ruanyifeng.com/blog/2011/12/inode.html  阮一峰大神真NB 作者: 阮一峰 日期: 2011年12月 4日 inode是一个重要概念,是理解Unix/Linux文件系统和硬盘储存的基础. 我觉得,理解inode,不仅有助于提高系统操作水平,还有助于体会Unix设计哲学,即如何把底层的复杂性抽象成一个简单概念,从而大大简化用户接口. 下面就是我的inode学习笔记,尽量保持简单. ========================…

分区里的inode号是0号和1号的block 我相信大家在使用Linux的时候都遇到过误删文件系统数据的情况,不管是自己误删还是帮人家恢复误删 现在用的比较多的恢复工具大概是ext3grep .extundelete 这两个 当然本文不是要说这两个工具的使用方法,而是介绍每个分区里的inode号为0或1号的block到底是什么 在使用ext3grep .extundelete 的时候,基本上都会有这样一个步骤 在Linux下可以通过“ls-id”命令来查看某分区目录的inode值,可以输入: […

1 软链接 linux中软链接理解成window中的快捷方式.创建软链接的命令 ln -s 源文文件或目录 目标文件或目录 2 硬链接 创建硬链接的命令如下 ln  源文文件或目录 目标文件或目录 3软链接和硬链接的区别 1:软链接就相当于快捷方式,删除源文件,快捷方式就没有意义了. 2:硬链接相当于备份了文件,但是还可以和源文件内容同步,删除源文件,硬链接文件任然有效. 3:软链接可以跨文件系统,但是硬链接不能 4:软链接的源文件的inode不相同,但是硬链接文件和源文件inode相同 关于软…

文件名 -> inode -> device block 一.inode是什么? 理解inode,要从文件储存说起. 文件储存在硬盘上,硬盘的最小存储单位叫做"扇区"(Sector).每个扇区储存512字节(相当于0.5KB). 操作系统读取硬盘的时候,不会一个个扇区地读取,这样效率太低,而是一次性连续读取多个扇区,即一次性读取一个"块"(block).这种由多个扇区组成的"块",是文件存取的最小单位."块"的大小…

一.inode是什么 理解inode,要从文件储存说起. 文件储存在硬盘上,硬盘的最小存储单位叫做"扇区"(Sector).每个扇区储存512字节(相当于0.5KB). 操作系统读取硬盘的时候,不会一个个扇区地读取,这样效率太低,而是一次性连续读取多个扇区,即一次性读取一个"块"(block).这种由多个扇区组成的"块",是文件存取的最小单位."块"的大小,最常见的是4KB,即连续八个sector组成一个block. 文件数据…

windows系统 下载c盘清理.bat到服务器,双击bat文件将自动清理 linux系统 先远程ssh登录上服务器,登录教程:http://www.west263.com/faq/list.asp?unid=417, 磁盘占满分两种情况,然后分别执行下面两个命令,看看自己属于哪种情况 磁盘block占满,查看命令: df  -vh 磁盘inode 占满,查看命令: df  -ih 一.block占满处理办法 需要用到的命令如下: ll 列出当前目录下的文件 df –vh  查看磁盘使用情况 c…

我们在进程中要怎样去描述一个文件呢?我们用目录项(dentry)和索引节点(inode).它们的定义如下: struct dentry {struct inode                                *d_inode; /* Where the name belongs to - NULL isstruct dentry                                *d_parent; /* parent directory */struct list…

硬连接和软连接,第一感觉就像是window的快捷方式,实则不然 要说硬连接和软连接,那就必须了解inode和block以及分区了 EXT文件系统在创建分区的时候,就划分了两块区域,inode table和date block INODE inode – index node ,索引节点 每一个inode固定分配了128bytes的空间 一个文件和目录对应着一个inode 多个文件可以对应一个inode 当访问一个文件的时候,发生了什么 首先会找到这个文件名对应的inode number,然后拿着…

inode是一个重要概念,是理解Unix/Linux文件系统和硬盘储存的基础. 我觉得,理解inode,不仅有助于提高系统操作水平,还有助于体会Unix设计哲学,即如何把底层的复杂性抽象成一个简单概念,从而大大简化用户接口. 下面就是我的inode学习笔记,尽量保持简单. 一.inode是什么? 理解inode,要从文件储存说起. 文件储存在硬盘上,硬盘的最小存储单位叫做”扇区”(Sector).每个扇区储存512字节(相当于0.5KB). 操作系统读取硬盘的时候,不会一个个扇区地读取,这样效率…

第一种情况: 问题: 如果想磁盘写入数据提示如下错误: No space left on device. 通过df -h查看磁盘空间,发现没满,请问可能原因是什么? 解答: 可能是inode数量被消耗尽了. df -i查看是否耗尽了inode数量. 企业工作中邮件临时队列/var/spool/clientmquene这里很容易被大量小文件占满导致No space left on device的错误. clientmquene目录只有安装了sendmail服务才会有.CentOS5.X默认会装se…

在hadoop2中查看网页中的/tmp目录出现下面的错误: Permission denied: user=dr.who, access=READ_EXECUTE inode="/tmp" 修改权限就好了....我原来一直纠结dr.who是什么鬼...不管他修改hdfs的权限就好了. $HADOOP_HOME/bin/hdfs dfs -chmod -R 755 /tmp #chmode要有-…

目录 . Linux inode简介 . Fast Directory Travel Method 1. Linux inode简介 0x1: 磁盘分割原理 字节 -> 扇区(sector)(每个扇区存储512字节) -> 块(block)(最常见的是4KB,即8个连续的sector组成一个block) . 磁盘的最小存储单位是"扇区" . 文件存储的最小单位是"块" 0x2: Linux EX2 filesystem 当一个partition(分区)被…

linux 在整个架构上可以看作是三层: 1.底层代码, (引导层strip) 跟硬件沟通的那一层的代码(可能是汇编+c), 驱动底层的; strain: n./v. 拉紧, 张力, 气质, 风格, 乐曲(这个词的意思很多): 中间层代码, OS层,用来管理文件系统,内存,作业调度等. 里面的实现包括很多文件,或 各种各样的数据结构, 数据库等等, (数据库也是由分散的文件构成的吧), 其中inode等等就是在这里支撑用户接触层的东东 表现层代码, 就是我们所看到的, 我们所接触的那些东西, 包…

硬盘的最小存储单位叫"扇区(sector)",每个扇区存储512字节(相当于0.5kb).系统读取硬盘时,只会读取多个sector即一个block.block 是文件存取的最小单位block的大小为4kb,也就是8*sector=1block. inode 是存放文件的元信息,如文件的创建者,文件件创建日期,文件的大小: * 文件的字节数 * 文件拥有者的User ID * 文件的Group ID * 文件的读.写.执行权限 * 文件的时间戳,共有三个:ctime指inode上一次变动…

内容源于<鸟哥的Linux私房菜> 认识 EXT2 文件系统 文件系统的特殊观察与操作 文件系统 superblock,inode,block superblock,inode,block数据简略说明: superblock:记录此 filesystem 的整体信息,包括inode/block的总量.使用量.剩余量, 以及文件系统的格式与相关信息等: inode:记录文件的权限与属性,一个文件占用一个inode,同时记录此文件的数据所在的 block 号码: block:实际记录文件的内容,若…

异常: org.apache.hadoop.security.AccessControlException: Permission denied: user=root, access=WRITE, inode="/user":hdfs:supergroup:drwxr-xr-x at org.apache.hadoop.hdfs.server.namenode.DefaultAuthorizationProvider.checkFsPermission(DefaultAuthoriza…

1.问题表现和检查 运行df -i / 查看inode使用是否满: 2.查看/var/spool/postfix/maildrop是否有非常多的小文件,ls直接卡死等情况 解决: 删除小文件: cd /var/spool/postfix/maildrop: ls | xargs rm -rf; 或者 find . -type f -exec rm -f {} \; vi /etc/crontab : 将‘MAILTO=root’替换成‘MAILTO="", 然后service cron…

 我们经常在Linux下可以看到inode,都不知道是什么东东,那么我们现在来慢慢了解下.   一.inode是什么? 理解inode,要从文件储存说起. 文件储存在硬盘上,硬盘的最小存储单位叫做"扇区"(Sector).每个扇区储存512字节(相当于0.5KB).   操作系统读取硬盘的时候,不会一个个扇区地读取,这样效率太低,而是一次性连续读取多个扇区,即一次性读取一个"块"(block).这种由多个扇区组成的"块",是文件存取的最小单位.&…

kernel: EXT4-fs (dm-0): Unaligned AIO/DIO on inode 1055943 by mysqld; performance will be poor…

关于磁盘空间中索引节点爆满的问题还是挺多的,借此跟大家分享一下: 一.发现问题在公司一台配置较低的Linux服务器(内存.硬盘比较小)的/data分区内创建文件时,系统提示磁盘空间不足,用df -h命令查看了一下磁盘使用情况,发现/data分区只使用了66%,还有12G的剩余空间,按理说不会出现这种问题. 二.分析问题:后来用df -i查看了一下/data分区的索引节点(inode),发现已经用满(IUsed=100%),导致系统无法创建新目录和文件.[root@bastion-IDC ~]#…

首先,我们要知道NAT中的每个表项都对应着MAIN AREA区域中NODE段的一个block,还要知道NODE block很特别,block末尾会有一个node footer结构: 243 struct node_footer { 244 __le32 nid; /* node id */ 245 __le32 ino; /* inode nunmber */ 246 __le32 flag; /* include cold/fsync/dentry marks and offset */ 24…

一 思路: 1,磁盘物理结构及大小计算 2,分区 MBR GPT知识 3,fdisk分区 挂载 自动挂载 4,格式化文件系统 5,inode block 软硬链接 查看磁盘: [root@moban dev]# ls sda sda sda1 sda2 sda3 二 MBR分区机制 512 446 66 ----- 64 分区模式 不能对已挂载的磁盘,进行操作. 只能读写数据. 如果想重新更改文件系统,--先卸载—然后修改fs 三 mount umount 四 inode block 分区被格式…

一.inode是什么 理解inode,要从文件储存说起. 文件储存在硬盘上,硬盘的最小存储单位叫做"扇区"(Sector).每个扇区储存512字节(相当于0.5KB). 操作系统读取硬盘的时候,不会一个个扇区地读取,这样效率太低,而是一次性连续读取多个扇区,即一次性读取一个"块"(block).这种由多个扇区组成的"块",是文件存取的最小单位."块"的大小,最常见的是4KB,即连续八个sector组成一个block. 文件数据…

Linux 下有时候某些文件无法使用 rm 直接删除, 比如该文件的文件名含有终端不能正确显示的字符.# ls -litotal 0441511 -rw-r--r-- 1 root root 0 Apr 6 23:13 ???}????当然如果该文件夹下没有别的文件. 可以直接 rm -rf * 删除,但是如果有别的不想删除的. 就只能通过 inode 删除了# find . -inum 441511 -deleterm -i `find . -maxdepth 1 -inum 45656 -p…

一个由INode节点爆满引起的业务故障 http://2358205.blog.51cto.com/2348205/1747951 好久没有写博文了,今天周六,分享一下刚刚处理完的一个小故障 现象描述: 运营妹纸那边反应运营后台报错,具体如下: 一开始以为是tmp的目录没有权限写入,查看目录权限,777,不是这个问题: 查看nginx的错误日志,部分错误信息如下,500错误: 113.xx.xx.48 - - [05/Mar/2016:19:33:09 +0800] "POST /index.p…