在我的生活当中遇到磁盘快满了,这时候准备去删除一些大文件 于是我使用ncdu 查看了一下当前系统占用资源比较多的是那些文件,结果一看是elasticsearch的日志文件,好吧,竟然找到源头了,那就把它给删除了吧, 来到相应的路径下之后,然后粗暴一点,执行  rm   -rf   * 很高兴,终于把这些占用系统资源的坏东西给杀死了.满心欢喜的去查看磁盘情况. 给我当头一棒,磁盘并没有多大的变化,之后释放了100多M,但是我明明删除了30G的文件啊,这是怎么回事. 有问题不可怕,干净找baidu/…

背景介绍 最近看了linux系统编程(linux system programming)一书,结合深入理解linux内核(understanding the linux kernel)一书,深入理解了linux关闭文件还有删除文件的整个过程,并且本人第一次学着查看源码来仔细理解过程,这个过程中感觉自己也学习了很多,下次再要看源码的时候应该会轻松些(下次估计会学着用vim+ctags了),万事开头难呀,O(∩_∩)O~. 书上的内容加上一些自己的理解 关闭文件 当程序完成对某个文件的操作之后,可以…

/********************************************************************** * Linux大文件分割splite * 说明: * 编译RK3288 Android源代码的时候发现,Android源代码是tar包被分割成四份, * 查了一下资料才知道用了splite进行分割: * * 2018-5-7 深圳 宝安西乡 曾剑锋 *****************************************************…

Linux下文件搜索.查找.查看命令 1.最强大的搜索命令:find 查找各种文件的命令 2.在文件资料中查找文件:locate 3.搜索命令所在的目录及别名信息:which 4.搜索命令所在的目录及帮助文档路径:whereis5.在文件中搜寻字符串匹配的行并输出:grep6.分页显示一个文件或任何输出结果:more7.分页显示一个文件并且可以回头:less8.指定显示前多少行文件内容:head9.指定显示文件后多少行内容:tail10.查看一个文件:cat11.查看文件内容多少字符多少行多少字…

今天在一台Linux系统里,使用df命令查看磁盘使用情况,发现/根分区使用了100% 然后删除一大文件/var/lib/pgsql/9.1/pgstartup.log,再使用df查看使用情况,显示内容不变.如下图所示: 在网上查了下,好像说是inode的原因,还没真正删除,也没怎么说清楚,于是笔者使用如下命令进行查看: [root@ ~]# lsof |grep deleted //lsof命令可显示系统打开的文件 经过命令我们可以看出虽然/var/lib/pgsql/9.1/pgstartup…

本文主要介绍linux下两个命令:split和cat.其中,相信大家都熟悉cat命令,一般用来查看一个文件的内容,但是它还其它的功能,比如这里要介绍的文件合并功能,它可把多个文件内容合并到一个文件中.从split词义不拿理解,其为分割之意,常用于分割大文件.下面详细介绍. split命令 — 分割文件 语法:split [–help][–version][-][-l][-b][-C][-d][-a][要切割的文件][输出文件名] –version 显示版本信息 – 或者-l,指定每多少行切割一次…

git push报错: github不能上传大文件,按道理删掉重新提交就行了 可是删掉后,git add -A,再git commit,再git push,依然报错 后来我想明白了 github上传时候,其实不止是push当前版本,还要push所有历史版本,如果之前某次commit没有上传,那么这个历史版本也要默认push 为此,解决办法: 1,用git cherry命令查看所有commit但没push的历史版本 2,再用git reset [版本id]命令撤销之前的版本 值得注意的是git r…

一个执着于技术的公众号 日常工作中需要对日志文件进行分析,当日志文件过大时,Linux中使用vim.cat.grep.awk等这些工具对大文件日志进行分析将会成为梦魇,具体表现在: 执行速度缓慢,文件内容需要加载到内存中,涉及大量的磁盘读: 耗费资源过多,一个4G空间的日志文件需要至少4G的内存,更大的呢? 内容难以复用,分析过滤文件时会用管道对输出文件进行处理,大文件下难以复用: 文件传输困难,大文件需要传输给其他人进行分析,文件太大,全量传输带宽耗费大. 1 查阅大文件之痛 大数据离线处理框…

在生产环境中有时候可能会遇到大文件的读取问题,但是大文件读取如果按照一般的手法.如cat这种都是对io的一个挑战,如果io扛得住还好,如果扛不住 造成的后果,如服务器内存奔溃,日志损坏 方法一: sed 例子: 按照你自己的日志格式 sed -n '/14\/Mar\/2015:21/,/14\/Mar\/2015:22/p' access.log >/home/test/test.log 新生成的test.log就是那个时间段的 方法二: 类似python的第三方工具 word='abc' w…

set选项与shopt选项是两组不同的内容,用set -o和shopt -p可以分别查看两个组所有的打开和关闭的条目, 在默认状态下,有些是打开的,有些是关闭的,shopt各选项随着bash版本的更新会有增加,与shopt相关的基本操作如下: # shopt -p 列出所有选项# shopt -s 列出所有打开的选项# shopt -s extglob 打开extglob选项# shopt -u 列出所有关闭的选项# shopt -u extglob 关闭extglob选项 举列说明:cdspe…