今天公司网站突然无法访问,因为之前遇到过是因为磁盘问题,所以使用 df 命令查看结果,结果果然是有100%的东西,那么怎么解决呢,我们想到得查找大文件,并删掉无用的大文件比如log 那么linux如何查找大文件呢??其实很多时候,你需要了解当前系统下有哪些大文件,比如文件大小超过100M或1G(阀值视具体情况而定).那么如何把这些大文件搜索出来呢?例如我要搜索当前目录下,超过800M大小的文件使用:find . -type f -size +800M 我们看到2个log文件超过了800M,经确认

linux下使用split 来分割大文件 2010-07-27 15:46:27|  分类: 技术文稿 |  标签:split  分割  linux   |字号 订阅   平常都是使用ssh来进行远程操作和传输文件 , 这个工具可以很方便的实现我们所需要的功能,一直使用正常,没遇到什么问题,今天因为需要传一个412M的文件 , 无论如何也传不过来, 一直系统报错.无奈之下GOOGLE了一下,发现可以使用split命令来切割文件,以方便进行文件传输. [root@localhost databas

app/test/target/ #查看大文件 git rev-list --objects --all | grep "$(git verify-pack -v .git/objects/pack/*.idx | sort -k 3 -n | tail -5 | awk '{print$1}')" #删除大文件或者目录 git filter-branch --force --index-filter 'git rm -rf --cached --ignore-unmatch app/

很常见的一个问题 linux磁盘空间满了 但是没有大文件 解决思路: 1.用df 检查发现/根目录可用空间为0 [root@/]#df -h 2.用du检查发现各目录占用的空间都很少,有约3G的空间莫名其妙地丢了. [root@/]# du -m –max-depth=1|sort -gr 3.用lsof检查后才发现原因是,有文件被删除,而进程还活着,因而造成还占用空间的现象 [root@/]# lsof |grep delete 根据lsof列出的进程号,kill这些进程后,空间就释放出来了

删除Git记录里的大文件 仓库自身的增长 大多数版本控制系统存储的是一组初始文件,以及每个文件随着时间的演进而逐步积累起来的差异:而 Git 则会把文件的每一个差异化版本都记录在案.这意味着,即使你只改动了某个文件的一行内容,Git 也会生成一个全新的对象来存储新的文件内容.久而久之,Git 仓库会变得十分臃肿. 解决办法 step 1. 把代码拉到本地 git clone git@github.com:congyucn/GAN-102CategoryFlower.git step 2. 查看占

Linux如何使用cURL分割下载大文件 - 51CTO.COM http://os.51cto.com/art/201508/489368.htm

Linux 查看磁盘容量.查找大文件.查找大目录 磁盘统计 查看磁盘使用情况 df -h 文件统计 查找/home 目录下大于800M的文件 find /home -type f -size +800M 查找/home 目录下大于800M的文件,并且使用ls -l 命令输出详细信息 find /home -type f -size +800M -print0|xargs -0 ls -l 查找/home 目录下大约800M的文件,并且使用du -h 命令输出文件的大小 find /home -t

今天在逛论坛时发现网友提的一个问题: 今天做实验发现,当前活动日志丢失后,数据库居然还可以正常写数据,还可以正常提交,如果是ORACLE,这个时候数据库已经崩溃了,很奇怪DB2这个时候把事务写到哪儿去了. 回想起自己当初在db2环境中,好像真的有类似的经历,删除了一些关键的文件,数据库竟然没有挂掉,但是关闭后再想启动就出问题了.一直没能得出解释... 经网友解答,这是linux/unix下面出现的现象,我之前的实验平台也是linux. 产生这样的原因是因为,linux/unix下删除其他程序正在

早上小伙伴告诉我,他无法拉下代码,我没有在意.在我开始写代码的时候,发现我的 C 盘炸了.因为我的磁盘是苏菲只有 256G 放了代码就没空间了,于是我查找到了原来是我的代码占用了居然有 2000+M ,寻找了很久才发现,原来我小伙伴JAKE传了一个压缩包上去,一个1G的包. 那么如何把这个压缩包彻底从 git 删除? 如果需要删除 git 的历史记录,使用方法很简单,请看 Git如何永久删除文件(包括历史记录) - shines77 - 博客园 .当然这个方法需要很长时间,因为提交大文件的时间不

dd命令可以轻易实现创建指定大小的文件,如 dd if=/dev/zero of=test bs=1M count=1000 会生成一个1000M的test文件,文件内容为全0(因从/dev/zero中读取,/dev/zero为0源). 但是这样为实际写入硬盘,文件产生速度取决于硬盘读写速度,如果欲产生超大文件,速度很慢. 在某种场景下,我们只想让文件系统认为存在一个超大文件在此,但是并不实际写入硬盘. 则可以dd if=/dev/zero of=test bs=1M count=0 seek=

推荐阅读:为什么你的 Git 仓库变得如此臃肿 有时候我们不小心提交了一些大文件上去,后来删除了,但是已经于事无补了,整个git的提及已经蹭蹭上去了. 这个时候怎么办呢? 1. 查看有哪些大文件(top 5) git rev-list --objects --all | grep "$(git verify-pack -v .git/objects/pack/*.idx | sort -k 3 -n | tail -5 | awk '{print$1}')" 2. git filter

一,fallocate的用途? 1,用途 我们有时需要用大文件来测试下载速度, 有时需要用大文件来覆盖磁盘空间, 如果在网上搜索,很多文章讲的是使用dd等工具, 事实上linux系统已经内置了生成大文件的工具, fallocate 使用非常的方便 2,fallocate和truncate有所区别 fallocate:为文件预分配物理空间,不是生成空洞文件 而且fallocate分配的空间在磁盘的扇区上是连续的, 能减少后续写入和读取文件时的磁盘寻道的资源开销 truncate:生成的是空洞文件,

dd命令可以轻易实现创建指定大小的文件,如 dd if=/dev/zero of=test bs=1M count=1000 会生成一个1000M的test文件,文件内容为全0(因从/dev/zero中读取,/dev/zero为0源) 但是这样为实际写入硬盘,文件产生速度取决于硬盘读写速度,如果欲产生超大文件,速度很慢 在某种场景下,我们只想让文件系统认为存在一个超大文件在此,但是并不实际写入硬盘 则可以dd if=/dev/zero of=test bs=1M count=0 seek=100

今天发现机器上有一文件名为 ~~test 的文件名,欲删除之 ,报错查了下, 发现如下解决方法 假设Linux系统中有一个文件名叫“-test”.如果用户想删除它,按照一般的删除方法在命令行中输入“rm -test”命令后,界面会提示是“无效选项”(invalid option).原因是Linux把文件名的第一个字符为“-”当作选项了.用户可以使用“--”符号来解决这个问题.输入“rm -- -test”命令便可顺利删除名为“-test”的文件.如果是其它特殊字符的话可以在特殊字符前加一个“”符

有时候会遇到这样的需求,比如log日志文件,这个文件很大,甚至上百M,需要把所有的日志拿来做统计,这时候我们如果用单进程来处理,效率会很慢.如果我们想要快速完成这项需求,我们可以利用Linux的一个利器split,先根据这个文件的总大小.总行数,来按照一个比例来分割,在根据分割的文件数量,fork出一定比例合适的子进程数量分批处理,那么效率可想而知. linux的split可以看这篇文章来学习测试下Centos文件切割利器_split命令及cat命令合并文件 //shell # split -l

删除目录下大小为0的文件 rm -f 删除当前目录下面所有 test 文件夹下面的文件 find ./ -name "test" -type d -exec rm -rf {} ; 删除文件夹下面的所有的.py文件 find ./ -name '.py' -exec rm -rf {} ; 显示当前路径下,大于50M的文件 find ./ -size +50M 删除当前路径下,大于50M的文件 find ./ -size +50M -exec rm {} \;

需求说明: 今天在做mysql数据导入的过程中,导入到最后有一个报错,报某张表不存在.然后就想看看这行到底是在做什么操作的时候报的错误. 报错信息: [mysql@host---- ~]$ cat nohup.out mysql: [Warning] Using a password on the command line interface can be insecure. ERROR (42S02) at line : Table 'prod.pm_store_chnl_relation'

在做软连接的时候,想到一个问题,如果删除软连接,会不会删除源文件. 如果删除是真删除的话,一旦操作错误那就后悔去吧. 效果是这样的:#rm -rf pp/          如果pp是软连文件夹,那么这样删除就会把源文件删除掉  把后面的斜杠去掉就没事了,一般使用tab快捷键的时候都会自带出斜杠. 所以如果不确定是不是要删除的文件夹中是否包含软连,那么删除的时候就把斜杠去掉,以防万一.

1. 文件名含有特殊字符,直接使用 rm 可能删除不了,可以使用如下方法: 1) 使用 ls -i 查处该文件的 inode 号,假设为123    2) 使用find命令删除: rm `find ./ -inum 123` 2. 如果文件名是以 - 连字符开头的,可以使用如下方法来删除,如删除 "-filename" 文件: rm -- -filename      rm ./-filename

find / -type f -size +100000k |xargs ls -lh|awk '{print $9 ":" $5}'

在我的生活当中遇到磁盘快满了,这时候准备去删除一些大文件 于是我使用ncdu 查看了一下当前系统占用资源比较多的是那些文件,结果一看是elasticsearch的日志文件,好吧,竟然找到源头了,那就把它给删除了吧, 来到相应的路径下之后,然后粗暴一点,执行  rm   -rf   * 很高兴,终于把这些占用系统资源的坏东西给杀死了.满心欢喜的去查看磁盘情况. 给我当头一棒,磁盘并没有多大的变化,之后释放了100多M,但是我明明删除了30G的文件啊,这是怎么回事. 有问题不可怕,干净找baidu/