Windows下有软件FindDupFile,可以搜索指定目录及其下子目录,列出所有内容完全相同的文件(文件名可能不同),然后由用户选择删除重复的文件. 然而shell脚本却可以使用几行的命令完成与此相同的工作,借助windows下的shell脚本工具Cygwin,可以实现扫描Windows下的目录,原理简述如下: 1.首先借助find命令扫描文件夹下类型为普通文件的所有文件,find命令的输出是一行一个文件 2.对find找到的所有文件进行MD5校验,校验命令为md5sum files,输出文

说明:+n 大于 n, -n 小于 n, n 相等于 n. find / -amin -30 -ls # 查找在系统中最后30分钟访问的文件find / -atime -2 -ls # 查找在系统中最后48小时访问的文件find / -mmin -10 -ls # 查找在系统中最后10分钟里修改过的文件find / -mtime -1 -ls # 查找在系统中最后24小时里修改过的文件find / -cmin -10 -ls # 查找在系统中最后10分钟里被改变状态的文件find / -ctim

说明:+n 大于 n, -n 小于 n, n 相等于 n. find / -amin -30 -ls # 查找在系统中最后30分钟访问的文件find / -atime -2 -ls # 查找在系统中最后48小时访问的文件find / -mmin -10 -ls # 查找在系统中最后10分钟里修改过的文件find / -mtime -1 -ls # 查找在系统中最后24小时里修改过的文件find / -cmin -10 -ls # 查找在系统中最后10分钟里被改变状态的文件find / -ctim

目的 在windows环境下, 整理代码,代码中含有 .svn 文件夹, 此文件夹在所有受控目录下都存在, 需要统一删除. 但是对windows的shell不熟悉,想用linux rm来删除, 如何实现? 方法 1.找到运行linux shell的工具, cygwin限制为安装目录. git工具可以执行shell,正适合此场景. 2. 鼠标右键点击目录目录, 选择 “git bash here” 3. 执行如下命令: find . -name ".svn"  | xargs rm -r

工作需要实现一个查找出指定目录下md5值与excel表格中md5值相同的文件然后删掉的功能.我是这样做的:首先遍历指定目录,计算该目录下所有文件的md5值,以文件路径为key,md5值为value保存到一个字典中:然后读取excel表格中的md5,查看字典中的value是否包含该md5,如果包含,则删除对应文件.以下是具体实现代码: #coding:utf-8 from hashlib import md5 import os,time,sys import xlrd import os md5

用Xshell登陆linux主机后,在hbase shell下不能使用backspace和delete删除误输的指令,这是Xshell的配置问题: 在File->Properties->Terminal->Keyboard下,把DELETE/BACKSPACE key sequence选为ASCII 127. 如此以来,就能使用backspace了

三种常见方法:第一,用sort+uniq,注意,单纯uniq是不行的. shell> sort -k2n file | uniq > a.out 这里我做了个简单的测试,当file中的重复行不再一起的时候,uniq将服务删除所有的重复行.经过排序后,所有相同的行都在相邻,因此unqi可以正常删除重复行. 第二,用sort+awk命令,注意,单纯awk同样不行,原因同上. shell> sort -k2n file | awk ‘{if ($0!=line) print;line=$0}’

shell编程中,  在for, while循环中为什么不用(), {} 不是没有; 而是因为(), {}做了其他用途: (): 执行命令组, 注意这个命令组是新开一个子shell中执行, 因此,括号中的变量不能被脚本余下的部分使用.格式随意; 还有其他使用如: $(ls)... array=(a b c d) {}: 执行命令组, 事实上是创建了一个匿名函数,  但是这个跟()有区别: 大括号不会新开一个 子shell, 仍然是在当前shell中执行的命令组, 所以其中的变量可以为余下的脚本

一般线上服务的日志都是采用回滚的防止,写一定数量的日志 或是有管理工具定期去转移老旧日志 前几天删除一个测试环境的日志,只保留两天的日志,结果把正在写的日志都给删掉了,不得不重启了服务,经过这一次的错误,积攒了一些删除日志的经验 1.不同服务的日志更新速度是不同的,有的日志一秒就会写一个规定大小的文件,有的服务日志可能会一个月也写不满一个文件,或者根本就不写文件,所以在删除日志的时候要考虑不同服务文件时要弄清一下几点:系统显示的时间是什么时间(创建时间,修改时间,访问时间),更新速度,后缀名,删

cat delbak.sh 1 #!/bin/sh 2 location="/root/sqlbak/" 3 find $location -mtime +30 -type f |xargs rm -f ps:location 是设置查找的目录--mtime +30 是设置时间为30天前-type f 这周查找的类型为文件 然后加入crontab定时来删除crontab -l10 4 1 * * /bin/sh /root/soft_shell/delbak.sh 设定为每个月1号晚上

摘自 <Linux Shell脚本攻略>一书,例子在109页,原理在110页,原理讲解的很好哦! 需要了解awk命令.xargs,脚本中所用的命令在Linux Shell脚本攻略一书中都有讲解. #!/bin/bash ls -lS --time-style=long-iso | awk '         BEGIN {getline; getline;                     name1=$8; size=$5                }          {    

#!/bin/sh #需要计算MD5文件列表 # list=`ls` list="file list" for file in $list do file1=`` echo "$file1" md5sum $file1 >> ./md5sum.txt done

删除创建时间大于30天的文件 find /archivelog -ctime + | xargs rm -rf -amin n #查找系统中最后N分钟访问的文件 -atime n #查找系统中最后n*24小时访问的文件 -cmin n #查找系统中最后N分钟被改变状态的文件 -ctime n #查找系统中最后n*24小时被改变状态的文件 -mtime n #查找系统中最后n*24小时被修改的文件 xargs是将参数列表转换成小块分段传递给其他命令,以避免参数列表过长的问题[1]. 参考: [1]

find /app/jenkins/jenkins/jobs/scam/* ! -name config.xml | xargs rm -rf 删除/app/jenkins/jenkins/jobs/scam/文件夹下 所有名称不为config.xml 的文件

删除文件第一行: sed -i '1d' filename 删除文件最后一列: awk '{print $NF}' filename 比较文件的方法: 1)comm -3 --nocheck-order file1 file2 2) grep -v -f file1 file2:  输出file2中有file1中没有的行 diff file1 file2

file_dir=` -maxdepth - type d`for dir in $file_dirdo file_name=`basename $dir` if [ $file_name != "目标文件名" ];then rm -rf $dir if [ $? != 0 ];then echo "未删除成功!" exit -2 fi fidone

#!/bin/bash location="/root/sqlbak/" find $location -mtime +30 -type d |xargs rm -rf #删除目录find $location -mtime +30 -type f |xargs rm -f   #删除文件find $location -mtime +30 |xargs rm -rf   #删除目录及文件find $location -mtime +30 -name "*.gz" |

#!/bin/bash ls -lS | awk 'BEGIN{ getline; getline; name1=$;size=$; } { name2=$; sizeTmp=$; ){ ; ; if(csum1=csum2){ print name1; print name2; } } size=sizeTmp; name1=name2; } ' | sort -u > dup_file cat dup_file | xargs -i md5sum {} | sort -u | uniq -w

#!/bin/bash direc=$(pwd) for dir2del in $direc/* ; do if [ -d $dir2del ]; then rm -rf $dir2del fi done

sed -r "s/\x1B\[([0-9]{1,2}(;[0-9]{1,2})?)?[m|K]//g"

参考:https://blog.csdn.net/zhangxinrun/article/details/6409125 echo "recursively removing .svn folders from" pwd rm -rf `find . -type d -name .svn`#为了代码的规范性,需要查找rm命令是否成功if [ $? != 0 ];then echo "Error!" exit -2fi 亲测有用!