代码如下: md5sum *|sort |uniq -w32 -D|awk -F ' ' '{print $2}' uniq 部分参数 -c #在每行前显示该行重复次数. -d #只输出重复的行. -D #只输出重复的行,有几行输出几行. -f #-f 忽略的段数,-f 1 忽略第一段. -i #不区分大小写. -w #忽略第n个字符以后的内容 . -s #-s 5忽略后面5个字符 md5sum * 先查看所有文件的md5值,重复的文件的md5值相同. uniq  处理时是处理相邻两行,所以需要…

在linux/unix中查找大文件,如查找大于100M文件的位置路径,查找等于10M文件的位置路径等等,下面就介绍几个实现快速查找的命令: 1. 查找指定目录下所有大于100M的文件,命令为 find path -type f -size +100M  (path 为自己指定的目录,如当前目录./): 2. 查找指定目录下等于10M的文件,命令为 find path -type f -size 10M (path 为自己指定的目录,如当前目录./): 3. 查找指定目录下小于1M的文件,命令为…

在windows下解压缩Linux内核源代码出现重复文件原因 2009年06月30日 13:35 来源:ChinaUnix博客 作者:embededgood 编辑:周荣茂     原因一.因为在Linux下文件名是大小写敏感的,而Windows下文件名则是大小不敏感,所以对于同一目录下如果有两个文件不同名但大小写不一样时在windows下会有问题.如kernel source中的include/linux/netfilter_ipv4/存在ipt_ecn.h和ipt_ECN.h,在linux这是…

609. 在系统中查找重复文件 给定一个目录信息列表,包括目录路径,以及该目录中的所有包含内容的文件,您需要找到文件系统中的所有重复文件组的路径.一组重复的文件至少包括二个具有完全相同内容的文件. 输入列表中的单个目录信息字符串的格式如下: "root/d1/d2/-/dm f1.txt(f1_content) f2.txt(f2_content) - fn.txt(fn_content)" 这意味着有 n 个文件(f1.txt, f2.txt - fn.txt 的内容分别是 f1_c…

Given a list of directory info including directory path, and all the files with contents in this directory, you need to find out all the groups of duplicate files in the file system in terms of their paths. A group of duplicate files consists of at l…

转自:http://blog.sina.com.cn/s/blog_6797a6700101pdm7.html 去除重复行 sort file |uniq 查找非重复行 sort file |uniq -u 查找重复行 sort file |uniq -d 统计 sort file | uniq -c 去除重复的行,并生成新的文件 sort file |uniq > new_file…

今天下载了好多美女图片壁纸,可是看了一下发现好多图片重复了,有强迫症的我必须把重复的都给剔除掉,首先想到的当然是百度了,问问度娘有没有什么图片去重的工具,搜了一下还真有.奈何本人智商捉急用不来这高级的软件,无奈之下只好准备一张一张的挑出来了,CTRL+A一看2000+的图片,好吧一晚上不用干别的事了.. 辛亏脑袋还比较好使,既然作为一个程序员,为什么不能写个代码处理一下呢?想到点子说干咱就干,最重要的问题就是怎么判断图片是不是重复的呢?通过文件名?还是比较大小?好像都不怎么靠谱啊..突然又是灵光…

这里纪录一些linux下用到的小技巧,以免遗忘 在linux中经常碰见各种文件处理.最常用的就是替换文件中的某些字符.常见字符替换还是很容易完成.但是有些不可见字符以及ascii编码字符等等都无法直接使用常见方法替换.这里可以用下面的几种方法进行处理 1.sed 方法 sed -i 's/$(echo -ne "\001")/|/g' file #这里就可以通过这种方式直接使用ascii编码来替换不可见的字符.echo "\001"这种方法可以打印出对应的ascii…

>/dev/ >/dev/null|grep 02a42c7a845094a8904f7b3faf686b81 uniq -d, --repeated only print duplicate lines, one for each group -w, --check-chars=N compare no more than N characters in lines…

一:如果linux根分区使用量达到100%,会造成如下现象: root不能登录 系统不能正常启动 二:通过命令查找根分区内的大文件 1.du -sh /* 2>/dev/null | sort -hr | head -3 2.如果上述命令执行后发现/var/占空间最大,那么在查找/var分区内的大文件,如: du -sh /var/* 2>/dev/null | sort -hr | head -3…