Linux下快速比较两个目录的不同
曾多次想要在Linux下比较目录a和目录b中文件列表的差别,然后对目录a比目录b中多出的文件、少掉的文件分别做处理。但是,在网上搜索了多次也都没找到能直接处理好的工具。
所以想了不少方法,自我感觉都不错,而且网上似乎没有这方面的文章,所以分享出来给大家。如果各位有更好的工具或者方法,盼请留下说明(本文第2部分:图形化的比较结果
搜集自网上,我也没有在图形化界面下操作的需要,所以没有多做介绍)
以下是本文有些地方涉及到的目录结构。
[root@node1 ~]# tree directory1 directory2
directory1
├── 1.png
├── 2.png
└── 3.png
directory2
├── 2.png
├── 3.png
└── 4.png
1.命令行输出的结果
方法一:使用diff
diff -r directory1 directory2
但是diff会对每个文件中的每一行都做比较,所以文件较多或者文件较大的时候会非常慢。请谨慎使用。
方法二:使用diff结合tree
diff <(tree -Ci --noreport /mnt/f/自然马) <(tree -Ci --noreport /mnt/i/自然马)
< /mnt/f/自然马
---
> /mnt/i/自然马
87a88
> xyz.avi
488d488
< rsync.txt
534d533
< 542D0.mp4
说明:
- tree的
-C
选项是输出颜色,如果只是看一下目录的不同,可以使用该选项,但在结合其他命令使用的时候建议不要使用该选项,因为颜色也会转换为对应的编码而输出; -i
是不缩进,建议不要省略-i
,否则diff的结果很难看,也不好继续后续的文件操作;--noreport
是不输出报告结果,建议不要省略该选项。- 该方法效率很高。
方法三:find结合diff
find directory1 -printf "%P\n" | sort > file1
find directory2 -printf "%P\n" | sort | diff file1 -
2d1
< 1.png
4a4
> 4.png
说明:
<
代表的行是directory1中有而directory2没有的文件,>
则相反,是directory2中有而directory1中没有。- 不要省略
-printf "%P\n"
,此处的%P表示find的结果中去掉前缀路径,详细内容man find
。例如,find /root/ -printf "%P\n"
的结果中将显示/root/a/xyz.txt中去掉/root/后的结果:a/xyz.txt。 - 效率很高,输出也简洁。
如果不想使用-printf
,那么先进入各目录再find也行。
[root@node1 ~]# (cd /root/a;find . | sort >/tmp/file1)
[root@node1 ~]# (cd /root/b;find . | sort | diff /tmp/file1 -)
2d1
< ./1.png
4a4
> ./4.png
上面将命令放进括号中执行是为了在子shell中切换目录,不用影响当前所在目录。
方法四:使用rsync
rsync -rvn --delete directory1/ directory2 | sed -n '2,/^$/{/^$/!p}'
deleting a/xyz.avi
rsync.txt
新建文件夹/542D0.mp4
其中deleting所在的行就是directory2中多出的文件。其他的都是directory中多出的文件。
如果想区分出不同的是目录还是文件。可以加上"-i"选项。
rsync -rvn -i --delete directory1/ directory2 | sed -n '2,/^$/{/^$/!p}'
*deleting a/xyz.avi
>f+++++++++ rsync.txt
>f+++++++++ 新建文件夹/542D0.mp4
其中>f+++++++++
中的f代表的是文件,d代表的目录。
上面的rsync比较目录有几点要说明:
- 一定不能缺少-n选项,它表示dry run,也就是试着进行rsync同步,但不会真的同步。
- 第一个目录(directory1/)后一定不能缺少斜线,否则表示将directory1整个目录同步到directory2目录下。
- 其它选项,如"-r -v --delete"也都不能缺少,它们的意义想必都知道。
- sed的作用是过滤掉和文件不相关的内容。
- 以上rsync假定了比较的两个目录中只有普通文件和目录,没有软链接、块设备等特殊文件。如果有,请考虑加上对应的选项或者使用-a替代-r,否则结果中将出现skipping non-regular file的提示。但请注意,如果有软链接,且加了对应选项(-l或-a或其他相关选项),则可能会出现
fileA-->fileB
的输出。 - 效率很高,因为rsync的原因,筛选的可定制性也非常强。
2.图形化的比较结果
方法一:使用vimdiff
vimdiff <(cd directory1; find . | sort) <(cd directory2; find . | sort)
# 或者
vimdiff <(find directory1 -printf "%P\n"| sort) <(find directory2 -printf "%P\n"| sort)
方法二:使用meld
meld是python写的一个图形化文件/目录比较工具,所以必须先安装图形界面或设置好图形界面接受协议。它的功能非常丰富,和win下的beyond compare有异曲同工之妙。
meld具体的使用方式就不介绍了。
3.将两目录中不同的文件筛选出来
个人建议使用命令行输出的结果中的方法方法三和方法四,因为它们都能很好地保留目录前缀。
以方法三为例:
find directory1 -printf "%P\n" | sort > file1
find directory2 -printf "%P\n" | sort | diff file1 -
以下是实验所需目录结构:
[root@node1 ~]# tree /root/a;tree /root/b
/root/a
├── 1.png
├── 2.png
└── 3.png
0 directories, 3 files
/root/b
├── 2.png
├── 3.png
├── 4.png
└── xen
└── scripts
└── block-drbd
首先比较这两个目录得到文件列表的差异。
find /root/a -printf "%P\n" | sort > /tmp/file1
find /root/b -printf "%P\n" | sort | diff /tmp/file1 - >diff.txt
然后从diff.txt中过滤出/root/a中多出的文件和/root/b中多出的文件。
# /root/a中多出的文件
awk '/</{printf("%s%s\n","/tmp/etc/",$2)}' diff.txt
/tmp/etc/1.png
# /root/b中多出的文件
awk '/>/{printf("%s%s\n","/tmp/etc/",$2)}' diff.txt
/tmp/etc/4.png
/tmp/etc/xen
/tmp/etc/xen/scripts
/tmp/etc/xen/scripts/block-drbd
需要注意的是,如果多了某个目录,则这个目录和其内所有文件都会列出来。如果要将多出的文件复制到其他地方,应当要注意这一点。
如果只想要比较出/root/a和/root/b下的文件和目录的不同,不再递归到子目录中比较。那么可以在find上继续加工一番:
find /root/a -maxdepth 1 -printf "%P\n" | sort > /tmp/file1
find /root/b -maxdepth 1 -printf "%P\n" | sort | diff /tmp/file1 - >diff.txt
# /root/a中多出的文件
awk '/</{printf("%s%s\n","/tmp/etc/",$2)}' diff.txt
/tmp/etc/1.png
# /root/b中多出的文件
awk '/>/{printf("%s%s\n","/tmp/etc/",$2)}' diff.txt
/tmp/etc/4.png
/tmp/etc/xen
这样一来,/root/b中多出的文件就是4.png和xen,xen目录中的文件不再列出。
Linux下快速比较两个目录的不同的更多相关文章
- linux下通过acl配置灵活目录文件权限(可用于ftp,web服务器的用户权限控制)
linux下通过acl配置灵活目录文件权限(可用于ftp,web服务器的用户权限控制) 发表于2012//07由feng linux 本身的ugo rwx的权限,对于精确的权限控制很是力不从心的,ac ...
- Linux下快速搭建php开发环境
php开发环境快速搭建 一.Linux下快速搭建php开发环境 1.安装XAMPP for Linux XAMPP(Apache+MySQL+PHP+PERL)是一个功能强大的建站集成软件包,使用XA ...
- Linux 下的权限改变与目录配置
Linux 下的权限改变与目录配置 ./代表本目录的意思. (1):用户与用户组, 1:文件所有者,文件被某一用户所有 2:用户组: 对文件给与一个或者多个用户权限配置 3:其它人: (2):l ...
- linux下快速安装jenkins
Linux下快速安装Jenkins 建议使用 FileZilla 工具简化以下步骤中移动.环境变量配置等步骤. 1 软件下载 l Java:jdk-7u17-linux-x64.tar.g ...
- 转:Linux下同时启动两个Tomcat进行设置
转: Linux下同时启动两个Tomcat进行设置 解压tar.gz:tar -zxvf apache-tomcat-6.0.41.tar.gz 至相应的路径下,可解压至两个不同的路径或者相同的路径下 ...
- linux下nginx服务器域名指定目录
一般,域名指定ip之后,需要在ip所在的机器去指定相应站点的目录,否则域名会不起作用: 下面说说linux下的nginx服务器指定目录的细节: 域名绑定目录的配置文件都放到这里: /usr/local ...
- Linux 下mysql修改数据库存放目录方法和可能遇到的问题
MySQL版本:5.6.23-enterprise-commercial-advanced ,使用rpm安装linux:Red Hat Enterprise Linux Server release ...
- Linux下切换使用两个版本的JDK
Linux下切换使用两个版本的JDK 我这里原来已经配置好过一个1.7版本的jdk. 输出命令: java -version [root@hu-hadoop1 sbin]# java -version ...
- 如何在Linux下快速安装MapTiler
研究背景: 实际项目用到MapTiler时,为了适应项目不同场景需求,需要测试MapTiler在linux下切图速度,这时就涉及到到MapTiler在Linux下安装的问题,从 M ...
随机推荐
- 关于UIView用户交互相关的属性和方法
UIView除了负责展示内容给用户外还负责响应用户事件 1.交互相关的属性 userInteractionEnabled 默认是YES ,如果设置为NO则不响应用户事件,并且把当前控件从事件队列中删除 ...
- 面试之路(13)-android apk之间共享数据的方式以及shareUserId详解
1.通过content Provider/sharedPreferrence 2.通过shareUserId 我们详细介绍一下shareUserId: Android App Sandbox(andr ...
- Unity脚本编程之——协程(Coroutine)
本文翻译自Unity官方文档:https://docs.unity3d.com/Manual/Coroutines.html 专有名词: Coroutine 协程 Alpha 不透明度 当你调用一个函 ...
- MapReduce编程模型详解(基于Windows平台Eclipse)
本文基于Windows平台Eclipse,以使用MapReduce编程模型统计文本文件中相同单词的个数来详述了整个编程流程及需要注意的地方.不当之处还请留言指出. 前期准备 hadoop集群的搭建 编 ...
- java并发编程——通过ReentrantLock,Condition实现银行存取款
java.util.concurrent.locks包为锁和等待条件提供一个框架的接口和类,它不同于内置同步和监视器.该框架允许更灵活地使用锁和条件,但以更难用的语法为代价. Lock 接口 ...
- majority element(数组中找出出现次数最多的元素)
Given an array of size n, find the majority element. The majority element is the element that appear ...
- javascript学习(二)javascript常见问题总结
在js使用过程中,经常会碰到一些问题,本人利用闲暇时间整理了一些常见问题的解决方法,贴出来和大家分享,有需要的朋友可以参考下 1.JS中方法和变量都是区分大小写的 2.单引号.双引号在JS中没有特殊 ...
- Ocelot中文文档-委托处理程序
Ocelot允许用户将委托处理程序添加到HttpClient传输中. 这个功能在github #208中提出,我确定它会以各种方式被使用.之后我们在GitHub#264中进行了扩展. 用法 为了将委托 ...
- JSF-页面导航
页面导航 1)导航处理涉及的术语: -动作值:触发动作事件的组件的action:EL方法表达式.字符串文字. -结果值:动作组件的action属性的:EL方法表达式的返回值.字符串文字:或结果组件的o ...
- 我们常说的 CAS 自旋锁是什么
CAS(Compare and swap),即比较并交换,也是实现我们平时所说的自旋锁或乐观锁的核心操作. 它的实现很简单,就是用一个预期的值和内存值进行比较,如果两个值相等,就用预期的值替换内存值, ...