• linux:使用comm命令比较两个文件:交集、差
    • comm命令可以按行比较两个排序好的文件,输出有3列:第一列是file1独有的、第二列是file2独有的,第三列是两者都有的,简单语法如下:NAMEcomm-comparetwosortedfileslinebylineSYNOPSIScomm[OPTION]...FILE1FILE2DESCRIPTIONComparesortedfilesFILE1andFILE2linebyline.Withnooptions,producethree-columnoutput.Colu

    • comm命令可以按行比较两个排序好的文件,输出有3列:第一列是file1独有的、第二列是file2独有的,第三列是两者都有的,简单语法如下:

      NAME
      comm - compare two sorted files line by line
      SYNOPSIS
      comm [OPTION]... FILE1 FILE2
      DESCRIPTION
      Compare sorted files FILE1 and FILE2 line by line.
      With no options, produce three-column output.Column one contains lines unique to FILE1, column two contains lines
      unique to FILE2, and column three contains lines common to both files.
      -1 suppress column 1 (lines unique to FILE1)
      -2 suppress column 2 (lines unique to FILE2)
      -3 suppress column 3 (lines that appear in both files)
      --check-order
      check that the input is correctly sorted, even if all input lines are pairable
      --nocheck-order
      do not check that the input is correctly sorted
      --output-delimiter=STR
      separate columns with STR
      示例:先从词典里按顺序随机抽取一些行导出到文件中,这样就省得排序了:
      aliyunzixun@xxx.com:/tmp$ sed -n '5p;1001p;3000p;4000p;5000p;7000p;8800p;9900p;10000p' /usr/share/dict/american-english > file1
      aliyunzixun@xxx.com:/tmp$ sed -n '2p;4000p;5000p;8888p;10000p;30000p;40000p' /usr/share/dict/american-english > aliyunzixun@xxx.com:/tmp$ cat file1
      ABM's
      Ashikaga's
      Charybdis's
      Decker
      Eurasia
      Idaho's
      Lipizzaner
      Meghan's
      Merck's
      aliyunzixun@xxx.com:/tmp$ cat file2
      A's
      Decker
      Eurasia
      Lombard's
      Merck's
      collaborated
      elms

      比较两个文件 
      aliyunzixun@xxx.com:/tmp$ comm file1 file2

      aliyunzixun@xxx.com:/tmp$ comm file1 file2
      A's
      ABM's
      Ashikaga's
      Charybdis's
      Decker
      Eurasia
      Idaho's
      Lipizzaner
      Lombard's
      Meghan's
      Merck's
      collaborated
      elms

      只显示file1独有的行: 
      需要把第2列和第3列去掉: 
      aliyunzixun@xxx.com:/tmp$ comm -2 -3 file1 file2 
      ABM's 
      Ashikaga's 
      Charybdis's 
      Idaho's 
      Lipizzaner 
      Meghan's只显示file2独有的行: 
      aliyunzixun@xxx.com:/tmp$ comm -1 -3 file1 file2 
      A's 
      Lombard's 
      collaborated 
      elms只显示两者重复的行: 
      aliyunzixun@xxx.com:/tmp$ comm -1 -2 file1 file2 
      Decker 
      Eurasia 
      Merck's只显示两者不重复的行: 
      后面的sed是将以/t开头的/t去掉: 
      aliyunzixun@xxx.com:/tmp$ comm -3 file1 file2 | sed 's/^/t//' 
      A's 
      ABM's 
      Ashikaga's 
      Charybdis's 
      Idaho's 
      Lipizzaner 
      Lombard's 
      Meghan's 
      collaborated 
      elms

comm 命令

comm命令可用于两个文件之间的比较。通过参数调整输出,可以执行交集、求差以及差集操作。

- 交集:打印出两个文件所有共同的行。

- 求差:打印出指定文件所包含的互不相同的那些行。

- 差集:打印出包含在文件A中,但不包含在其他指定文件中的那些行。

需要注意的是,comm必须使用经过排序的文件作为输入。在linux中可以使用sort命令实现排序。

comm实战

建立两个文本文件输入以下内容:


cat A.txt

apple

orange

gold

silver

steel

iron

cat B.txt

orange

gold

cookies

carrot

此时两个文件内的文本是乱序的,使用sort进行排序。

sort [option] [file] 参数 -o 要输出的文件。


sort A.txt -o A.txt;

sort B.txt -o B.txt;

(1) 首先执行不带任何选项的comm:


$ comm A.txt B.txt

apple

    carrot

    cookies

        gold

iron

        orange

silver

steal

输出的第一列包含中在A.txt中的行,第二列包含只在B.txt中出现的行,第三列包含同时包含两文件中相同的行。各列使用\t分隔。

(2) 为了打印两个文件的交集,我们需要删除第一列和第二列,只打印第三列:


$ comm A.txt B.txt -1 -2

gold

orange

(3) 打印出两个文件中不相同的行:


$ comm a.txt b.txt -3

apple

    carrot

    cookies

iron

silver

steal

(4) 为了提高输出结果的可用性,需要删除空白字段,将两列合并成一列:

借助sed命令格式化输出。

sed - stream editor for filtering and transforming text 字符流编辑


$ comm a.txt b.txt -3 | sed 's/^\t//'

apple

carrot

cookies

iron

silver

steal

sed 命令解释: sed命令通过管道获取comm的输出。它删除行首的\t字符。sed中的s表示替换substitute。/^\t/匹配行前的\t(^是行首标记).//是用来替换行首的/t的字符串。如此一来,就可以删除所有行首的\t.

linux:使用comm命令比较两个文件:交集、差的更多相关文章

  1. Linux下面使用命令如何运行.sh文件的两种解决办法

    Linux下面用命令如何运行.sh文件的方法,有两种方法: 一.直接./加上文件名.sh,如运行hello.sh为./hello.sh[hello.sh必须有x权限] 二.直接sh 加上文件名.sh, ...

  2. linux中comm命令用法

    linux系统中comm命令用法详解 linux系统下的comm命令是一个非常实用的文件对比命令. comm命令功能:   选择或拒绝两个已排序的文件的公共的行. comm命令语法:comm [-12 ...

  3. 20155212 C语言实现linux下pwd命令的两种方法

    20155212 C语言实现linux下pwd命令的两种方法 学习pwd命令 通过man pwd命令查看 pwd [OPTION],一般不加参数 -P显示当前目录的物理路径 -L显示当前目录的连接路径 ...

  4. linux命令(50):comm命令的用法,求交集

    Linux comm命令 使用局限比较大,适用于特殊场合: Linux comm命令用于比较两个已排过序的文件. 排序:sort -u file 这项指令会一列列地比较两个已排序文件的差异,并将其结果 ...

  5. LINUX Shell 下求两个文件交集和差集的办法

    http://blog.csdn.net/autofei/article/details/6579320 假设两个文件FILE1和FILE2用集合A和B表示,FILE1内容如下: a b c e d ...

  6. linux diff-比较给定的两个文件的不同

    推荐:更多Linux 文件查找和比较 命令关注:linux命令大全 diff命令在最简单的情况下,比较给定的两个文件的不同.如果使用“-”代替“文件”参数,则要比较的内容将来自标准输入.diff命令是 ...

  7. Linux下用命令来执行kettle文件资源库的文件ktr与kjb的方法

    转载地址: https://blog.csdn.net/zuolovefu/article/details/78083445 1. 准备工作 一个简单的job,一个简单的trans. trans:读取 ...

  8. Linux中touch命令使用(创建文件)

    touch命令有两个功能: 1.用于把已存在文件的时间标签更新为系统当前的时间(默认方式),它们的数据将原封不动地保留下来: 2.用来创建新的空文件. 语法 touch(选项)(参数) 选项 -a:或 ...

  9. diff命令--比较两个文件的命令

    可以使用 --brief 来比较两个文件是否相同,使用 -c参数来比较这两个文件的详细不同之处,这绝对是判断文件是否被篡改的有力神器,

随机推荐

  1. HDU 1798 Tell me the area (数学)

    题目链接 Problem Description     There are two circles in the plane (shown in the below picture), there ...

  2. 【eclipse使用git】eclipse使用私钥提交项目

    初次安装git需要配置用户名和邮箱,否则git会提示:please tell me who you are. 你需要运行命令来配置你的用户名和邮箱: $ git config --global use ...

  3. mysql五-2:多表查询

    一 介绍 本节主题 多表连接查询 复合条件连接查询 子查询 准备表 company.employeecompany.department #建表 create table department( id ...

  4. Linux环境下通过ODBC访问MSSql Server

    为了解决Linux系统连接MSSql Server的问题,微软为Linux系统提供了连接MSSql Server的ODBC官方驱动.通过官方驱动,Linux程序可以方便地对MSSql Server进行 ...

  5. Mybatis三剑客

    1.Mybatis-generator 自动化生成数据库交互代码->dao+pojo+xml 2.Mybatis-plugin dao文件和xml自动跳转,验证正确性,在xml中只能提示等功能 ...

  6. 学习struts2

    有部分内容转载牛人的博客: http://blog.csdn.net/hudie1234567/article/details/6730481 http://blog.csdn.net/lishuan ...

  7. [ Python - 3 ] python3.5中不同的读写模式

    r 只能读.r+可读可写,不会创建不存在的文件.如果直接写文件,则从顶部开始写,覆盖之前此位置的内容,如果先读后写,则会在文件最后追加内容.w+ 可读可写 如果文件存在 则覆盖整个文件不存在则创建w ...

  8. 存储过程 ----- navicat 创建存储过程

    以下为navicat 创建存储过程步骤图解: 1. 2. 3. 4. 在存储过程正文中是输入一行语句测试用,点击保存 5.输入存储过程名称,点击确定 6.到这来那么问题来了,会提示错误 7.切记存储过 ...

  9. 《Java编程思想》笔记 第十章 内部类

    1.创建内部类对象 创建内部类对象(相当于new内部类对象) 外围类对象.new 内部类( ). 创建内部类对象一种方法是 外围类有一个方法返回内部类对象. 没有外围类对象就不能创建内部类对象,因为内 ...

  10. 解决Composer 使用时要求输入授权用户名密码问题

    使用Composer下载第三方包时出现: Authentication required (packagist.phpcomposer.com): Username: 解决方法: 1.修改源 comp ...