uniq 去除重复行

1.命令功能

uniq可以输出或忽略文件中的重复行，经常需要使用sort先对文件进行排序，然后使用uniq去重并计数。

2.语法格式

uniq  option  input

uniq   选项    文件或标准输入

参数	参数说明
-c	去除重复行，并计算每行出现的次数
-d	只打印重复行
-u	只显示唯一的行

3.使用范例

[root@localhost ~]# cat test.txt
 
abcd
 
abcd
 
abcd
 
123456
 
123456
 
456
 
789

范例1 去除重复行

[root@localhost ~]# uniq test.txt
 
abcd
 
123456
 
456
 
789

范例2  去除重复行，计算每行出现的次数

[root@localhost ~]# uniq -c test.txt
 
      3 abcd
 
      2 123456
 
      1 456
 
      1 789

范例3 只打印重复行

[root@localhost ~]# uniq -d test.txt
 
abcd
 
123456

范例4 结合sort，去重

[root@localhost ~]# sort test.txt |uniq –c  <—按照数字大小排序，再去重
 
      2 123456
 
      1 456
 
      1 789
 
      3 abcd