linux uniq 命令实用手册
Linux uniq
命令用于处理文本内容中的重复行
。
这里我们只介绍其常用参数,其完整用法可参见man uniq
。
例如,我们有如下文件内容:
>>> cat log.txt
_______________
hello
HEllo
world
world
hello
使用uniq
命令,不加任何参数处理,注意,这里的两行hello
并没有相邻,所以最终还是显示了两行hello
,而两行world
是相邻的,所以去掉了其中一行world
:
>>> uniq log.txt
hello
HEllo
world
hello
如果想将不相邻的相同内容也去重,一般需要与sort
命令配合使用,先排序,再去重,如下(这时所有的重复行都被去重了):
>>> cat log.txt | sort| uniq
____________________________
HEllo
hello
world
使用-s
参数,忽略前N 个字符(此处忽略了前2 个字符):
>>> cat log.txt | sort| uniq -s 2
_________________________________
HEllo
world
使用-i
参数,忽略大小写(最终只剩下了大写的):
>>> cat log.txt | sort| uniq -i
_______________________________
HEllo
world
使用-d
参数,只输出重复的行
(HEllo
没有重复,所以没有输出):
>>> cat log.txt | sort| uniq -d
_______________________________
hello
world
使用-u
参数,与-d
参数相反,只输出不重复的行
(HEllo
没有重复,所以输出):
>>> cat log.txt | sort| uniq -u
———————————————————————————————
HEllo
使用-c
参数,计算重复行的次数,如下(第一列为出现的次数):
>>> cat log.txt | sort| uniq -c
_______________________________
1 HEllo
2 hello
2 world
按照重复次数
进行反向排序
:
cat log.txt | sort| uniq -c| sort -nr
—————————————————————————————————————
2 world
2 hello
1 HEllo
下面总结以上介绍到的参数:
参数 | 含义 |
---|---|
-s N |
忽略前N 的字符 |
-i |
忽略大小写 |
-d |
只输出重复的行 |
-u |
只输出不重复的行 |
-c |
对重复的行进行计数 |
(完。)
linux uniq 命令实用手册的更多相关文章
- linux sort 命令实用手册
Linux 中的sort 命令是一个很实用的工具,用于对文本内容以行为单位进行ASCII 码排序,默认按照升序进行排序(当然也可以按照降序). sort 命令的格式如下: sort `参数` `文件名 ...
- linux awk 命令实用手册
0,简介 Linux awk 是一个实用的文本处理工具,它不仅是一款工具软件,也是一门编程语言.awk 的名称来源于其三位作者的姓氏缩写,其作者分别是Alfred Aho,Peter Weinberg ...
- Linux uniq 命令
Linux uniq 命令 Linux 命令大全 Linux uniq 命令用于检查及删除文本文件中重复出现的行列,一般与 sort 命令结合使用. uniq 可检查文本文件中重复出现的行列. 语法 ...
- [转]linux uniq 命令详解
转自:http://blog.csdn.net/tianmohust/article/details/6997683 uniq 命令 文字 uniq 是LINUX命令 用途 报告或删除文件中重复的 ...
- Linux uniq命令
200 ? "200px" : this.width)!important;} --> 介绍 uniq命令是一个文本去重命令,它能对标准输入和文本文件进行去重操作,并且能将结 ...
- linux dd命令实用详解
linux dd命令刻录启动U盘详解 dd命令做usb启动盘十分方便,只须:sudo dd if=xxx.iso of=/dev/sdb bs=1M 用以上命令前必须卸载u盘,sdb是你的u盘,bs= ...
- linux uniq命令用法
uniq命令: 对指定的ASCII文件或标准输入进行唯一性检查,以判断文本文件中重复出现的行,常用于分析日志:查看tcp各个状态连接数,ip或域名连接数排名等等场景,一般与 sort 命令结合使用. ...
- Linux sort命令中文手册(info sort翻译)
说明: (1).本手册只挑选了有用的信息进行翻译,如要查看完完整整的内容,请自行info sort. (2).译文中,在括号中使用了"注"的,为本人所加,非原文内容,助于理解和说明 ...
- Linux uniq命令详解
uniq常见命令参数 用法:uniq [选项]... [文件] 从输入文件或者标准输入中筛选相邻的匹配行并写入到输出文件或标准输出. 不附加任何选项时匹配行将在首次出现处被合并. 长选项必须使用的参数 ...
随机推荐
- 【nodejs 爬虫】使用 puppeteer 爬取链家房价信息
使用 puppeteer 爬取链家房价信息 目录 使用 puppeteer 爬取链家房价信息 页面结构 爬虫库 pupeteer 库 实现 打开待爬页面 遍历区级页面 方法一 方法二 遍历街道页面 遍 ...
- F - 我们什么时候能见面? POJ - 2028
F - 我们什么时候能见面? POJ - 2028 ICPC委员会希望尽快召开会议,解决下一届比赛中的每一个小问题.然而,委员会的成员都忙于疯狂地开发(可能是无用的)程序,以至于很难安排他们的会议日程 ...
- STL(六)——map、multimap
STL--map.multimap 文章目录 STL--map.multimap 关联容器与map的介绍 map与set的异同 map与multimap的异同 map类对象的构造 map添加元素 ma ...
- Spring ApplicationContext 容器
Spring ApplicationContext 容器 Application Context 是 BeanFactory 的子接口,也被成为 Spring 上下文. Application Con ...
- 在非主线程里面使用NSTimer创建和取消定时任务
为什么要在非主线程创建NSTimer 将 timer 添加到主线程的Runloop里面本身会增加线程负荷 如果主线程因为某些原因阻塞卡顿了,timer 定时任务触发的时间精度肯定也会受到影响 有些定时 ...
- WeixinJSBridge API使用实例
<span style="color: rgb(51, 51, 51); font-family: tahoma, arial, 宋体; font-size: 14px; line-h ...
- mysql服务器内存使用情况总结
活动链接(动态)使用的内存数量如下所示: per_connection_memory = read_buffer_size //memory for sequential table scans +r ...
- scratch算立方根
10((1/3)lgx)=x(1/3)也就是立方根
- Java第二天,类的概念,属性和方法的使用
上文中我们已近说到过了,Java是一种面向对象的编程语言,对象是用类来创建的,就比如世界上有无数个父亲,但是他们都有一个共同的属性--男人.也就是说某个父亲这个对象属于男人这个类.类是Java必不可少 ...
- C语言 文件操作(一)
#include<stdio.h> int main(){ FILE *fp = fopen("f:\\lanyue.txt","r&quo ...