linux之sort和uniq
uniq
uniq命令:
uniq不加参数，只对相邻的相同行内容去重。
例子如下：
[root@localhost ~]# pwd
/root
[root@localhost ~]# cat oldboy.txt
10.0.0.9
10.0.0.8
10.0.0.7
10.0.0.7
10.0.0.8
10.0.0.8
10.0.0.9
[root@localhost ~]# uniq oldboy.txt
10.0.0.9
10.0.0.8
10.0.0.7
10.0.0.8
10.0.0.9
sort 命令:排序的命令
sort命令不加参数，会把重复的行相邻。
例子如下：
[root@localhost ~]# pwd
/root
[root@localhost ~]# cat oldboy.txt
10.0.0.9
10.0.0.8
10.0.0.7
10.0.0.7
10.0.0.8
10.0.0.8
10.0.0.9
[root@localhost ~]# sort oldboy.txt
10.0.0.7
10.0.0.7
10.0.0.8
10.0.0.8
10.0.0.8
10.0.0.9
对oldboy.txt文件进行去除相同的行内容：
法1：sort配合uniq去除重复的行。
[root@localhost ~]# sort oldboy.txt |uniq
10.0.0.7
10.0.0.8
10.0.0.9
法二： sort –u filename -u去除重复的行。
[root@localhost ~]# sort -u oldboy.txt
10.0.0.7
10.0.0.8
10.0.0.9
uniq –c filename -c统计重复的行的内容的行（次）数，即去重计数。
例子如下：
[root@localhost ~]# cat oldboy.txt
10.0.0.9
10.0.0.8
10.0.0.7
10.0.0.7
10.0.0.8
10.0.0.8
10.0.0.9
[root@localhost ~]# sort oldboy.txt |uniq -c
2 10.0.0.7
3 10.0.0.8
2 10.0.0.9
企业真实案例（这个案例非常重要）：
处理以下文件内容,将域名取出并根据域名进行计数排序处理:(百度和sohu面试题)
oldboy.log
http://www.etiantian.org/index.html
http://www.etiantian.org/1.html
http://post.etiantian.org/index.html
http://mp3.etiantian.org/index.html
http://www.etiantian.org/3.html
http://post.etiantian.org/2.html
[root@localhost ~]# cat oldboy.log
http://www.etiantian.org/index.html
http://www.etiantian.org/1.html
http://post.etiantian.org/index.html
http://mp3.etiantian.org/index.html
http://www.etiantian.org/3.html
http://post.etiantian.org/2.html
[root@localhost ~]# awk -F "/" '{print $3}' oldboy.log |sort |uniq -c
1 mp3.etiantian.org
2 post.etiantian.org
倒序排序：sort –r filename -r参数倒序排序（反过来排序）。
法一：
[root@localhost ~]# awk -F "/" '{print $3}' oldboy.log |sort |uniq -c|sort -r
3 www.etiantian.org
2 post.etiantian.org
1 mp3.etiantian.org
分析：此类问题是运维工作中最常见的问题。可以演变成分析日志，查看TCP各个状态连接数，查看单IP连接数排名等等。
法二：
[root@localhost ~]# cut -d "/" -f3 oldboy.log |sort -r|uniq -c
3 www.etiantian.org
2 post.etiantian.org
1 mp3.etiantian.org
sort
sort 命令：分隔符默认是空格。
默认按照整行排序。
-u:去重（去除相同内容的行）。
-r:倒序（反过来排序），倒序经常使用。
-n:按照数字排序。
-t:指定分隔符，类似AWK的-F，例如：-t,指定分隔符，-k1就是分隔符之后的第一列排序。
-k:指定第几列。
-k参数用法1：
-k 字段1,字段2 :用逗号作为分隔符，例如：-k 1,1:表示从第一个字段开始排序，到第一个字段结束。
-k参数用法2：
例子：-k 1.1,3.3 :（用点分隔字符）表示第一个字段的第一个字符开始排序到第三个字段的第三个字符结束。
对第二列字符进行排序：
[root@localhost ~]# cat oldboy.txt
10.0.0.9 a
10.0.0.8 k
10.0.0.7 f
10.0.0.7 n
10.0.0.8 c
10.0.0.8 z
10.0.0.9 o
[root@localhost ~]# sort -k 2 oldboy.txt
10.0.0.9 a
10.0.0.8 c
10.0.0.7 f
10.0.0.8 k
10.0.0.7 n
10.0.0.9 o
10.0.0.8 z
进行倒序排序：
[root@localhost ~]# sort -rk2 oldboy.txt
10.0.0.8 z
10.0.0.9 o
10.0.0.7 n
10.0.0.8 k
10.0.0.7 f
10.0.0.8 c
10.0.0.9 a
-k:指定第几列。
-k参数用法1：
-k 字段1,字段2 :用逗号作为分隔符，例如：-k 1,1:表示从第一个字段开始排序，到第一个字段结束。
-k参数用法2：
例子：-k 1.1,3.3 :（用点分隔字符）表示第一个字段的第一个字符开始排序到第三个字段的第三个字符结束。
-k参数用法1和用法2结合的例子（对IP地址降序排序）（日志经常用到此方法用法）：
[root@saltstack-client2 ~]# cat arp.txt
192.168.3.1 00:0F:AF:81:19:DE
192.168.3.1 00:0F:AF:81:19:49
192.168.3.2 00:30:AF:81:19:EF
192.168.3.3 00:40:AF:81:19:BF
192.168.0.152 00:65:AF:81:19:AF
192.168.0.153 00:70:AF:81:19:CF
192.168.1.1 00:80:AF:81:19:59
192.168.1.2 00:45:AF:81:19:GF
192.168.2.20 00:60:AF:81:19:1F
[root@saltstack-client2 ~]# sort -t. -k3.1,3.1nr -k4.1,4.3nr arp.txt
192.168.3.3 00:40:AF:81:19:BF
192.168.3.2 00:30:AF:81:19:EF
192.168.3.1 00:0F:AF:81:19:49
192.168.3.1 00:0F:AF:81:19:DE
192.168.2.20 00:60:AF:81:19:1F
192.168.1.2 00:45:AF:81:19:GF
192.168.1.1 00:80:AF:81:19:59
192.168.0.153 00:70:AF:81:19:CF
192.168.0.152 00:65:AF:81:19:AF
注意：-t,-k一般都是在一起结合使用！sort常用的参数：-r,-n,-t,-k。
linux之sort和uniq的更多相关文章
- Linux中sort和uniq关于排序去重的那些用法
相信在Linux下对文件操作经常会用到sort和uniq命令,下面系统的介绍一下这两个命令的用法. sort命令是在Linux里非常有用,它将文件进行排序,并将排序结果标准输出.sort命令既可以从特 ...
- linux中sort、uniq、cut、tr、wc命令的使用
文本处理命令 1.sort命令 使用场景 : 用于将文件内容加以排序(可以和cat一起用) 参数 作用 -n 依照数值的大小排序 -r 以相反的顺序来排序(默认只比较第一个数,-rn是按所有数值比较) ...
- 11、Linux基础--sort、uniq、cut、tr、wc、流处理工具sed
笔记 1.晨考 1.写出过滤手机号的正则表达式 1[0-9]{10} 2.写出过滤邮箱的正则表达式 chenyang@123.com [a-zA-Z0-9-_]+@[a-z0-9]+\.(com|cn ...
- linux 命令 — sort、uniq
sort uniq sort:对行或者文本文件排序 uniq:去除重复的行 常用 sort -n file.txt 按数字进行排序 sort -r file.txt 按逆序进行排序 sort -M f ...
- Linux命令sort和uniq 的基本使用
uniq 123.txt 去除连续重复uniq -u 123.txt 保留唯一uniq -c 123.txt 去重并计算出现的个数sort -n 123.txt | uniq -c 排序后去重s ...
- linux shell 脚本攻略学习8---md5校验，sort排序,uniq命令详解
一.校验与核实 目前最为出名的校验技术是md5sum和sha1sum,它们对文件内容使用相应的算法来生成校验和. 举例: amosli@amosli-pc:~/learn$ md5sum text.t ...
- Linux Shell 文本处理工具集锦--Awk―sed―cut(row-based, column-based),find、grep、xargs、sort、uniq、tr、cut、paste、wc
本文将介绍Linux下使用Shell处理文本时最常用的工具:find.grep.xargs.sort.uniq.tr.cut.paste.wc.sed.awk:提供的例子和参数都是最常用和最为实用的: ...
- Linux之 sort,uniq,cut,wc命令详解
sort sort 命令对 File 参数指定的文件中的行排序,并将结果写到标准输出.如果 File 参数指定多个文件,那么 sort 命令将这些文件连接起来,并当作一个文件进行排序. sort语法 ...
- 每天学点linux命令--tail，cut，sort，uniq
tail 命令从指定点开始将文件写到标准输出.使用tail命令的-f选项可以方便的查阅正在改变的日志文件,tail -f filename会把filename里最尾部的内容显示在屏幕上,并且不但刷新, ...
随机推荐
- Swift5 语言指南(一) 关于Swift
Swift是编写软件的绝佳方式,无论是用于手机,台式机,服务器还是其他任何运行代码的软件.它是一种安全,快速,交互式的编程语言,它将现代语言思维的最佳结合与来自更广泛的Apple工程文化的智慧和来自开 ...
- ElasticSearch权威指南学习（分布式文档存储）
路由文档到分片 当你索引一个文档,它被存储在单独一个主分片上.Elasticsearch是如何知道文档属于哪个分片的呢?当你创建一个新文档,它是如何知道是应该存储在分片1还是分片2上的呢? 进程不能是 ...
- MySQL备份---lvm snapshot
正常安装(缺点要锁表) 1, 创建一个LV(逻辑卷) , 把MySQL的数据目录放到这个LV上 /var/lib/mysql 对这个LV做快照, 从快照备份数据 删除快照 非正常安装 1,创建LV 2 ...
- LeetCode--No.003 Longest Substring Without Repeating Characters
Longest Substring Without Repeating Characters Total Accepted: 167158 Total Submissions: 735821 Diff ...
- Linux学习笔记之九————ubuntu软件安装与卸载
一.更新 源 1. 寻找国内镜像源 所谓的镜像源:可以理解为提供下载软件的地方,比如Android手机上可以下载软件的91手机助手:iOS手机上可以下载软件的AppStore 2. 备份Ubuntu默 ...
- Thread,ThreadPool,Task, 到async await 的基本使用方法和理解
很久以前的一个面试场景: 面试官:说说你对JavaScript闭包的理解吧? 我:嗯,平时都是前端工程师在写JS,我们一般只管写后端代码. 面试官:你是后端程序员啊,好吧,那问问你多线程编程的问题吧. ...
- 安尼泰科T1行车记录仪说明书
点击下载:安尼泰科T1行车记录仪说明书 自己总结:行车记录仪_使用总结.rar PS:我的型号是T1C,但说明书也适合.
- JodaTimeUtil日期处理工具类(简单、实用)
一.maven依赖 <!--joda time--> <dependency> <groupId>joda-time</groupId> <art ...
- Kafka实战－实时日志统计流程
1.概述 在<Kafka实战-简单示例>一文中给大家介绍来Kafka的简单示例,演示了如何编写Kafka的代码去生产数据和消费数据,今天给大家介绍如何去整合一个完整的项目,本篇博客我打算为 ...
- Docker两种方式进入后台运行的容器
1.在启动容器的时候,有时候我们加了参数-d,这时容器自动进入后台运行.如果我们要进入容器,该怎么办?通常使用docker attach命令和nsenter工具. 2.docker attach是Do ...