Linux进阶之正则，shell三剑客（grep，awk，sed），cut，sort，uniq

一、正则表达式：Regular Expression

正则表达式：正则表达式使用单个字符串来描述、匹配一系列符合某个句法规则的字符串。在很多文本编辑器里，正则表达式通常被用来检索、替换那些符合某个模式的文本。

作用：用一些特殊的字符来描述一个模式

正则是用于对文件中的内容进行过滤和匹配

通配符用于对文件名进行匹配

注意：在匹配模式中一定要加上引号

二、符号：

^           以开头

$           以结尾

^12$     以1开头以2结尾

^$         空行

.     表示任意的一位字符（数字、字母、符号）

+    表示其前面的字符至少重复一次，可以是无数次

?    表示其前面的字符出现最多一次的情况，可以是0次

*    重复任意次数（包括0次）

.*   表示任意长度的任意字符

{}

{数字} 重复数字次，准确的重复多少次

{数字1，数字2}    至少重复数字1次，最多重复数字2次

{数字，}           至少重复数字次，最多不限

{，数字}           最多重复数字次，最少不限

[]    表示范围，多个范围使用 , 分隔

[^字符]        表示匹配[^字符]之外的任意一个字符

^[^]       匹配不是中括号内任意一个字符开头的行

[0-9]            表示1位数字（0-9任意数字）

[a-z]             表示1位小写字母

[A-Z]    表示1位大写字母

[0-9,a-z,A-Z]

()           表示内部是一个整体

|            表示或者

三、常用的正则表达式

1、车牌号码

^[A-Z][0-9,A-Z]{5}$

2、手机号码

^1[0-9]{10}$

3、身份证号

^[0-9]{17}[0-9,X]$

4、IP（0-255.0-255.0-255.0-255）

0-9 [0-9]

10-99    [1-9][0-9]

100-199       1[0-9][0-9]

200-249       2[0-4][0-9]

250-255       25[0-5]

方法一：^([0-9]|[1-9][0-9]|1[0-9][0-9]|2[0-4][0-9]|25[0-5])\.([0-9]|[1-9][0-9]|1[0-9][0-9]|2[0-4][0-9]|25[0-5])\.([0-9]|[1-9][0-9]|1[0-9][0-9]|2[0-4][0-9]|25[0-5])\.([0-9]|[1-9][0-9]|1[0-9][0-9]|2[0-4][0-9]|25[0-5])$

方法二：^([0-9]\.|[1-9][0-9]\.|1[0-9][0-9]\.|2[0-4][0-9]\.|25[0-5]\.){3}([0-9]|[1-9][0-9]|1[0-9][0-9]|2[0-4][0-9]|25[0-5])$

5、密码（8位以上，包含数字、大小写字母）

egrep [a-z] passwd | egrep [A-Z] | egrep [0-9] | egrep ^.{8,}$

四、grep

作用：用于对文件中的内容进行过滤

原理：逐行对文件中的内容根据样式进行匹配，如果匹配成功就过滤出该行

格式：grep [options] PATTERN file

PATTERN：要匹配的模式

参数：

-e   =正则 用正则表达式来进行匹配操作，egrep=grep -E（extended-regexp）用grep调用正则表达式

-f =文件 从文件中取得条件

-i    （--ignore-case）忽略文件中内容的大小写

-n   （--line-number）打印包含匹配项的行和行号

-o   （--only-matching）只输出匹配的选项（不显示整行）

-w 完全匹配字词（精确匹配）

-x   仅完全匹配一行

-c   （--count）只打印每个文件匹配的行数

-v   （--invert-match）取反，打印不匹配的行

-V 显示版本信息

--color   将匹配到的内容进行着色

--help 显示帮助

-B NUM     （--before-context=NUM） 显示匹配到的条件的之前 数字 行

-A NUM     （--sfter-context=NUM） 显示匹配到的条件的之后 数字 行

-C NUM      （--context=NUM）显示匹配到的条件的为中心上下 数字 行

-NUM 等于-C

例子：

1、显示出test中不包含字母c的行

[root@ren4 ~]# grep -v "c" test

2、统计test中包含字母a的行的数量

[root@ren4 ~]# grep "a" test | wc -l

3、过滤出包含大写字母的行

[root@ren4 ~]# grep '[A-Z]' test

4、匹配非数字字符

[root@ren4 ~]# grep '[^0-9]' test

5、查看包含字母a的行，要求显示该行上下各2行

[root@ren4 ~]# grep --color -C 2 'a' test

6、过滤出一行中a在前，v在后的行

[root@ren4 ~]# grep --color 'a.*v' test

7、匹配a和b之间有最少2个c最多5个c的行

[root@ren4 ~]# grep "ac\{2,5\}b" test

accccb

[root@ren4 ~]# egrep "ac{2,5}b" test

accccb

8过滤出以#为开头，且第二个字符是空格的行

[root@ren4 ~]# grep "^#[[:space:]]" test

[root@ren4 ~]# grep "^#[:space:]" test         #语法错误

grep: 字符类的语法是 [[:space:]],而非 [:space:]

9过滤出行首和行尾字母相同的行

[root@ren4 ~]# grep "^\([a-z]\).*\1$" test

adfdfa

[root@ren4 ~]# egrep "^([a-z]).*\1$" test

adfdfa

10、过滤出第一个字符是#，且第二个字符串是非空字符，而且结尾是数字的行

[root@ren4 ~]# grep --color "^#[^[:space:]].*[0-9]$" test

正则练习：

使用文件 /etc/init.d/functions ，下面可能有些部分题目匹配不到符合的情况。

1. 过滤出包含大写字母的行

[root@ren4 ~]# egrep "[A-Z]" /etc/init.d/functions

2. 匹配非数字字符

[root@ren4 ~]# egrep "[^0-9]" /etc/init.d/functions

3. 过滤出一行中a在前，b在后的行

[root@ren4 ~]# egrep "a.*b" /etc/init.d/functions

4. 匹配a和b之间有最少2个c最多5个c的行

[root@ren4 ~]# egrep "ac{2,5]b" /etc/init.d/functions

5. 过滤出一行包含相同数字的行/etc/init.d/functions

[root@ren4 ~]# egrep ".*([0-9]).*\1" /etc/init.d/functions

6. 过滤出不是（空行和以#开头）的行

[root@ren5 ~]# egrep -v "(^#)|(^$)" test

五、awk

1、功能：逐行处理文件中的内容（读取一行，处理一行）

2、语法：

awk [options] '[pattern]{action}' fileName

options：选项，比如 -F 指定分隔符

pattern：输出的条件，比如仅仅输出以#开头的行

action：按照选项切换，并且是符合条件的行，要执行的操作或者命令，比如输出

awk -F分隔符号 '{print $列数}' #-F可以不写,默认使用空格分隔

awk -F分隔符 '{print $列数}' 文件名 #可以直接过滤文件，但不会对源文件内容进行更改

#列说明 $0所有列 $数字 第数字列

3、概念及参数

记录（record）：一行就是一个记录

分隔符（field separator）：进行对记录进行切割的时候所使用的字符

字段（field）：将一条记录分割成的每一段

FILENAME：当前处理文件的文件名

FS（Field Separator）：字段分隔符（默认是以空格为分隔符=）

NR（Number of Rrecord）：记录的编号（awk每读取一行，NR就加1==）

NF（Number of Field）：字段数量（记录了当前这条记录包含多少个字段==）

ORS（Output Record Separator）：指定输出记录分隔符（指定在输出结果中记录末尾是什么，默认是\n，也就是换行）

OFS（Output Field Separator）：输出字段分隔符

RS：记录分隔符

4、示例：

1.用 awk 打印所有包含有 root 字段的行

[root@ren5 ~]# awk '/root/' /etc/passwd

root:x:0:0:root:/root:/bin/bash

operator:x:11:0:operator:/root:/sbin/nologin

2.查看 df -h 命令的第 2 列

[root@ren5 ~]# df -h |awk '{print $2}'

3. 查看 df -h 命令的第 2,5 列

[root@ren5 ~]# df -h |awk '{print $2,$5}'

4.显示 passwd 的第四行

[root@ren5 ~]# awk 'NR==4' /etc/passwd  #必须是两个等号

5.打印 ls –l / 中包含 etc字段行的第二区域

[root@ren5 ~]# ls -l / |awk '/etc/ {print $2}'

6.列示月份及年份 (\n 为换行符 )

[root@ren5 ~]# date |awk '{print $1,$2}'

2019年 08月

[root@ren5 ~]# date |awk '{print "Year:"$1"\nMonth:"$2}'

Year:2019年

Month:08月

7.在有 root 关键字的行的第 1 列后面增加 1 个 \t制表符，并增

加 RedHat，第 2 列后面加 ! 字符

awk -F: '/root/{print $1 "\tRedHat" $2 "!"}' /etc/passwd

8.在有 root字段的行前增加记录号 ($0 为行头前 )

[root@ren5 ~]# awk -F: '/root/{print NR,$0}' /etc/passwd

1 root:x:0:0:root:/root:/bin/bash

10 operator:x:11:0:operator:/root:/sbin/nologin

[root@ren5 ~]# awk -F: '/root/{print $0}' /etc/passwd

root:x:0:0:root:/root:/bin/bash

operator:x:11:0:operator:/root:/sbin/nologin

9.以：分割，匹配第一列的 root字段，如果有，则显示整行

[root@ren5 ~]# awk -F ":" '$1 ~/root/' /etc/passwd

10.以：分割，匹配第一列不存在 root字段的行，如果有，则显

示行号和第一列

[root@ren5 ~]# awk -F ":" '$1 !~/root/{print NR,$1}' /etc/passwd

11. 在结果前打印 hello，可以是任何的字符

[root@ren5 ~]# awk 'BEGIN{print "Hello"}{print $0}' /etc/passwd

12. 在结果后打印 hello，可以是任何的字符

[root@ren5 ~]# awk 'END{print "Hello"}{print $0}' /etc/passwd

13.使用awk进行计算 +加 -减 *乘 /除 可以带()^开方

[root@ren5 ~]# awk 'BEGIN{print 2+1}' /etc/passwd

14.比较 >大于 <小于 >=大于等于 <=小于等于 ==等于

[root@ren5 ~]# awk -F ':' '$3<=88{print $1,$3}' /etc/passwd

#如果第三列小于等于88，输出第一列和第三列

六、sed

1、概念：文本编辑器，也是对文件中的内容进行逐行的处理（一次处理一行）

2、功能：通过指定的正则表达式完成指定关键字的过滤、截取、修改等操作

3、sed的工作原理：

sed读取一行，首先将这行放入到缓存中

然后，才对这行进行处理

处理完成以后，将缓冲区的内容发送到终端

存储sed读取到的内容的缓存区空间称之为：模式空间（Pattern Space）

4、语法格式： sed ‘command’ filename(s)

5、特点：

1.sed属于一个流线式的非交互式的编辑器

2. sed在输入命令和文件名后，将在屏幕上输出

3.在不用重定向至文件之前，是不会改变文件现有内容。以避免修改文件时出现问题

6、选项：

Option选项	解释说明
-n（no）	取消默认的sed软件的输出，常与sed命令的p连用。（抑制内存输出）
-e（entry）	一行命令语句可以执行多条sed命令
-r（regular）	使用扩展正则表达式，默认情况sed只识别基本正则表达式
-i（inside）	直接修改文件内容，而不是输出到终端，如果不使用-i选项sed软件只是修改在内存中的数据，并不会影响磁盘上的文件
p（print）	打印模式空间内容，通常p会与选项-n一起使用
a（append）	追加，在指定行后添加一行或多行文本
i（insert）	插入，在指定行前添加一行或多行文本
d（delete）	删除指定的行
c（change）	取代指定的行
s（substitute）	字符串替换
r（read）	从一个文件中读取到另一个文件中
w（write）	从一个文件中将匹配的内容写入到另外一个文件中
&	引用前面的搜索结果
!	对指定行以外的所有行应用命令，对命令的执行结果取反（不显示命令找到的内容）

6、示例：

（1）查找指定的字符串

[root@ren5 ~]# sed -n '/root/p' /etc/passwd       #显示有/root/的行

root:x:0:0:root:/root:/bin/bash

operator:x:11:0:operator:/root:/sbin/nologin

[root@ren5 ~]# sed -n '2,5p' /etc/passwd           #显示2到5行

bin:x:1:1:bin:/bin:/sbin/nologin

daemon:x:2:2:daemon:/sbin:/sbin/nologin

adm:x:3:4:adm:/var/adm:/sbin/nologin

lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin

[root@ren5 ~]# sed -n '2p' /etc/passwd       #显示第2 行的内容，如果不加-n，是显示所有内容，但第二行有2行。

（2）删除

[root@ren5 ~]# sed 'd' test     #删除所有test内的内容

[root@ren5 ~]# sed '2d' test   #删除第2行

[root@ren5 ~]# sed '2,5d' test       #删除第2到5行

[root@ren5 ~]# sed '/ren/d' test     #删除包含ren的行

[root@ren5 ~]# sed '2,$d' test       #删除第2行到行尾的内容（包含第2行）

[root@ren5 ~]# sed '2,6!d' test      #（取反删除）除了第2行到第6行，其它都删除

[root@ren5 ~]# sed '/ren/!d' test   #删除不包含ren的所有行

（3）增加内容

[root@ren5 ~]# sed "2a 你好" test            #在第2行后增加内容

this is the first line

this is the second line

你好

this is the third line

this is the forth line

[root@ren5 ~]# sed "2i 你好" test             #在第2行前增加内容

this is the first line

你好

this is the second line

this is the third line

[root@ren5 ~]# sed "i 你好" test        #在每一行的前面增加

[root@ren5 ~]# sed "2,5i 你好" test          #在2-5行前面增加

[root@ren5 ~]# sed "2i 你好\n我很好" test           #换行（增加多行内容）

this is the first line

你好

我很好

this is the second line

[root@ren5 ~]# sed "2i 你好\n\t\t我很好" test      #换行+tab+tab

this is the first line

你好

我很好

this is the second line

（4）修改，替换

[root@ren5 ~]# sed '2c 改过之后的第二行' test           #整行替换

this is the first line

改过之后的第二行

this is the third line

[root@ren5 ~]# sed 's/is/ese/' test        #默认替换每一行的第一个

these is the first line

[root@ren5 ~]# sed 's/is/ese/g' test             #全文替换

these ese the first line

[root@ren5 ~]# sed 'y/e/E/' test           #字母替换，默认替换所有适配字母

this is thE first line

[root@ren5 ~]# sed -i 's/t/T/' test         #修改磁盘文件

[root@ren5 ~]# cat test

This is the first line

[root@ren5 ~]# sed 's/is/are/2' test       #指定替换每行的第2个词

This are the first line

[root@ren5 ~]# sed 's/is/are/2w test2' test         #将修改后的文本保存至test2

（5）多点编辑（-e）

[root@ren5 ~]# sed -e '2d' -e '4d' test         #删除第2行和第4行

This is the first line

This is the third line

This is the fivth line

[root@ren5 ~]# sed -n -e '3p' -e '7p' test     #显示第3行和点7行

This is the third line

This is the seventh line

[root@ren5 ~]# sed -e '/^#/d' -e '/^$/d' test        #删除文件中的注释行和空白行

七、其它小命令（cut，sort，uniq）

1、cut命令

作用：根据指定的分隔符来切割数据，然后显示指定的部分

选项：

-d ’字符’ ：（--delimiter=分界符）指定分隔符

-f #：（--fields=LIST）指定显示分割后的那一部分数据，取第几位的字符（#代表数字）

输出的情况

1）输出一段：指定一个编号   2

2）输出连续多段：编号-编号 2-5

3）输出不连续多段：编号,编号... 2,3,5

示例：

（1）bin:10:15:i am bin:/home/bin:/sbin/nologin

#输出上面的15

[root@ren5 ~]# echo "bin:10:15:i am bin:/home/bin:/sbin/nologin" |cut -d ':' -f3

15

（2）#输出系统中全部用户的用户名和shell类型

[root@ren5 ~]# cat /etc/passwd |cut -d":" -f1,7

root:/bin/bash

2、sort命令

作用：按字符进行比较和排序，默认以排序 ASCII 方式进行排序 [a-z]

格式：sort 选项 file

选项：

-t：（ --field-separator=分隔符）指定分隔符

-k：（--key=KEYDEF）根据切割后的那一段进行排序（根据切割后的那一段排序，不是取出来那一段）

-n：（--numeric-sort）表示根据数字进行排序（默认是根据字符进行排序）

-f：（--ignore-case）忽略要比较的字符大小写

-c, --check, --check=diagnose-first      检查输入是否已排序，若已有序则不进行操作

-u：（--unique）去除重复的行（只要那个指定的字段重复，就认定是重复的行）配合-c，严格校验排序；不配合-c，则只输出一次排序

-r：（--reverse）按照降序（逆序）排序[z-a]

示例：

（1）对 /etc/passwd 文件进行升序排序

[root@ren5 ~]# sort /etc/passwd

（2）对 /etc/passwd 文件进行降序排序

[root@ren5 ~]# sort -r /etc/passwd

（3）对 /etc/passwd 第3列进行数值排序，分界符为：

[root@ren5 ~]# sort -n -k 3 -t : /etc/passwd

（4）对第 1 列的第2个字符开始至本列最后1个字符排序

[root@ren5 ~]# sort -k 1.2 -t : /etc/passwd        #注意1.2中间是小数点

3、uniq命令

uniq命令（通常结合sort先进行排序，然后再使用该命令统计相同的行出现的次数）

作用：去除重复的行（相邻且相同，认定为重复）

选项：

-c：（--count）在行首用数字表示该行出现了多少次

-d：（--repeated）仅仅显示出现过重复的行

-u：（--unique）仅仅显示那些没有出现重复过的行

例子：uniq用法

[root@ren5 ~]# uniq -c test

2 This is the first line

1 This is the third line

[root@ren5 ~]# uniq -d test

This is the first line

[root@ren5 ~]# uniq -u test

This is the third line

This is the forth line

[root@ren5 ~]# uniq test