"三剑客"之awk心中无剑
一、awk介绍
awk 是一种程序语言. 它具有一般程序语言常见的功能.
因awk语言具有某些特点, 如 : 使用直译器(Interpreter)不需先行编译; 变量无类型之分(Typeless), 可使用文字当数组的下标(Associative Array)...等特色. 因此, 使用awk撰写程序比起使用其它语言更简洁便利且节省时间. awk还具有一些内建功能, 使得awk擅于处理具数据行(Record), 字段(Field)型态的资料; 此外, awk内建有pipe的功能, 可将处理中的数据传送给外部的 Shell命令加以处理, 再将Shell命令处理后的数据传回awk程序, 这个特点也使得awk程序很容易使用系统资源。
1.1、awk读取数据设置
awk读取输入文件时，每次读取一条记录(record)(默认情况下按行读取，所以此时记录就是行)。每读取一条记录，将其保存到$0中，然后执行一次main代码段
在读取数据时，可设置表示输入记录分隔符的预定义变量RS(Record Separator)来改变每次读取的记录模式
awk 'BEGIN{RS="\n"}'默认情况下使用\n换行符进行分隔读取。
RS=""：按段落读取
RS="\0"：一次性读取所有数据，但有些特殊文件中包含了空字符\0
RS="^$"：真正的一次性读取所有数据，因为非空文件不可能匹配成功
RS="\n+"：按行读取，但忽略所有空行
所以在读取数据前，可以改变RS来改变每次读取数据的模式
1.2、awk的执行过程
- 自动从指定的数据文件中读取一个数据行.
- 自动更新(Update)相关的内建变量之值. 如 : NF, NR, $0...
- 依次执行程序中 所有 的 Pattern { Actions } 指令.
- 当执行完程序中所有 Pattern { Actions } 时, 若数据文件中还有未读取的数据, 则反复执行步骤1到步骤4.
1.3、本文实例数据
ID name gender age email phone
1 zhangs female 34 aaa@163.com 13423394013
2 lisi male 45 abb@gmail.com 15608492523
3 wmzi female 61 ccc@sohu.com 18848796505
4 wangw female 31 acc@sohu.com 18848796506
5 liub male 56 gdd@163.com 18848796507
6 zhangf female 34 adb@139.com 18848796573
7 guany male 56 eab@189.com 17048796508
8 zhaoy female 35 189@163.com 17058796503
9 huangz male 65 dd@189.com 13648796593
10 lvbu male 43 byy@sohu.com 18148796803
11 sunwk male 99 suk@sohu.com 18148706803
二、awk使用语法和选项
2.1、使用语法
awk [ -- ] program-text file ... (1)
awk -f program-file [ -- ] file ... (2)
awk -e program-text [ -- ] file ... (3) program-txt是awk命令行中的awk代码，一般使用单引号包围
-f program-file表示将awk代码写在文件中，然后使用-f选项去执行该文件
-e program-text也用于指定awk代码，如果要结合文件和命令行一起使用，必须使用-e和-f，不能使用(1)
2.2、使用选项
-e program-text
--source program-text
指定awk程序表达式，可结合-f选项同时使用
在使用了-f选项后，如果不使用-e，awk program是不会执行的，它会被当作ARGV的一个参数 -f program-file
--file program-file
从文件中读取awk源代码来执行，可指定多个-f选项 -F fs
--field-separator fs
指定输入字段分隔符(FS预定义变量也可设置) -n
--non-decimal-data
识别文件输入中的8进制数(0开头)和16进制数(0x开头)
echo '030' | awk -n '{print $1+0}' -o [filename]
格式化awk代码。
不指定filename时，则默认保存到awkprof.out
指定为`-`时，表示输出到标准输出 -v var=val
--assign var=val
在BEGIN之前，声明并赋值变量var，变量可在BEGIN中使用
2.3、awk程序语法
awk程序中主要语法是 Pattern { Actions}
Pattern:为匹配模式，即判定某一行是否符合该模式，然后才执行Actions
Actions：为执行逻辑，其中多个action如果写在同一行，则需使用分号分隔
pattern和action都可以省略
- 省略pattern，等价于对每一行数据都执行action
- 例如：awk '{print $0}' test.txt
省略代码块{action}，等价于{print}即输出所有行
- 例如：awk '/Alice/' test.txt等价于awk '/Alice/{print $0}' test.txt
- 省略代码块中的action，表示对筛选的行什么都不做
- 例如：awk '/Alice/{}' test.txt
pattern{action}任何一部分都可以省略
- 例如:awk '' test.txt
pattern中使用逻辑与、非、或
pattern && pattern # 逻辑与 3>2 && 3>1 {action}
pattern || pattern # 逻辑或 3>2 || 3<1 {action}
! pattern # 逻辑取反 !/a.*ef/{action}
常用的Pattern
# 1.根据行号筛选
NR==2 # 筛选出第二行
NR>=2 # 输出第2行和之后的行 # 2.根据正则表达式筛选整行
/qq.com/ # 输出带有qq.com的行
$0 ~ /qq.com/ # 等价于上面命令
/^[^@]+$/ # 输出不包含@符号的行
!/@/ # 输出不包含@符号的行 # 3.根据字段来筛选行
($4+0) > 24{print $0} # 输出第4字段大于24的行
$5 ~ /qq.com/ # 输出第5字段包含qq.com的行 # 4.将多个筛选条件结合起来进行筛选
NR>=2 && NR<=7 #输出行数大于等于2并且小于等于7
$3=="male" && $6 ~ /^170/ #输出第三个字段等于male并且第六个字段不用170开头
$3=="male" || $6 ~ /^170/ #输出第三个字段等于male或者第六个字段不用170开头 # 5.按照范围进行筛选 flip flop
# pattern1,pattern2{action}
NR==2,NR==7 # 输出第2到第7行
NR==2,$6 ~ /^170/ # 输出第2行到匹配第六个字段170开头的行
action有很多，例如：
awk的 I/O指令 : print, printf( ), getline...
awk的 流程控制指令 : if(...){..} else{..}, while(...){...}...
实例：
[root@lgh test]# awk '' test.txt #action和pattern都省了
[root@lgh test]# awk '/163/{print $0}' test.txt #匹配行中有163的行，并输出
1 zhangs female 34 aaa@163.com 13423394013
5 liub male 56 gdd@163.com 18848796507
8 zhaoy female 35 189@163.com 17058796503
[root@lgh test]# awk '/163/' test.txt #省略action，默认输出$0
1 zhangs female 34 aaa@163.com 13423394013
5 liub male 56 gdd@163.com 18848796507
8 zhaoy female 35 189@163.com 17058796503
[root@lgh test]# awk '{print $0}' test.txt #省略pattern，输出全部行
ID name gender age email phone
1 zhangs female 34 aaa@163.com 13423394013
2 lisi male 45 abb@gmail.com 15608492523
3 wmzi female 61 ccc@sohu.com 18848796505
4 wangw female 31 acc@sohu.com 18848796506
5 liub male 56 gdd@163.com 18848796507
6 zhangf female 34 adb@139.com 18848796573
7 guany male 56 eab@189.com 17048796508
8 zhaoy female 35 189@163.com 17058796503
9 huangz male 65 dd@189.com 13648796593
10 lvbu male 43 byy@sohu.com 18148796803
11 sunwk male 99 suk@sohu.com 18148706803
三、awk内置变量
预定义变量分为两类：控制awk工作的变量和携带信息的变量
第一类：控制AWK工作的预定义变量
$0,$1,$2,...$NF：其中$0表示整行数据，$1,$2,...,$NF分别表示该行的第一个字段、第二个字段，...,最后一个字段
RS：输入记录分隔符，默认为换行符\n
IGNORECASE：默认值为0，表示所有的正则匹配不忽略大小写。设置为非0值（例如1），之后的匹配将忽略大小写。例如在BEGIN块中将其设置为1，将使FS、RS都以忽略大小写的方式分隔字段或分隔record
FS：读取记录后，划分为字段的字段分隔符。
FIELDWIDTHS：以指定宽度切割字段而非按照FS。
FPAT：以正则匹配匹配到的结果作为字段，而非按照FS划分。
OFS：print命令输出各字段列表时的输出字段分隔符，默认为空格" "
ORS：print命令输出数据时在尾部自动添加的记录分隔符，默认为换行符\n
CONVFMT：在awk中数值隐式转换为字符串时，将根据CONVFMT的格式按照sprintf()的方式自动转换为字符串。默认值为”%.6g
OFMT：在print中，数值会根据OFMT的格式按照sprintf()的方式自动转换为字符串。默认值为”%.6g
第二类：携带信息的预定义变量
ARGC和ARGV：awk命令行参数的数量、命令参数的数组。
ARGIND：awk当前正在处理的文件在ARGV中的索引位置。所以，如果awk正在处理命令行参数中的某文件，则ARGV[ARGIND] == FILENAME为真
FILENAME：awk当前正在处理的文件(命令行中指定的文件)，所以在BEGIN中该变量值为空
ENVIRON：保存了Shell的环境变量的数组。例如ENVIRON["HOME"]将返回当前用户的家目录
NR:当前已读总记录数，多个文件从不会重置为0，所以它是一直叠加的，可以直接修改NR，下次读取记录时将在此修改值上自增
FNR:当前正在读取文件的第几条记录，每次打开新文件会重置为0，可以直接修改FNR，下次读取记录时将在此修改值上自增
NF：当前记录的字段数，
RT：在读取记录时真正的记录分隔符，
RLENGTH：match()函数正则匹配成功时，所匹配到的字符串长度，如果匹配失败，该变量值为-1
RSTART：match()函数匹配成功时，其首字符的索引位置，如果匹配失败，该变量值为0
SUBSEP：arr[x,y]中下标分隔符构建成索引时对应的字符，默认值为\034，是一个不太可能出现在字符串中的不可打印字符。
1、$0,$1,$2,...,$NF
[root@lgh test]# awk '{print $0,$1,$2,$NF}' test.txt #输出整行，然后输出第一，第二，和最后一个字段的值
ID name gender age email phone ID name phone
1 zhangs female 34 aaa@163.com 13423394013 1 zhangs 13423394013
2 lisi male 45 abb@gmail.com 15608492523 2 lisi 15608492523
3 wmzi female 61 ccc@sohu.com 18848796505 3 wmzi 18848796505
4 wangw female 31 acc@sohu.com 18848796506 4 wangw 18848796506
5 liub male 56 gdd@163.com 18848796507 5 liub 18848796507
6 zhangf female 34 adb@139.com 18848796573 6 zhangf 18848796573
7 guany male 56 eab@189.com 17048796508 7 guany 17048796508
8 zhaoy female 35 189@163.com 17058796503 8 zhaoy 17058796503
9 huangz male 65 dd@189.com 13648796593 9 huangz 13648796593
10 lvbu male 43 byy@sohu.com 18148796803 10 lvbu 18148796803
11 sunwk male 99 suk@sohu.com 18148706803 11 sunwk 18148706803
2、RS、IGNORECASE
RS有两种情况：
RS为单个字符：直接使用该字符作为分隔符进行分割记录
RS为多个字符：将其当做正则表达式，只要匹配正则表达式的符号，都用来做分割记录，设置预定义变量INGORECASE为非零值，表示正则忽略大小写
[root@lgh test]# echo "bababaABAB" | awk 'BEGIN{IGNORECASE=1;RS="a+"}{print $0}' #正则忽略大小写切分读取
b
b
b
B
B
[root@lgh test]# echo "bababaABAB" | awk 'BEGIN{IGNORECASE=0;RS="a+"}{print $0}' #正则不忽略大小写切分读取
b
b
b
ABAB
[root@lgh test]# echo "bababaABAB" | awk 'BEGIN{IGNORECASE=1;RS="a"}{print $0}' #非正则，IGNORECASE无效
b
b
b
ABAB
3、分隔符FS、FIELDWIDTHS
- FS为单个字符时，该字符即为字段分隔符
- FS为多个字符时，则采用正则表达式模式作为字段分隔符
- 特殊的，也是FS默认的情况，FS为单个空格时，将以连续的空白（空格、制表符、换行符）作为字段分隔符
- 特殊的，FS为空字符串””时，将对每个字符都进行分隔，即每个字符都作为一个字段
- 设置预定义变量IGNORECASE为非零值，正则匹配时表示忽略大小写(只影响正则，所以FS为单字时无影响)
[root@lgh test]# awk -F" +|@" '{print $1,$2,$3,$4,$5,$6,$7}' test.txt #正则，一个空格或者多个空格，或者@符进行分割
ID name gender age email phone
1 zhangs female 34 aaa 163.com 13423394013
2 lisi male 45 abb gmail.com 15608492523
3 wmzi female 61 ccc sohu.com 18848796505
4 wangw female 31 acc sohu.com 18848796506
5 liub male 56 gdd 163.com 18848796507
6 zhangf female 34 adb 139.com 18848796573
7 guany male 56 eab 189.com 17048796508
8 zhaoy female 35 189 163.com 17058796503
9 huangz male 65 dd 189.com 13648796593
10 lvbu male 43 byy sohu.com 18148796803
11 sunwk male 99 suk sohu.com 18148706803
[root@lgh test]# awk '{print $1,$2}' FS=":" /etc/passwd | head -2 #使用FS指定：为分割分
root x
bin x
[root@lgh test]# awk -F":" '{print $1,$2}' /etc/passwd | head -2 #使用-F指定：分隔符
root x
bin x
预定义变量FIELDWIDTHS按字符宽度分割字段
FIELDWIDTHS="1 2 3 4" :表示第一个字段1个字符，第二个2个字符，第三个3个字符，第四个4个字符
[root@lgh test]# cat name.txt #文件内容
ID name gender age email phone
1 female 34 aaa@163.com 13423394013
2 lisi male 45 abb@gmail.com 15608492523
[root@lgh test]# awk '{print $2}' name.txt #获取第二列，其中female是第三列的内容
name
female
lisi
[root@lgh test]# awk 'BEGIN{FIELDWIDTHS="8 8"}{print $2}' name.txt #正确的获取第二列
name lisi
[root@lgh test]# echo 'bababaABAB' | awk 'BEGIN{FIELDWIDTHS="1 2 3 4"}{print $1,$2,$3,$4}' #使用指定字符长度分割
b ab aba ABAB
4、FS、OFS
FS是读取行时的字段分割，OFS是输出时的字段分隔符
[root@lgh test]# awk 'BEGIN{OFS="="}{print $1,$2}' test.txt
ID=name
1=zhangs
2=lisi
3=wmzi
4=wangw
5=liub
6=zhangf
7=guany
8=zhaoy
9=huangz
10=lvbu
11=sunwk
[root@lgh test]# awk 'BEGIN{OFS="-"}{$1=$1;print $0}' test.txt #重组$0,修改$1,$2,...,$NF中的内容，以及增大或者减少NF的值，都会产生$0的重组
ID-name-gender-age-email-phone
1-zhangs-female-34-aaa@163.com-13423394013
2-lisi-male-45-abb@gmail.com-15608492523
3-wmzi-female-61-ccc@sohu.com-18848796505
4-wangw-female-31-acc@sohu.com-18848796506
5-liub-male-56-gdd@163.com-18848796507
6-zhangf-female-34-adb@139.com-18848796573
7-guany-male-56-eab@189.com-17048796508
8-zhaoy-female-35-189@163.com-17058796503
9-huangz-male-65-dd@189.com-13648796593
10-lvbu-male-43-byy@sohu.com-18148796803
11-sunwk-male-99-suk@sohu.com-18148706803
5、RS、ORS
RS是读取时的行分割，ORS是输出时的行分割
[root@lgh test]# echo -e "a\nb" |awk '{print $1}' #RS默认\n
a
b
[root@lgh test]# echo -e "a\nb" |awk 'BEGIN{ORS="hello word"}{print $1}' #使用hello word代替\n进行输出
ahello wordbhello word
6、OFMT
变量OFMT（Output format）定义的格式按照sprintf()相同的方式进行格式化。OFMT默认值为%.6g，表示有效位(整数部分加小数部分)最多为6。
[root@lgh test]# awk 'BEGIN{OFMT="%.3f";print 3.141592678}' #会进行四舍五入
3.142
[root@lgh test]# awk 'BEGIN{print 3.141592678}'
3.14159
常用格式符：
%c :将ASCII码转换为字符，
%d :转为整数
%e :科学计数方法输出
%o :转为8进制输出
%s :转为字符串
%x :转16进制
7、NR、FNR
NR是该程序读取的记录数，FNR是程序读取某个文件的的记录数
[root@lgh test]# awk '{print NR,FNR,$0}' test.txt test.txt #NR一直递增，FNR根据文件重新设置1，然后递增
1 1 ID name gender age email phone
2 2 1 zhangs female 34 aaa@163.com 13423394013
3 3 2 lisi male 45 abb@gmail.com 15608492523
4 4 3 wmzi female 61 ccc@sohu.com 18848796505
5 5 4 wangw female 31 acc@sohu.com 18848796506
6 6 5 liub male 56 gdd@163.com 18848796507
7 7 6 zhangf female 34 adb@139.com 18848796573
8 8 7 guany male 56 eab@189.com 17048796508
9 9 8 zhaoy female 35 189@163.com 17058796503
10 10 9 huangz male 65 dd@189.com 13648796593
11 11 10 lvbu male 43 byy@sohu.com 18148796803
12 12 11 sunwk male 99 suk@sohu.com 18148706803
13 1 ID name gender age email phone
14 2 1 zhangs female 34 aaa@163.com 13423394013
15 3 2 lisi male 45 abb@gmail.com 15608492523
16 4 3 wmzi female 61 ccc@sohu.com 18848796505
17 5 4 wangw female 31 acc@sohu.com 18848796506
18 6 5 liub male 56 gdd@163.com 18848796507
19 7 6 zhangf female 34 adb@139.com 18848796573
20 8 7 guany male 56 eab@189.com 17048796508
21 9 8 zhaoy female 35 189@163.com 17058796503
22 10 9 huangz male 65 dd@189.com 13648796593
23 11 10 lvbu male 43 byy@sohu.com 18148796803
24 12 11 sunwk male 99 suk@sohu.com 18148706803
8、ARGS、ARGV
预定义变量ARGV是一个数组，包含了所有的命令行参数。该数组使用从0开始的数值作为索引。
预定义变量ARGC初始时是ARGV数组的长度，即命令行参数的数量。
ARGV数组的数量和ARGC的值只有在awk刚开始运行的时候是保证相等的。
[root@lgh test]# awk 'BEGIN{print ARGC;for(i in ARGV){print "ARGV[" i "]= " ARGV[i]}}' a b c
4
ARGV[0]= awk
ARGV[1]= a
ARGV[2]= b
ARGV[3]= c
四、BEGIN和END
awk的所有代码(目前这么认为)都是写在语句块中的。
每个语句块前面可以有pattern，比如：pattern1{action1}pattern2{action3;action4;...}
语句块可分为3类：BEGIN语句块、END语句块和main语句块。其中BEGIN语句块和END语句块都是的格式分别为BEGIN{...}和END{...}，而main语句块是一种统称，它的pattern部分没有固定格式，也可以省略，main代码块是在读取文件的每一行的时候都执行的代码块。
BEGIN代码块：
在读取文件之前执行，且执行一次
在BEGIN代码块中，无法使用$0或其它一些特殊变量 main代码块：
读取文件时循环执行，(默认情况)每读取一行，就执行一次main代码块
main代码块可有多个 END代码块：
在读取文件完成之后执行，且执行一次
有END代码块，必有要读取的数据(可以是标准输入)
END代码块中可以使用$0等一些特殊变量，只不过这些特殊变量保存的是最后一轮awk循环的数据
[root@lgh test]# awk 'BEGIN{print "hello word"}/^1/{print $0}END{print "END hello word"}' test.txt
hello word
1 zhangs female 34 aaa@163.com 13423394013
10 lvbu male 43 byy@sohu.com 18148796803
11 sunwk male 99 suk@sohu.com 18148706803
END hello word
实例如上：begin和end均只输出一次，main代码中匹配1开头的行并输出
五、运算符和逻辑运算符
5.1、运算符
$ # $(2+2)
++ --
^ **
+ - ! # 一元运算符
* / %
+ -
space # 这是字符连接操作 `12 " " 23` `12 " " -23`
| |&
< > <= >= != == # 注意>即是大于号，也是print/printf的重定向符号
~ !~
in
&&
||
?:
= += -= *= /= %= ^=
5.2、逻辑运算符
&& 逻辑与
|| 逻辑或
! 逻辑取反 expr1 && expr2 # 如果expr1为假，则不用计算expr2
expr1 || expr2 # 如果expr1为真，则不用计算expr2 # 注：
# 1. && ||会短路运算
# 2. !优先级高于&&和||
# 所以`! expr1 && expr2`等价于`(! expr1) && expr2`
六、输出和重定向
输出格式：print elem1,elem2,elem3...
逗号分隔要打印的字段列表，各字段都会自动转换成字符串格式，然后通过预定义变量OFS值(其默认值为空格)连接各字段进行输出
在print输出时会自动在尾部加上输出记录分隔符，输出记录分隔符的预定义变量为ORS，其默认值为\n
sprintf()采用和printf相同的方式格式化字符串，但是它不会输出格式化后的字符串，而是返回格式化后的字符串。所以，可以将格式化后的字符串赋值给某个变量。
[root@lgh test]# awk 'BEGIN{var=sprintf("%.3f",3.141592678);print var}' #使用sprintf进行格式化复制变量，然后输出
3.142
[root@lgh test]# awk 'BEGIN{var=sprintf("%d",3.141592678);print var}'
3
[root@lgh test]# awk 'BEGIN{OFMT="%.3f";print 3.141592678}' #使用OFMT指定格式进行输出
3.142
[root@lgh test]# awk 'BEGIN{OFMT="%d";print 3.141592678}'
3
重定向：
>filename时，如果文件不存在，则创建，如果文件存在则首先截断。之后再输出到该文件时将不再截断。
>>filename时，将追加数据，文件不存在时则创建。
awk中只要不close()，任何文件都只会在第一次使用时打开，之后都不会再重新打开。
[root@lgh test]# awk '{print $1,$2 > "name.txt"}' test.txt #重定向到name.txt文件
[root@lgh test]# cat name.txt
ID name
1 zhangs
2 lisi
3 wmzi
4 wangw
5 liub
6 zhangf
7 guany
8 zhaoy
9 huangz
10 lvbu
11 sunwk
七、数组
awk数组特性：
- awk的数组是关联数组(即key/value方式的hash数据结构)，索引下标可为数值(甚至是负数、小数等)，也可为字符串
- 在内部，awk数组的索引全都是字符串，即使是数值索引在使用时内部也会转换成字符串
- awk的数组元素的顺序和元素插入时的顺序很可能是不相同的
- awk数组支持数组的数组
- 通过索引的方式访问数组中不存在的元素时，会返回空字符串，同时会创建这个元素并将其值设置为空字符串。
数组的访问和赋值都是通过制定下标就行赋值和访问，下标可以为整数，负数，字符串，小数
例如：
[root@lgh test]# cat a.awk
{
arr[i]="a"
arr[-1]="b"
print arr[i]
print arr[-1]
print length(arr)
print arr[1] #输出不存在的数组下标内容
print "################"
print length(arr) #长度+1
}
[root@lgh test]# echo 0 | awk -f a.awk
a
b
2 ################
3
数组遍历、删除、判读某key是否在arr中：
[root@lgh test]# cat a.awk
{
arr["x"]="a"
arr[-1]="b"
arr[4.5]=1
arr[4]=5
for(idx in arr){ #遍历
print arr[idx]
}
print "###############"
delete arr[4] #删除元素，也可以删除整个数组delete arr
for(idx in arr){ #遍历无序，与建立数组时输入的元素顺序不一定一致
print idx,arr[idx]
}
print "##############"
print (-1 in arr) #判断key=-1，是否在数组中，是返回1，不是返回0
print (99 in arr)
}
[root@lgh test]# echo 0 | awk -f a.awk
5
b
a
1
###############
-1 b
x a
4.5 1
##############
1
0
八、流程控制
8.1、判断、选择
if判断：
if(condition){statement }
if(condition){statement }else{statement }
if(condition){statement }else if(condition){statement }else{statement }
三目运算
expr1 ? expr2 : expr3
switch选择：
switch (expression) {
case value1|regex1 : statements1
case value2|regex2 : statements2
case value3|regex3 : statements3
...
[ default: statement ]
}
[root@lgh test]# awk 'NR>1{$1>5? var="B": var="A";print $1,var}' test.txt
1 A
2 A
3 A
4 A
5 A
6 B
7 B
8 B
9 B
10 B
11 B
[root@lgh test]# awk 'NR>1{if($1<5){print $1,"A"}else{print $1,"B"}}' test.txt
1 A
2 A
3 A
4 A
5 B
6 B
7 B
8 B
9 B
10 B
11 B
8.2、循环
while和do…while
while(condition){
statements
}
do {
statements
} while(condition)
for循环
for (expr1; expr2; expr3) {
statement
}
for (idx in array) {
statement
}
awk '{i=1;while(i<=NF){print $i;i++}}' test.txt
awk '{for(i=1;i<=NF;i++) print $i}' test.txt
8.3、关键字
break：break可退出for、while、do…while、switch语句。
continue：continue可让for、while、do…while进入下一轮循环。
next：next会在当前语句处立即停止后续操作，并读取下一行，进入循环顶部。
nextfile：nextfile会在当前语句处立即停止后续操作，并直接读取下一个文件，并进入循环顶部。
exit：直接退出awk程序，注意，END语句块也是exit操作的一部分，所以在BEGIN或main段中执行exit操作，也会执行END语句块。如果真的想直接退出整个awk，则可以先设置一个flag变量，然后在END语句块的开头检查这个变量再exit。
[root@lgh test]# awk 'NR==3{next}{print $0}' test.txt #匹配到了第3行，然后跳过
ID name gender age email phone
1 zhangs female 34 aaa@163.com 13423394013
3 wmzi female 61 ccc@sohu.com 18848796505
4 wangw female 31 acc@sohu.com 18848796506
5 liub male 56 gdd@163.com 18848796507
6 zhangf female 34 adb@139.com 18848796573
7 guany male 56 eab@189.com 17048796508
8 zhaoy female 35 189@163.com 17058796503
9 huangz male 65 dd@189.com 13648796593
10 lvbu male 43 byy@sohu.com 18148796803
11 sunwk male 99 suk@sohu.com 18148706803
[root@lgh test]# awk 'NR==3{nextfile}{print $0}' test.txt test.txt #匹配到第3行，跳过该文件，执行下一个文件
ID name gender age email phone
1 zhangs female 34 aaa@163.com 13423394013
ID name gender age email phone
1 zhangs female 34 aaa@163.com 13423394013
2 lisi male 45 abb@gmail.com 15608492523
3 wmzi female 61 ccc@sohu.com 18848796505
4 wangw female 31 acc@sohu.com 18848796506
5 liub male 56 gdd@163.com 18848796507
6 zhangf female 34 adb@139.com 18848796573
7 guany male 56 eab@189.com 17048796508
8 zhaoy female 35 189@163.com 17058796503
9 huangz male 65 dd@189.com 13648796593
10 lvbu male 43 byy@sohu.com 18148796803
11 sunwk male 99 suk@sohu.com 18148706803
[root@lgh test]# awk 'BEGIN{ print "hello work";exit}END{print "god job"}' #默认会执行END中的代码
hello work
god job
[root@lgh test]# awk 'BEGIN{ print "hello work";;exit flag=1}END{if(flag) exit ;print "god job"}' #使用flag跳出
hello work
九、变量
awk中语句块没有作用域，都是全局变量（除非是函数中的形参）
变量的赋值：
可以x=y=z=5，等价于z=5 y=5 x=5
可以将赋值语句放在任意允许使用表达式的地方
x != (y = 1)
awk 'BEGIN{print (a=4);print a}'
awk中声明变量的位置：
在BEGIN或main或END代码段中直接引用或赋值
使用-v var=val选项，可定义多个，必须放在awk代码的前面
它的变量声明早于BEGIN块
普通变量：awk -v age=123 'BEGIN{print age}'
使用shell变量赋值：awk -v age=$age 'BEGIN{print age}' 在awk代码后面使用var=val参数
它的变量声明在BEGIN之后
awk '{print n}' n=3 a.txt n=4 b.txt
awk '{print $1}' FS=' ' a.txt FS=":" /etc/passwd
使用Shell变量赋值：awk '{print age}' age=$age a.txt
十、函数和自定义函数
10.1、自定义函数
使用function关键字来定义函数：
function func_name([parameters]){
function_body
}
函数可以定义的位置：
awk '_ BEGIN{} _ MAIN{} _ END{} _' #可以定义在任何下划线的地方
[root@lgh test]# cat a.awk
BEGIN{
f()
}
function f(){
print "自定义函数"
}
{}#main
END{}
[root@lgh test]# echo 0 | awk -f a.awk
自定义函数
[root@lgh test]# vim a.awk
[root@lgh test]# cat a.awk
function f(){
print "自定义函数"
} BEGIN{
f()
}
{}#main
END{}
[root@lgh test]# echo 0 | awk -f a.awk
自定义函数
[root@lgh test]# vim a.awk
[root@lgh test]# cat a.awk
BEGIN{
f()
}
{}#main
END{}
function f(){
print "自定义函数"
}
[root@lgh test]# echo 0 | awk -f a.awk
自定义函数
带参数和return的自定义函数：
[root@lgh test]# cat a.awk
BEGIN{
print f(1,2)
}
{}#main
END{}
function f(a,b){
print "自定义函数"
return a+b
} [root@lgh test]# echo 0 | awk -f a.awk
自定义函数
3
参数的传递形式：
传递普通变量时，是按值拷贝传递
- 直接拷贝普通变量的值到函数中
- 函数内部修改不会影响到外部
传递数组时，是按引用传递
- 函数内部修改会影响到外部
awk变量作用域：
- awk只有在函数参数中才是局部变量，其它地方定义的变量均为全局变量。
- 函数内部新增的变量是全局变量，会影响到全局，所以在函数退出后仍然能访问
- 函数参数会遮掩全局同名变量，所以在函数执行时，无法访问到或操作与参数同名的全局变量，函数退出时会自动撤掉遮掩，这时才能访问全局变量。所以，参数具有局部效果。
[root@lgh test]# cat a.awk
BEGIN{
a=50 #全局
print a #50
print f(a,2) #42
print a #50
}
{}#main
END{}
function f(a,b){
print "自定义函数"
a=40 #覆盖了全局变量a
print "局部",a
return a+b #40+2
} [root@lgh test]# echo 0 | awk -f a.awk
50
自定义函数
局部 40
42
50
10.2、getline函数
getline函数用于从文件、标准输入或管道中读取数据，并按情况设置变量的值。getline可以自动不断的加载下一行。如果能读取记录，则getline的返回值为1，遇到输入流的尾部时，返回值为0，不能读取记录(如文件没有读取权限、文件不存在)时，返回值为“-1"。
其中：
- getline：会从主输入文件中读取记录。会同时设置$0,NF,NR,FNR。
- getline var：会从主输入文件中读取记录，并将读取的记录赋值给变量var。会同时设置var,NR,FNR。
- getline <file：从外部文件file中读取记录。同时会设置$0,NF。
- getline var <file：从外部文件file中读取记录，并将读取的记录赋值给变量var。会同时设置var。
- cmd | getline：从管道中读取记录。会同时设置$0,NF。
- cmd | getline var：从管道中读取记录，并将读取的记录赋值给变量var。会同时设置var。
getline与netx的区别
getline：读取下一行之后，继续执行getline后面的代码
next：读取下一行，立即回头awk循环的头部，不会再执行next后面的代码
[root@lgh test]# awk '/^1/{print;getline;print}' test.txt #匹配1开头的行，在1开头的时候，获取到了下一行，也打印了出来
1 zhangs female 34 aaa@163.com 13423394013
2 lisi male 45 abb@gmail.com 15608492523
10 lvbu male 43 byy@sohu.com 18148796803
11 sunwk male 99 suk@sohu.com 18148706803
[root@lgh test]# awk '/^1/{print;getline;print;exit}' test.txt #执行了getline，print，然后exit了
1 zhangs female 34 aaa@163.com 13423394013
2 lisi male 45 abb@gmail.com 15608492523
[root@lgh test]# awk '/^1/{print;if((getline var)<0)exit;print var}' test.txt #getline赋值给了var
1 zhangs female 34 aaa@163.com 13423394013
2 lisi male 45 abb@gmail.com 15608492523
10 lvbu male 43 byy@sohu.com 18148796803
11 sunwk male 99 suk@sohu.com 18148706803
[root@lgh test]# awk '/^1/{print;if((getline var)<0)exit;print $0}' test.txt #getline赋值给了var，但是没有设置$0
1 zhangs female 34 aaa@163.com 13423394013
1 zhangs female 34 aaa@163.com 13423394013
10 lvbu male 43 byy@sohu.com 18148796803
10 lvbu male 43 byy@sohu.com 18148796803
[root@lgh test]# awk '/^2/{while((getline var <"a.awk")>0)print var;close("a.awk")}' test.txt #匹配2开头的行，只有一行，所以后面只执行一次，把a.awk里面的内容赋值给var变量，然后输出
BEGIN{
a=50
print a
print f(a,2)
print a
}
{}#main
END{}
function f(a,b){
print "自定义函数"
a=40
print "局部",a
return a+b
}
[root@lgh test]# awk '/^2/{while((getline<"a.awk")>0){print};close("a.awk")}' test.txt #匹配2开头的行，只有一行，所以只执行一次，输出a.awk中的内容
BEGIN{
a=50
print a
print f(a,2)
print a
}
{}#main
END{}
function f(a,b){
print "自定义函数"
a=40
print "局部",a
return a+b
}
[root@lgh test]# awk '/^2/{"date"|getline;print}' test.txt #使用linux的date命令，通过管道，使用getline读取
Tue Nov 24 19:44:28 CST 2020
[root@lgh test]# awk '/^2/{"date"|getline var ;print var}' test.txt
Tue Nov 24 19:44:41 CST 2020
[root@lgh test]# awk '/^1/{"date"|getline var ;print var}' test.txt
Tue Nov 24 19:44:48 CST 2020
Tue Nov 24 19:44:48 CST 2020
Tue Nov 24 19:44:48 CST 2020
awk虽然强大，但是有些数据仍然不方便处理，这时可将数据交给Shell命令去帮助处理，然后再从Shell命令的执行结果中取回处理后的数据继续awk处理。awk通过|&符号来支持coproc。
awk_print[f] "something" |& Shell_Cmd
Shell_Cmd |& getline [var]
这表示awk通过print输出的数据将传递给Shell的命令Shell_Cmd去执行，然后awk再从Shell_Cmd的执行结果中取回Shell_Cmd产生的数据
[root@lgh test]# cat a.awk
BEGIN{
CMD="sed -nr \"s/.*@(.*)$/\\1/p\""; #获取邮箱@符号后面的内容
}
NR>1{
print $5; #输出邮箱名
print $5 |& CMD; #截取邮箱@符号后面的内容
close(CMD,"to");
CMD |& getline email_domain; #把邮箱@后面的内容赋值给变量email_domain
close(CMD);
print email_domain; #输出email_domain }
[root@lgh test]# awk -f a.awk test.txt
aaa@163.com
163.com
abb@gmail.com
gmail.com
ccc@sohu.com
sohu.com
acc@sohu.com
sohu.com
gdd@163.com
163.com
adb@139.com
139.com
eab@189.com
189.com
189@163.com
163.com
dd@189.com
189.com
byy@sohu.com
sohu.com
suk@sohu.com
sohu.com
10.3、内置字符串函数
index(str1,str2)：返回子串str2在字符串str1中第一次出现的位置。如果没有指定str1，则返回0。
length(str1)：返回字符串str1的长度。如果未给定str1，则表示计算"$0"的长度。
substr(str1,p)：返回str1中从p位置开始的后缀字符串。
substr(str1,p,n)：返回str1中从p位置开始，长度为n的子串。
match(str1,regexp)：如果regexp能匹配str1，则返回匹配起始位置。否则返回0。它会设置内置变量RSTART和RLENGTH的值。
split(str1,array,sep)：使用字段分隔符sep将str1分割到数组array中，并返回数组的元素个数。如果未指定sep则采用FS的值。因此该函数用于切分字段到数组中，下标从1开始。
sprintf(fmt,expr)：根据printf的格式fmt，返回格式化后的expr。
sub(regexp,rep,str2)：将str2中第一个被regexp匹配的字符串替换成rep，替换成功则返回1(表示替换了1次)，否则返回0。注意是贪婪匹配。
sub(regexp,rep)：将"$0"中第一个被regexp匹配的字符串替换成rep，替换成功则返回1，否则返回0。注意是贪婪匹配。
gsub(regexp,rep,str2)：将str2中所有被regexp匹配的内容替换成rep，并返回替换的次数。
gsub(regexp,rep)：将"$0"中所有被regexp匹配的内容替换成rep，并返回替换的次数。
toupper(str)：将str转换成大写字母，并返回新串。
tolower(str)：将str转换成小写字母，并返回新串。
10.4、内置数值函数
int(expr) 截断为整数：int(123.45)和int("123abc")都返回123，int("a123")返回0
sqrt(expr) 返回平方根
rand() 返回[0,1)之间的随机数，默认使用srand(1)作为种子值
srand([expr]) 设置rand()种子值，省略参数时将取当前时间的epoch值(精确到秒的epoch)作为种子值
参考：
https://www.cnblogs.com/f-ck-need-u/p/7509812.html#9-awk-
https://www.cnblogs.com/f-ck-need-u/p/12688355.html
https://www.cnblogs.com/hdk1993/p/4637525.html
"三剑客"之awk心中无剑的更多相关文章
- HDU-2547 无剑无我
无剑无我 Time Limit: 2000/1000 MS (Java/Others) Memory Limit: 32768/32768 K (Java/Others)Total Submis ...
- Linux实战教学笔记18:linux三剑客之awk精讲
Linux三剑客之awk精讲(基础与进阶) 标签(空格分隔): Linux实战教学笔记-陈思齐 快捷跳转目录: * 第1章:awk基础入门 * 1.1:awk简介 * 1.2:学完awk你可以掌握: ...
- (转)不看绝对后悔的Linux三剑客之awk实战精讲
原文:http://blog.51cto.com/hujiangtao/1923930 一.Linux三剑客之awk命令精讲 第1章 awk基础入门 1.1 awk简介 awk不仅仅时linux系统中 ...
- shell编程系列21--文本处理三剑客之awk中数组的用法及模拟生产环境数据统计
shell编程系列21--文本处理三剑客之awk中数组的用法及模拟生产环境数据统计 shell中的数组的用法: shell数组中的下标是从0开始的 array=("Allen" & ...
- shell编程系列20--文本处理三剑客之awk常用选项
shell编程系列20--文本处理三剑客之awk常用选项 awk选项总结 选项 解释 -v 参数传递 -f 指定脚本文件 -F 指定分隔符 -V 查看awk的版本号 [root@localhost s ...
- shell编程系列19--文本处理三剑客之awk中的字符串函数
shell编程系列19--文本处理三剑客之awk中的字符串函数 字符串函数对照表(上) 函数名 解释 函数返回值 length(str) 计算字符串长度 整数长度值 index(str1,str2) ...
- shell编程系列18--文本处理三剑客之awk动作中的条件及if/while/do while/for循环语句
shell编程系列18--文本处理三剑客之awk动作中的条件及if/while/do while/for循环语句条件语句 if(条件表达式) 动作1 else if(条件表达式) 动作2 else 动 ...
- shell编程系列17--文本处理三剑客之awk动作中的表达式用法
shell编程系列17--文本处理三剑客之awk动作中的表达式用法 awk动作表达式中的算数运算符 awk动作中的表达式用法总结: 运算符 含义 + 加 - 减 * 乘 / 除 % 模 ^或** 乘方 ...
- shell编程系列16--文本处理三剑客之awk模式匹配的两种方法
shell编程系列16--文本处理三剑客之awk模式匹配的两种方法 awk的工作模式 第一种模式匹配:RegExp 第二种模式匹配:关系运算匹配 用法格式对照表 语法格式 含义 RegExp 按正则表 ...
随机推荐
- Spring 事件监听
Spring 的核心是 ApplicationContext,它负责管理 Bean的完整生命周期:当加载 Bean 时,ApplicationContext 发布某些类型的事件:例如,当上下文启动时, ...
- Python合集之Python开发环境在Windows系统里面搭建
在上一个合集里面我们了解到了Python的基础信息及学习了Python对我们有什么用处,那么今天我们来了解一下,Python的开发环境该如何搭建.(注:Python的开发环境可以在Windows.MA ...
- 解决LINK : fatal error LNK1104: 无法打开文件“xxxx.lib”
举个例子
- better-scroll插件 api
Vue中的better-scroll插件 在需要的文件中添加 import BScorll from 'better-scroll'; 引用的示例代码: let scroll = new BScrol ...
- 走在深夜的小码农 Fourth Day
Css3 Fourth Day writer:late at night codepeasant 学习大纲 一.emmet语法 1.简介 Emmet语法的前身是Zen coding,它使用缩写,来 ...
- 合适的LoRa网关应该怎么选择
LoRa网关是什么 LoRa网关有时也被称之为lora基站或者lora集中器,它在lora星形组网中处于核心位置,是数据终端和服务器之间的一个信息桥梁.LoRa网关使用的是不同扩频因子,因为不同的扩频 ...
- Antisymmetry
题意描述 Antisymmetry 求给定的字符串的子串集合中为"反对串"的个数. 反对串的定义为,将这个字符串 \(0\) 和 \(1\) 取反后,再将整个串反过来和原串一样,就 ...
- 【Android 直播软件开发：音视频硬解码篇】
开篇 炙手可热,望而生畏的音视频开发 时至今日,短视频App可谓是如日中天,一片兴兴向荣.随着短视频的兴起,音视频开发也越来越受到重视,但是由于音视频开发涉及知识面比较广,入门门槛相对较高,让许许多多 ...
- 数据库会话数量过多,定期清理inactive会话
1.1现象 存在一套11.2.0.4 RAC 2节点,数据库存在5000个会话数量,其中active正在执行的会话500个,其余均为非活跃会话. 大量inactive会话过多给Oracle数据库带来什 ...
- STM32最小系统板OLED贪吃蛇
上次用STM32F103最小系统板做了一个简单的OLED贪吃蛇小游戏,以下为游戏效果动图: 主要实现内容包括:贪吃蛇移动.方向控制.食物生成.分数处理.死亡判定. 这次想把自己的制作思路分享给大家,不 ...