文件处理命令：awk

awk擅长于对数据进行分析并生成报告，简单来说awk就是把文件逐行的读入，以空格为默认分隔符将每行切片，切开的部分再进行各种分析处理。

使用方法：
awk '{pattern +action}' {filenames}

[root@limt01 ~]# cat /etc/passwd|awk -F: '{ print $1 }'
root
bin
daemon
adm
lp
sync
。。。

其中 -F：为指定分隔符为：

awk的内建变量：
$0 当前记录（这个变量中存放着整个行的内容）
$1~$n 当前记录的第n个字段，字段间由FS分隔
FS 输入字段分隔符默认是空格或Tab
NF 当前记录中的字段个数，就是有多少列
NR 已经读出的记录数，就是行号，从1开始，如果有多个文件话，这个值也是不断累加中。
FNR 当前记录数，与NR不同的是，这个值会是各个文件自己的行号
RS 输入的记录分隔符，默认为换行符
OFS 输出字段分隔符，默认也是空格
ORS 输出的记录分隔符，默认为换行符
FILENAME 当前输入文件的名字

1 指定分隔符

[root@limt01 tmp]# awk 'BEGIN{FS=":"} {print $1,$3,$6}' /etc/passwd
root 0 /root
bin 1 /bin
daemon 2 /sbin
adm 3 /var/adm
lp 4 /var/spool/lpd
sync 5 /sbin
shutdown 6 /sbin
halt 7 /sbin
mail 8 /var/spool/mail
operator 11 /root
games 12 /usr/games
ftp 14 /var/ftp
。。。

2 指定输出分隔符（OFS="\t"）

[root@limt01 tmp]# awk -F: '{print $1,$3,$6}' OFS="\t" /etc/passwd
root    0       /root
bin     1       /bin
daemon  2       /sbin
adm     3       /var/adm
lp      4       /var/spool/lpd
sync    5       /sbin
shutdown        6       /sbin
halt    7       /sbin
mail    8       /var/spool/mail
operator        11      /root
games   12      /usr/games
ftp     14      /var/ftp
。。。

3 条件过滤输出

[root@limt01 tmp]# awk -F: '{ if( $1 ~ /root/ || $1 ~ /limt/) { print $1,$3,$6 } }' OFS="\t" /etc/passwd
root    0       /root
limt    1000    /home/limt

[root@limt01 tmp]# awk -F: '$1 ~ /root/ || $1 ~ /limt/  { print $1,$3,$6  }' OFS="\t" /etc/passwd
root    0       /root
limt    1000    /home/limt

4 重定向输出到指定文件

[root@limt01 tmp]# awk 'NR!=1{print $0 > "/tmp/passwd" }' /etc/passwd
[root@limt01 tmp]#
[root@limt01 tmp]# ls -lrt /tmp|tail
总用量 12
-rw-------. 1 root root    0 5月  20 21:36 yum.log
drwxr-xr-x. 2 root root   17 5月  20 21:43 hsperfdata_root
-rwx------. 1 root root  663 5月  20 21:48 ks-script-1AQjlc
drwx------. 3 root root   16 5月  22 08:44 systemd-private-HQgvzl
drwx------. 2 root root   23 5月  22 11:40 ssh-Hon4d3o0kn
-rw-r--r--. 1 root root 1184 5月  22 12:06 0
-rw-r--r--. 1 root root 1184 5月  22 13:24 passwd

5 -v带入外部变量到awk

[root@limt01 tmp]# x=6
[root@limt01 tmp]# awk -v val=$x '{print val}' /etc/passwd|less
6
6
6
6

6 printf函数

命令格式：
printf format,item1,item2……
使用要点：
1.format格式符必须使用
2.不会自动换行，需要手动添加行分隔符
3.format格式符中需要分别为后面的每个item指定一个格式符
格式符：都以%开头，后跟一个字符
%c：显示字符的ASCII码；
%i,%d：显示十进制整数；
%e,%E：科学计数法显示数值；
%f：显示浮点数；
%g,%G：以科学计数法格式或浮点数格式显示数值；
%s：字符串；
%u：无符号整数；
%%：显示%自身

[root@limt01 tmp]# netstat -an|awk '{printf "%-8s %-8s %-8s %-18s %-22s %-15s\n",$1,$2,$3,$4,$5,$6}'
Active   Internet connections (servers           and                    established)
Proto    Recv-Q   Send-Q   Local              Address                Foreign
tcp      0        0        127.0.0.1:25       0.0.0.0:*              LISTEN
tcp      0        0        0.0.0.0:22         0.0.0.0:*              LISTEN
tcp      0        52       192.168.1.105:22   192.168.1.103:62831    ESTABLISHED
tcp6     0        0        ::1:25             :::*                   LISTEN
tcp6     0        0        :::22              :::*                   LISTEN
udp      0        0        0.0.0.0:68         0.0.0.0:*
udp      0        0        192.168.1.105:123  0.0.0.0:*
udp      0        0        127.0.0.1:123      0.0.0.0:*
udp      0        0        0.0.0.0:123        0.0.0.0:*
udp      0        0        0.0.0.0:5353       0.0.0.0:*
udp      0        0        0.0.0.0:6480       0.0.0.0:*
udp      0        0        0.0.0.0:37782      0.0.0.0:*                          

awk中常见的模式类型：

1 /regular expression/：仅处理能被正则表达式匹配的

[root@limt01 tmp]# awk -F: '/^\<root\>/{print $1,$3}' /etc/passwd
root 0

2  relational expression：关系表达式，结果有真假之分，其结果为非0或非空字符串时为真，否则为假

[root@limt01 tmp]# awk -F: '$3>=500{print $1,$3}' /etc/passwd
polkitd 999
libstoragemgmt 998
chrony 997
limt 1000

awk中常用的控制语句：

1 if else语句
if (condition) statement [ else statement ]
if (condition) {statements;} [ else {statements;} ]

[root@limt01 tmp]# awk -F: '{if ($3>=500) {print $1," is a common user"}else{print $1,"is a systemuser"}}' /etc/passwd
root is a systemuser
bin is a systemuser
daemon is a systemuser
adm is a systemuser
lp is a systemuser
sync is a systemuser
shutdown is a systemuser
。。。

2 while循环语句

语法格式：
while (condition) statement
while (condition) {statements}

[root@limt01 tmp]# awk -F: '$1~/root/{i=1;while(i<=NF){print $i;i+=2}}' /etc/passwd
root
0
root
/bin/bash

3 for循环语句

for (expr1;expr2;expr3) {statements}
for ( variable assignment（条件赋值）;condition（循环执行）; iteration process（变量修正）) { statement1, statement2, ...}

[root@limt01 tmp]# awk '{for(i=1;i<=NF;i+=2){if (length($i)>=6)print $i }}' /etc/issue
Kernel

4 switch语句

5 break and continue
break[n]：退出当前循环
continue[n]:提前结束本轮循环，直接进入下轮循环

6 next
提前结束对本行的处理而进入下一行的处理

数组：因为awk中数组的下标可以是数字和字母，数组的下标通常被称为关键字(key)。值和关键字都存储在内部的一张针对key/value应用hash的表格里。由于hash不是顺序存储，因此在显示数组内容时会发现，它们并不是按照你预料的顺序显示出来的。数组和变量一样，都是在使用时自动创建的，awk也同样会自动判断其存储的是数字还是字符串。一般而言，awk中的数组用来从记录中收集信息，可以用于计算总和、统计单词以及跟踪模板被匹配的次数等等。

数组，关联数组：array[index-expression]
要遍历数组中的每一个元素，需要使用如下特殊结构：
for (var in array) {for body}
其var会遍历array的索引；而非元素值

[root@limt01 tmp]#  ss -tan |awk '!/State/{state[$1]++}END{for (i in state) {print i,state[i]}}'
LISTEN 4
ESTAB 1

使用脚本进行文本、数据处理：

#!/bin/awk -f
#运行前
BEGIN {
   math= 0
   english= 0
   computer= 0

   printf"NAME    NO.     MATH  ENGLISH  COMPUTER   TOTAL\n"
   printf"---------------------------------------------\n"
}
#运行中
{
   math+=$3
   english+=$4
   computer+=$5
   printf "%-6s %-6s %4d %8d %8d %8d\n", $1, $2, $3,$4,$5, $3+$4+$5
}
#运行后
END{
   printf"---------------------------------------------\n"
   printf "TOTAL:%10d %8d %8d \n", math, english, computer
   printf "AVERAGE:%10.2f %8.2f %8.2f\n", math/NR, english/NR,computer/NR
}