Linux下的awk文本分析命令实例(一)

1.  入门实例
1.1 显示最近登录的5个帐号:

[root@localhost ~]# last -n  | awk '{print $1}'
root
root
root
root
reboot

1.2 如果只是显示/etc/passwd的账户:

[root@localhost ~]# cat /etc/passwd |awk -F ':' '{print $1}'
root
bin
daemon
adm
lp
sync

1.3 如果只是显示/etc/passwd的账户和账户对应的shell,而账户与shell之间以tab键分割:

[root@localhost ~]# cat /etc/passwd |awk -F ':' '{print $1"\t"$7}'
root    /bin/bash
bin    /sbin/nologin
daemon    /sbin/nologin
adm    /sbin/nologin
lp    /sbin/nologin
sync    /bin/sync
shutdown    /sbin/shutdown

1.4 如果只是显示/etc/passwd的账户和账户对应的shell,而账户与shell之间以逗号分割,而且在所有行添加列名name,shell,在最后一行添加"blue,/bin/nosh":

[root@localhost ~]# cat /etc/passwd |awk -F ':' 'BEGIN {print "name,shell"}  {print $1","$7} END {print "blue,/bin/nosh"} name,shell'
name,shell
root,/bin/bash
bin,/sbin/nologin
daemon,/sbin/nologin
adm,/sbin/nologin
lp,/sbin/nologin
sync,/bin/sync
shutdown,/sbin/shutdown

....
blue,/bin/nosh

1.5 搜索/etc/passwd有root关键字的所有行:

#awk -F: '/root/' /etc/passwd 

root:x:0:0:root:/root:/bin/bash

这种是pattern的使用示例，匹配了pattern(这里是root)的行才会执行action(没有指定action，默认输出每行的内容)。

搜索支持正则，例如找root开头的: awk -F: '/^root/' /etc/passwd

1.6 搜索/etc/passwd有root关键字的所有行，并显示对应的shell

[root@localhost ~]# awk -F: '/root/{print $7}' /etc/passwd
/bin/bash
/sbin/nologin

1.7 其他小示例:

$ awk '/^(no|so)/' test-----打印所有以模式no或so开头的行。

$ awk '/^[ns]/{print $1}' test-----如果记录以n或s开头，就打印这个记录。

$ awk '$1 ~/[0-9][0-9]$/(print $1}' test-----如果第一个域以两个数字结束就打印这个记录。

$ awk '$1 == 100 || $2 < 50' test-----如果第一个或等于100或者第二个域小于50，则打印该行。

$ awk '$1 != 10' test-----如果第一个域不等于10就打印该行。

$ awk '/test/{print $1 + 10}' test-----如果记录包含正则表达式test，则第一个域加10并打印出来。

$ awk '{print ($1 > 5 ? "ok "$1: "error"$1)}' test-----如果第一个域大于5则打印问号后面的表达式值，否则打印冒号后面的表达式值。

$ awk '/^root/,/^mysql/' test----打印以正则表达式root开头的记录到以正则表达式mysql开头的记录范围内的所有记录。如果找到一个新的正则表达式root开头的记录，则继续打印直到下一个以正则表达式mysql开头的记录为止，或到文件末尾。

2. awk内置变量示例
统计/etc/passwd:文件名，每行的行号，每行的列数，对应的完整行内容:

[root@localhost ~]# awk -F ':' '{print "filename:" FILENAME ",linenumber:" NR ",columns:" NF ",linecontent:"$0}' /etc/passwd
filename:/etc/passwd,linenumber:,columns:,linecontent:root:x:::root:/root:/bin/bash
filename:/etc/passwd,linenumber:,columns:,linecontent:bin:x:::bin:/bin:/sbin/nologin
filename:/etc/passwd,linenumber:,columns:,linecontent:daemon:x:::daemon:/sbin:/sbin/nologin
filename:/etc/passwd,linenumber:,columns:,linecontent:adm:x:::adm:/var/adm:/sbin/nologin
filename:/etc/passwd,linenumber:,columns:,linecontent:lp:x:::lp:/var/spool/lpd:/sbin/nologin
filename:/etc/passwd,linenumber:,columns:,linecontent:sync:x:::sync:/sbin:/bin/sync
filename:/etc/passwd,linenumber:,columns:,linecontent:shutdown:x:::shutdown:/sbin:/sbin/shutdown
filename:/etc/passwd,linenumber:,columns:,linecontent:halt:x:::halt:/sbin:/sbin/halt
filename:/etc/passwd,linenumber:,columns:,linecontent:mail:x:::mail:/var/spool/mail:/sbin/nologin
filename:/etc/passwd,linenumber:,columns:,linecontent:uucp:x:::uucp:/var/spool/uucp:/sbin/nologin
filename:/etc/passwd,linenumber:,columns:,linecontent:operator:x:::operator:/root:/sbin/nologin
filename:/etc/passwd,linenumber:,columns:,linecontent:games:x:::games:/usr/games:/sbin/nologin
filename:/etc/passwd,linenumber:,columns:,linecontent:gopher:x:::gopher:/var/gopher:/sbin/nologin
filename:/etc/passwd,linenumber:,columns:,linecontent:ftp:x:::FTP User:/var/ftp:/sbin/nologin
filename:/etc/passwd,linenumber:,columns:,linecontent:nobody:x:::Nobody:/:/sbin/nologin
filename:/etc/passwd,linenumber:,columns:,linecontent:dbus:x:::System message bus:/:/sbin/nologin
filename:/etc/passwd,linenumber:,columns:,linecontent:usbmuxd:x:::usbmuxd user:/:/sbin/nologin
filename:/etc/passwd,linenumber:,columns:,linecontent:avahi-autoipd:x:::Avahi IPv4LL Stack:/var/lib/avahi-autoipd:/sbin/nologin
filename:/etc/passwd,linenumber:,columns:,linecontent:vcsa:x:::virtual console memory owner:/dev:/sbin/nologin
filename:/etc/passwd,linenumber:,columns:,linecontent:rtkit:x:::RealtimeKit:/proc:/sbin/nologin
filename:/etc/passwd,linenumber:,columns:,linecontent:abrt:x::::/etc/abrt:/sbin/nologin
filename:/etc/passwd,linenumber:,columns:,linecontent:haldaemon:x:::HAL daemon:/:/sbin/nologin
filename:/etc/passwd,linenumber:,columns:,linecontent:saslauth:x:::"Saslauthd user":/var/empty/saslauth:/sbin/nologin
filename:/etc/passwd,linenumber:,columns:,linecontent:postfix:x::::/var/spool/postfix:/sbin/nologin
filename:/etc/passwd,linenumber:,columns:,linecontent:ntp:x::::/etc/ntp:/sbin/nologin
filename:/etc/passwd,linenumber:,columns:,linecontent:apache:x:::Apache:/var/www:/sbin/nologin
filename:/etc/passwd,linenumber:,columns:,linecontent:avahi:x:::Avahi mDNS/DNS-SD Stack:/var/run/avahi-daemon:/sbin/nologin
filename:/etc/passwd,linenumber:,columns:,linecontent:pulse:x:::PulseAudio System Daemon:/var/run/pulse:/sbin/nologin
filename:/etc/passwd,linenumber:,columns:,linecontent:gdm:x::::/var/lib/gdm:/sbin/nologin
filename:/etc/passwd,linenumber:,columns:,linecontent:sshd:x:::Privilege-separated SSH:/var/empty/sshd:/sbin/nologin
filename:/etc/passwd,linenumber:,columns:,linecontent:tcpdump:x::::/:/sbin/nologin
filename:/etc/passwd,linenumber:,columns:,linecontent:zookeeper:x:::Zookeeper:/home/zookeeper:/bin/bash

使用printf替代print,可以让代码更加简洁，易读

awk -F ':' '{printf("filename:%10s,linenumber:%s,columns:%s,linecontent:%s\n",FILENAME,NR,NF,$0)}' /etc/passwd
awk -F ':' '{print "filename:" FILENAME ",linenumber:" NR ",columns:" NF ",linecontent:"$0}' /etc/passwd

awk中同时提供了print和printf两种打印输出的函数。

其中print函数的参数可以是变量、数值或者字符串。字符串必须用双引号引用，参数用逗号分隔。如果没有逗号，参数就串联在一起而无法区分。这里，逗号的作用与输出文件的分隔符的作用是一样的，只是后者是空格而已。

printf函数，其用法和c语言中printf基本相似,可以格式化字符串,输出复杂时，printf更加好用，代码更易懂。

3. awk自定义变量

3.1. 下面统计/etc/passwd的账户人数:

[root@localhost ~]# awk '{count++;print $0;} END{print "user count is ", count}' /etc/passwd
root:x:::root:/root:/bin/bash
bin:x:::bin:/bin:/sbin/nologin
daemon:x:::daemon:/sbin:/sbin/nologin
adm:x:::adm:/var/adm:/sbin/nologin
lp:x:::lp:/var/spool/lpd:/sbin/nologin
sync:x:::sync:/sbin:/bin/sync......
zookeeper:x:::Zookeeper:/home/zookeeper:/bin/bash
user count is  

count是自定义变量。之前的action{}里都是只有一个print,其实print只是一个语句，而action{}可以有多个语句，以;号隔开。

3.2. 这里没有初始化count，虽然默认是0，但是妥当的做法还是初始化为0:

[root@localhost ~]# awk 'BEGIN {count=0;print "[start]user count is ", count} {count=count+1;print $0;} END{print "[end]user count is ", count}' /etc/passwd
[start]user count is
root:x:::root:/root:/bin/bash
bin:x:::bin:/bin:/sbin/nologin
daemon:x:::daemon:/sbin:/sbin/nologin
adm:x:::adm:/var/adm:/sbin/nologin
......
zookeeper:x:::Zookeeper:/home/zookeeper:/bin/bash
[end]user count is  

3.3. 统计某个文件夹下的文件占用的字节数:

[root@localhost ~]# ls -l |awk 'BEGIN {size=0;} {size=size+$5;} END{print "[end]size is ", size}'
[end]size is  

3.4 如果以M为单位显示:

[root@localhost ~]# ls -l |awk 'BEGIN {size=0;} {size=size+$5;} END{print "[end]size is ", size/1024/1024,"M"}'
[end]size is  0.0820723 M

注意，统计不包括文件夹的子目录。

4. 条件语句

统计某个文件夹下的文件占用的字节数,过滤4096大小的文件(一般都是文件夹):

[root@localhost ~]# ls -l |awk 'BEGIN {size=0;print "[start]size is ", size} {if($5!=4096){size=size+$5;}} END{print "[end]size is ", size/1024/1024,"M"}'
[start]size is
[end]size is  0.0508223 M

5. 循环语句

显示/etc/passwd的账户:

[root@localhost ~]# awk -F ':' 'BEGIN {count=0;} {name[count] = $1;count++;}; END{for (i = 0; i < NR; i++) print i, name[i]}' /etc/passwd
 root
 bin
 daemon
 adm
 lp
 sync
 shutdown
 halt
 mail
 uucp
 operator
 games
 gopher
 ftp
 nobody
 dbus
 usbmuxd
 avahi-autoipd
 vcsa
 rtkit
 abrt
 haldaemon
 saslauth
 postfix
 ntp
 apache
 avahi
 pulse
 gdm
 sshd
 tcpdump
 zookeeper