四剑客（awk）

---

AWK

AWK简介

虽然sed编辑器是非常方便自动修改文本文件的工具，但其也有自身的限制。通常你需要一个用来处理文件中的数据的更高级工具，它能提供一个类编程环境来修改和重新组织文件中的数据。这正是gawk能够做到的。

      说明 在所有的发行版中都没有默认安装gawk程序。如果你所用的Linux发行版中没有包含gawk，请安装gawk包。gawk程序是Unix中的原始awk程序的GNU版本。gawk程序让流编辑迈上了一个新的台阶，它提供了一种编程语言而不只是编辑器命令。在gawk编程语言中，你可以做下面的事情：

1. 定义变量来保存数据；
2. 使用算术和字符串操作符来处理数据；
3. 使用结构化编程概念（比如if-then语句和循环）来为数据处理增加处理逻辑；
4. 通过提取数据文件中的数据元素，将其重新排列或格式化，生成格式化报告。

      gawk程序的报告生成能力通常用来从大文本文件中提取数据元素，并将它们格式化成可读的报告。其中最完美的例子是格式化日志文件。在日志文件中找出错误行会很难，gawk程序可以让你从日志文件中过滤出需要的数据元素，然后你可以将其格式化，使得重要的数据更易于阅读.

     awk 的处理文本和数据的方式是这样的，它逐行扫描文件，从第一行到最后一行，寻找匹配的特定模式的行，并在这些行上进行你想要的操作。如果没有指定处理动作，则把匹配的行显示到标准输出（屏幕），如果没有指定模式，则所有被操作所指定的行都被处理。awk分别代表其作者姓氏的第一个字母。因为它的作者是三个恩，分别是Alfred Aho、Brian Kernighan、Peter Weinberger。gawk是awk的GNU版本，它提供了Bell实验室和GNU的一些扩展。

 

一、语法格式

（1）命令行模式：awk [options] 'commands' file(s)

（2）脚本模式：awk [options] -f scriptfile file[s]

二、使用介绍

2.1.分隔符

• -F 定义字段分割符号（默认情况  分割符号是“空格”）

• -F":"  -->每一段可以用$n表示
• $0 ---> 整行

awk 'pattern' filename 示例：awk '/root/' /etc/passwd

awk '{action}' filename 示例：awk -F: '{print $1}' /etc/passwd

awk 'pattern {action}' filename 示例：awk -F: '/root/{print $1,$3}' /etc/passwd

• 补充说明：

字段分割及相关变量

$1,$2,$3...$n：awk中用该顺序形式表示files中每行以间隔符号分割的各列的不同字段

$0 表示文本本身

NF 表示当前记录的字段数（列数）

$NF 最后一列

$(NF-1) 倒数第二列

FNR/NR 行号 

FILENAME 文件名

"\t" 制表符

RS 换行符（默认换行号 \n）

"" 打印字符串

FS 定义间隔符（默认间隔是空格）

~ 匹配，与==相比不是精确比较

!~ 不匹配，不精确比较

== 等于，必须全部相等，精确比较

/[0-9][0-9]+/ 两个或两个以上数字

-F'[:#/]' 定义三个分隔符

awk -F'[: ]+'      --> 以至少一个：或者至少一个空格做为间隔符

# awk -F: '{print $0}' /etc/passwd //打印文件所有内容
# awk -F: '{print NR, $0}' /etc/passwd /etc/hosts //打印文件所有内容，并包括行号
# awk -F: '{print FNR,$0}' /etc/passwd /etc/hosts
# awk -F: '{print $0,NF}' /etc/passwd //保留记录的字段数
# awk 'BEGIN{FS=":"}{print $1,$3}' /etc/passwd //输入字段分隔符，默认为空格

2.2.格式化输出

• print函数

print函数
# date |awk '{print "Month: "$2 "\nYear: "$NF}'
# awk -F: '{print "username is: " $1 "\t uid is: "$3}' /etc/passwd
# awk -F: '{print "\tusername and uid: " $1,$3 "!"}' /etc/passwd
#  /etc/passwd|awk -F: 'BEGIN {print "user\thomedir\tshell"    RS    "***********************"   };{print $1"\t"$(NF-1)"\t"$NF};END {print"************END************"}'

printf函数
# date |awk '{print "Month: "$2 "\nYear: "$NF}'
# awk -F: '{print "username is: " $1 "\t uid is: "$3}' /etc/passwd
# awk -F: '{print "\tusername and uid: " $1,$3 "!"}' /etc/passwd

- 表示左对齐，默认是右对齐
printf默认不会在行尾自动换行，加\n

2.3.AWK模式和动作

• 任何awk语句都由模式和动作组成。模式部分决定动作语句何时触发及触发事件。处理即对数据进行的操作。如果省略模式部分，动作将时刻保持执行状态。模式可以是任何条件语句或复合语句或正则表达式。模式包括两个特殊字段 BEGIN和END。使用BEGIN语句设置计数和打印头。BEGIN语句使用在任何文本浏览动作之前，之后文本浏览动作依据输入文本开始执行。END语句用来在awk完成文本浏览动作后打印输出文本总数和结尾状态。
•       模式可以是：正则表达式、比较表达式、条件表达式、算术运算符、逻辑操作符和复合模式、范围模式等。

2.3.1.正则表达式

匹配记录（整行）：
# awk '/^alice/' /etc/passwd
# awk '!/root/' passwd

匹配字段：匹配操作符（~ !~）
# awk -F: '$1（admin123） == /^admin/' /etc/passwd
# awk -F: '$NF !~ /nologin$/' /etc/passwd

2.3.2.比较表达式

        比较表达式采用对文本进行比较，只有当条件为真，才执行指定的动作。比较表达式使用关系运算符，用于比较数字与字符串。

运算符 含义 示例

< 小于 x<y

<= 小于或等于 x<=y

== 等于 x==y

!= 不等于 x!=y

>= 大于等于 x>=y

> 大于 x>y

# awk -F: '$3 == 0' /etc/passwd
# awk -F: '$3 < 10' /etc/passwd
# awk -F: '$7 == "/bin/bash"' /etc/passwd
# awk -F: '$1 == "root" ' /etc/passwd
# awk -F: '$1 ~ /admin/ ' /etc/passwd
# df -P | grep '/' |awk '$4 > 25000'

2.3.3.条件表达式

# awk -F: '$3>300 {print $0}' /etc/passwd
# awk -F: '{ if($3>300) print $0 }' /etc/passwd
# awk -F: '{ if($3>300) {print $0} }' /etc/passwd
# awk -F: '{ if($3>300) {print $3} else{print $1} }' /etc/passwd

2.3.4.算术运算

• + - * / %(模) ^(幂2^3)

可以在模式中执行计算，awk都将按浮点数方式执行算术运算
# awk -F: '$3 * 10 > 500' /etc/passwd

2.3.5.逻辑操作符和复合模式

• && 逻辑与 a&&b
• || 逻辑或 a||b
• ! 逻辑非 !a

# awk -F: '$3 > 50 && $3 <=100' /etc/passwd
# awk -F: '$3 == 0 || $3 <=10' /etc/passwd
# awk -F: '!($3 == 0 || $3 <=10)' /etc/passwd