Linux awk命令使用方法

awk是linux上非常好用的文本处理工具，常用于指定列的处理，包括获取指定列的内容、根据指定列匹配关系输出等文本处理。本文主要描述awk命令的基本语法、正则表达式与操作符的使用、常用内置变量的含义和使用方法、内置字符串函数的使用方法。

awk基本语法

awk [ -F 分隔符] [ -v 变量名=值 ] 'BEGING{语句} 条件类型1{动作1} 条件类型2{动作2}... END{语句}' 输入的文件

命令格式说明:

（1）awk命令格式由四部分组成。选项、BEGIN、END和带条件类型和动作的语句。这四个部分都是可选项，可省略任意部分。

（2）-F表示设置列分隔符，默认为空格。

（3）-v 表示初始化一个变量或者用于向awk命令传入外部变量值，shell编程中常用。

（4）条件类型可以是正则表达式、条件语句、复合语句以及行匹配范围等内容。条件类型为可选设置。如果设置条件，只处理匹配条件的行执行动作。如果未设置，awk命令则认为所有行都是匹配的，并执行动作语句。动作表示执行的命令，命令必须放在大括号{}内。

（5）必须了解这些符号。$0表示行，$1、$2、$3...$n分别表示第1列、第2列、第3列...第n列。awk命令经常会使用这些符号去做匹配、打印指定指定列等操作。

awk命令处理流程：

（1）执行BEGIN{} 语句块中的内容。BEGIN语句通常用户变量初始化、打印输出表格的表头。

（2）从文件或者stdin中读取一行。然后根据条件类型的匹配关系，判断是否需要执行后面的动作。直到做完所有的动作和条件类型。重复这个过程，直到文件所有行处理完成。

（3）执行END语句块中的内容。END语句块常用于分析汇总等统计信息，比如统计文件行数。

基本使用实例

下面我们通过一些基本的实例来直观了解下awk命令的各选项和条件类型、动作的基本用法，这些实例也是awk操作或者shell编程中最常见的几种用法。如下

（1）$0、$1、$2、$3...$n内容

echo "2017 12 20" | awk '{print "$0="$0,"$1="$1,"$2="$2,"$3="$3}' #输出$0=2017 12 20 $1=2017 $2=12 $3=20

从结果输出可以知道，$0表示整行内容，$1、$2表示执行列。print中分割字段的逗号","默认输出为空格。如果需要输出以逗号分隔可以用如下方式：

echo "2017 12 20" | awk '{print "$0="$0 "," "$1="$1 "," "$2="$2 "," "$3="$3}' #输出$0=2017 12 20,$1=2017,$2=12,$3=20

（2）利用-F选项指定分隔符获取匹配行的指定列。

echo "2017-12-20" | awk -F"-" '{print $1,$2,$3}' #获取第1、2、3列内容，输出2017 12 20

如果需要考虑多个分隔符的行处理情况呢，可以通过-F '[分隔符1 分隔符2]'设置。如下一行同时包含破折号"-"、反斜干分隔符"/"，获取指定第1、2、3列内容。命令如下：

echo "2017-12/20" | awk -F"[-/]" '{print $1,$2,$3}' #输出2017 12 20

（3）向awk命令传入外部变量，常用于shell编程中。

var1=5
awk -v var=${var1} 'BEGIN{for(i=0;i<=var;i++)print i}' #输出0 1 2 3 4 5

（4）BEGIN使用方法

awk 'BEGIN{num=5;for(i=0;i<=num;i++)print i}'
awk 'BEGIN{print "Begin deal with files"}' #处理文件前打印提示信息

（5）使用END语句统计文件行数。举例如下：

awk 'END{print NR}' /etc/passwd

说明：NR表示文件已读取的行数，END语句块是在文本所有行处理后执行，所以打印NR数值就是文件行数。

awk中正则表达式与条件操作符

awk中正则表达式匹配操作中经常用到字符如下：

. * + ? $ | \ [] {} ()

条件操作符如下：

<(小于) <=(小于等于) ==(等于) >(大于) >=(大于等于) !=(不等于) ~(匹配正则表达式) !~(不匹配正则表达式)

其中<、>、<=等操作符用法比较简单，这里主要讲~(匹配正则表达式)、 !~(不匹配正则表达式)两个表达式的用法。

基本实例如下：

（1）打印第1个字段包含root字符串的行

awk -F":" '{if($1~/root/)print $0}' /etc/passwd #写法一
awk -F":" '$1~/root/{print $0}' /etc/passwd #写法二

（2）打印第1个字段不包含root字符串的行

awk -F":" '{if($1 !~ /root/)print $0}' /etc/passwd #写法一
awk -F":" '$1 !~ /root/{print $0}' /etc/passwd #写法二

（3）打印第1个字段等于root字符串的行

awk -F":" '{if($1 == "root")print $0}' /etc/passwd #写法一
awk -F":" '$1 == "root"{print $0}' /etc/passwd #写法二

（4）打印第1个字段不等于root字符串的行

awk -F":" '{if($1 != "root")print $0}' /etc/passwd #写法一
awk -F":" '$1 != "root"{print $0}' /etc/passwd #写法二

（5）打印用户ID小于500的用户

awk -F":" '{if($3<500)print $0}' /etc/passwd

（6）打印行首为oracle的行

awk -F":" '{if($1~/^oracle/)print $0}' /etc/passwd 

（7）打印匹配oracle或者root字符串的行

awk -F":" '{if($1~/(root|oracle)/)print $0}' /etc/passwd  #用正则表达式元字符|的方式
awk -F":" '{if($1~/root/ || $1~/oracle/)print $0}' /etc/passwd #用或||的方式

说明：竖线符"|"表示匹配竖线"|"两边模式之一。使用竖线符时，语句必须用圆括号()括起来。

（8）打印同时匹配oracle和root的行

awk -F":" '{if($1=="root" && $3=="0")print $0}' /etc/passwd

awk内置变量

awk的内置变量包括FS、NF、OFS、ORS、NR等内容，下面逐一列举其含义和用法。

（1）FS 表示用于设置列的分隔符，与-F选项功能相同。缺省情况下为空格。举例如下：

echo "2017-12-20" |awk 'BEGIN{FS="-"}{print $1,$2,$3}' #输出2017 12 20

（2）NF 表示一行记录列的总数。如果需要打印最后一列内容，举例如下：

echo "/usr/local/bin/python" | awk -F '/' '{print $NF}' #输出python

说明:NF常用于打印倒数指定列的内容。

如打印指定列到最后一列的内容，方法如下：

awk -F " "  '{for (i=4;i<=NF;i++)printf("%s ", $i);print ""}' file.txt

（3）OFS 表示指定输出字段分隔符，缺省为空格。举例如下：

echo "1990 09 09" | awk 'BEGIN{OFS="-"}{print $1,$2,$3}' #输出1990-09-09

（4）ORS 表示输出行记录的分隔符，默认为换行符(\n)。如果需要设置输出行的分隔符为#，可以如下表示：

echo -e "1990\n09\n09" | awk 'BEGIN{ORS="#"}{print $0}' #输出1990#09#09#

（5）NR 表示已读的记录数。如果需要打印文件行数，举例如下：

awk 'END{print NR}' /etc/passwd

（6）FILENAME 表示当前处理文件名。举例如下：

awk 'END{print FILENAME}' /etc/passwd

awk内置字符串函数

（1）length(string) 返回计算字符串string的长度。举例如下：

echo "Hello World" | awk '{print length($0)}' #输出11

（2）index(string,substr)  返回待查找字符substr在字符串string中的位置，其中substr必须用双引号将字符串括起来。举例如下：

echo "Hello World" | awk '{print index($0,"o")}' #输出5
awk 'BEGIN{print index("Hello World","o")}' #输出5

（3）match(string,regex)  检查正则表达式regex是否能够匹配字符串，如果匹配返回值为非0，如果未匹配，返回0。举例如下：

awk 'BEGIN{print match("Hello World",'o')}' #查找字符串o第一次出现的位置，输出1
echo "Hello World" | awk '{print match($0,'o')}' #同上，输出1
awk 'BEGIN{print match("Hello World",/[Oo]/)}' #查找字符串大写或小写o第一次出现的位置。输出5

（4）split(string,array,delimeter)  使用指定的分隔符delimeter分割字符串string，并将分割出的结果保存到arayr数组。split()函数返回值为数组长度。举例如下：

echo "123#456#789" | awk '{len=split($0,arr,"#");for(i=1;i<=len;i++)print arr[i]}' 

说明：通过获取到的数组长度，通过循环方式获取数组中的内容，其中数组下标是从1开始计算。更为简便的获取方法如下：

echo "123#456#789" | awk '{split($0,arr,"#");for(i in arr)print arr[i]}' 

（5）sub(regex,string)  表示用字符串string替换正则表达式regex匹配的内容。举例如下：

echo "Java:Python:Java:C" | awk 'sub(/Java/,"Ruby",$0)' #输出Ruby:Python:Java:C

（6）substr(string,pos) 获取字符串sting中从指定位置pos后的内容。举例如下

echo "Java:Python:C" | awk '{print substr($0,6)}' #输出Python:C

（7）substr(string,pos,n)  获取字符串string中从指定位置pos开始长度为n的内容

echo "Java:Python:C" | awk '{print substr($0,1,4)}' #输出Java

（8）gsub(regex,string) 表示使用字符串string替换正则表达式regex匹配的内容。举例如下：

echo "Java:Python:Java:C" | awk 'gsub(/Java/,"Ruby")' #输出Ruby:Python:Ruby:C

（9）gsub(regex,string,target) 表示在指定的范围内，使用字符串string替换正则表达式regex匹配的内容。举例如下：

echo "Learn Shell at 2013-08-08" | awk 'gsub(/-/,":",$4)' #输出Learn Shell at 2013:08:08

awk内置算术函数

这里主要介绍int()、srand()、rand()3个算术函数。

（1）int(x) 返回x的整数

awk 'BEGIN{i=3.1415926;print int(i)}' #输出3

（2）rand() 返回0~1的任意数字。

awk 'BEGIN{srand();num=rand();print num}' #输出0~1的任意值，每执行一次变化一次。

说明：如果不加上srand()函数，每次执行打印的值都相同。

awk内容打印(printf&print)

awk可以使用print和printf输出字符串。主要区别是printf可以自定义输出的模式，输出内容后不换行。print输出内容后会自动换行。

printf使用格式：

（1）printf([格式控制符]，参数)

（2） printf [格式控制符]，参数

格式（1）和（2）的区别就是带不带小括号。个人觉得带小括号更直观。毕竟是个函数。下面这说明一下printf格式控制符中的常用格式和修饰符。

常用格式：%d表示整数、%s表示字符串。

修饰符：破折号"-"表示左对齐、Width表示步长。

printf基本使用实例

（1）格式化输出字符串

$ echo -e "12345 678\n123456788 890" | awk '{printf("%-11d %-5d\n",$1,$2)}'
$ echo -e "12345 678\n123456788 890" | awk '{printf"%-11d %-5d\n",$1,$2}' #不带小括号

如果使用print函数的话，就可以自动换行了，不需要手工添加换行符。同样，print也是可以带小括号。

$ echo -e "12345 678\n123456788 890" | awk '{print $1,$2}'

（2）利用printf生成数据。使用方法如下

$ awk 'BEGIN{data_format="136%03d\n";for(i=0;i<=3;i++)printf(data_format,i)}'

小结

本文内容介绍了awk命令的基本语法和常用实例。awk具有强大的文本处理能力，掌握awk命令的基本内容可以完成工作上遇到的大部分问题。另外，awk构造大批量测试数据有非常高的效率。