Linux awk命令使用方法
awk是linux上非常好用的文本处理工具,常用于指定列的处理,包括获取指定列的内容、根据指定列匹配关系输出等文本处理。本文主要描述awk命令的基本语法、正则表达式与操作符的使用、常用内置变量的含义和使用方法、内置字符串函数的使用方法。
awk基本语法
awk [ -F 分隔符] [ -v 变量名=值 ] 'BEGING{语句} 条件类型1{动作1} 条件类型2{动作2}... END{语句}' 输入的文件
命令格式说明:
(1)awk命令格式由四部分组成。选项、BEGIN、END和带条件类型和动作的语句。这四个部分都是可选项,可省略任意部分。
(2)-F表示设置列分隔符,默认为空格。
(3)-v 表示初始化一个变量或者用于向awk命令传入外部变量值,shell编程中常用。
(4)条件类型可以是正则表达式、条件语句、复合语句以及行匹配范围等内容。条件类型为可选设置。如果设置条件,只处理匹配条件的行执行动作。如果未设置,awk命令则认为所有行都是匹配的,并执行动作语句。动作表示执行的命令,命令必须放在大括号{}内。
(5)必须了解这些符号。$0表示行,$1、$2、$3...$n分别表示第1列、第2列、第3列...第n列。awk命令经常会使用这些符号去做匹配、打印指定指定列等操作。
awk命令处理流程:
(1)执行BEGIN{} 语句块中的内容。BEGIN语句通常用户变量初始化、打印输出表格的表头。
(2)从文件或者stdin中读取一行。然后根据条件类型的匹配关系,判断是否需要执行后面的动作。直到做完所有的动作和条件类型。重复这个过程,直到文件所有行处理完成。
(3)执行END语句块中的内容。END语句块常用于分析汇总等统计信息,比如统计文件行数。
基本使用实例
下面我们通过一些基本的实例来直观了解下awk命令的各选项和条件类型、动作的基本用法,这些实例也是awk操作或者shell编程中最常见的几种用法。如下
(1)$0、$1、$2、$3...$n内容
echo "2017 12 20" | awk '{print "$0="$0,"$1="$1,"$2="$2,"$3="$3}' #输出$0=2017 12 20 $1=2017 $2=12 $3=20
从结果输出可以知道,$0表示整行内容,$1、$2表示执行列。print中分割字段的逗号","默认输出为空格。如果需要输出以逗号分隔可以用如下方式:
echo "2017 12 20" | awk '{print "$0="$0 "," "$1="$1 "," "$2="$2 "," "$3="$3}' #输出$0=2017 12 20,$1=2017,$2=12,$3=20
(2)利用-F选项指定分隔符获取匹配行的指定列。
echo "2017-12-20" | awk -F"-" '{print $1,$2,$3}' #获取第1、2、3列内容,输出2017 12 20
如果需要考虑多个分隔符的行处理情况呢,可以通过-F '[分隔符1 分隔符2]'设置。如下一行同时包含破折号"-"、反斜干分隔符"/",获取指定第1、2、3列内容。命令如下:
echo "2017-12/20" | awk -F"[-/]" '{print $1,$2,$3}' #输出2017 12 20
(3)向awk命令传入外部变量,常用于shell编程中。
var1=5
awk -v var=${var1} 'BEGIN{for(i=0;i<=var;i++)print i}' #输出0 1 2 3 4 5
(4)BEGIN使用方法
awk 'BEGIN{num=5;for(i=0;i<=num;i++)print i}'
awk 'BEGIN{print "Begin deal with files"}' #处理文件前打印提示信息
(5)使用END语句统计文件行数。举例如下:
awk 'END{print NR}' /etc/passwd
说明:NR表示文件已读取的行数,END语句块是在文本所有行处理后执行,所以打印NR数值就是文件行数。
awk中正则表达式与条件操作符
awk中正则表达式匹配操作中经常用到字符如下:
. * + ? $ | \ [] {} ()
条件操作符如下:
<(小于) <=(小于等于) ==(等于) >(大于) >=(大于等于) !=(不等于) ~(匹配正则表达式) !~(不匹配正则表达式)
其中<、>、<=等操作符用法比较简单,这里主要讲~(匹配正则表达式)、 !~(不匹配正则表达式)两个表达式的用法。
基本实例如下:
(1)打印第1个字段包含root字符串的行
awk -F":" '{if($1~/root/)print $0}' /etc/passwd #写法一
awk -F":" '$1~/root/{print $0}' /etc/passwd #写法二
(2)打印第1个字段不包含root字符串的行
awk -F":" '{if($1 !~ /root/)print $0}' /etc/passwd #写法一
awk -F":" '$1 !~ /root/{print $0}' /etc/passwd #写法二
(3)打印第1个字段等于root字符串的行
awk -F":" '{if($1 == "root")print $0}' /etc/passwd #写法一
awk -F":" '$1 == "root"{print $0}' /etc/passwd #写法二
(4)打印第1个字段不等于root字符串的行
awk -F":" '{if($1 != "root")print $0}' /etc/passwd #写法一
awk -F":" '$1 != "root"{print $0}' /etc/passwd #写法二
(5)打印用户ID小于500的用户
awk -F":" '{if($3<500)print $0}' /etc/passwd
(6)打印行首为oracle的行
awk -F":" '{if($1~/^oracle/)print $0}' /etc/passwd
(7)打印匹配oracle或者root字符串的行
awk -F":" '{if($1~/(root|oracle)/)print $0}' /etc/passwd #用正则表达式元字符|的方式
awk -F":" '{if($1~/root/ || $1~/oracle/)print $0}' /etc/passwd #用或||的方式
说明:竖线符"|"表示匹配竖线"|"两边模式之一。使用竖线符时,语句必须用圆括号()括起来。
(8)打印同时匹配oracle和root的行
awk -F":" '{if($1=="root" && $3=="0")print $0}' /etc/passwd
awk内置变量
awk的内置变量包括FS、NF、OFS、ORS、NR等内容,下面逐一列举其含义和用法。
(1)FS 表示用于设置列的分隔符,与-F选项功能相同。缺省情况下为空格。举例如下:
echo "2017-12-20" |awk 'BEGIN{FS="-"}{print $1,$2,$3}' #输出2017 12 20
(2)NF 表示一行记录列的总数。如果需要打印最后一列内容,举例如下:
echo "/usr/local/bin/python" | awk -F '/' '{print $NF}' #输出python
说明:NF常用于打印倒数指定列的内容。
如打印指定列到最后一列的内容,方法如下:
awk -F " " '{for (i=4;i<=NF;i++)printf("%s ", $i);print ""}' file.txt
(3)OFS 表示指定输出字段分隔符,缺省为空格。举例如下:
echo "1990 09 09" | awk 'BEGIN{OFS="-"}{print $1,$2,$3}' #输出1990-09-09
(4)ORS 表示输出行记录的分隔符,默认为换行符(\n)。如果需要设置输出行的分隔符为#,可以如下表示:
echo -e "1990\n09\n09" | awk 'BEGIN{ORS="#"}{print $0}' #输出1990#09#09#
(5)NR 表示已读的记录数。如果需要打印文件行数,举例如下:
awk 'END{print NR}' /etc/passwd
(6)FILENAME 表示当前处理文件名。举例如下:
awk 'END{print FILENAME}' /etc/passwd
awk内置字符串函数
(1)length(string) 返回计算字符串string的长度。举例如下:
echo "Hello World" | awk '{print length($0)}' #输出11
(2)index(string,substr) 返回待查找字符substr在字符串string中的位置,其中substr必须用双引号将字符串括起来。举例如下:
echo "Hello World" | awk '{print index($0,"o")}' #输出5
awk 'BEGIN{print index("Hello World","o")}' #输出5
(3)match(string,regex) 检查正则表达式regex是否能够匹配字符串,如果匹配返回值为非0,如果未匹配,返回0。举例如下:
awk 'BEGIN{print match("Hello World",'o')}' #查找字符串o第一次出现的位置,输出1
echo "Hello World" | awk '{print match($0,'o')}' #同上,输出1
awk 'BEGIN{print match("Hello World",/[Oo]/)}' #查找字符串大写或小写o第一次出现的位置。输出5
(4)split(string,array,delimeter) 使用指定的分隔符delimeter分割字符串string,并将分割出的结果保存到arayr数组。split()函数返回值为数组长度。举例如下:
echo "123#456#789" | awk '{len=split($0,arr,"#");for(i=1;i<=len;i++)print arr[i]}'
说明:通过获取到的数组长度,通过循环方式获取数组中的内容,其中数组下标是从1开始计算。更为简便的获取方法如下:
echo "123#456#789" | awk '{split($0,arr,"#");for(i in arr)print arr[i]}'
(5)sub(regex,string) 表示用字符串string替换正则表达式regex匹配的内容。举例如下:
echo "Java:Python:Java:C" | awk 'sub(/Java/,"Ruby",$0)' #输出Ruby:Python:Java:C
(6)substr(string,pos) 获取字符串sting中从指定位置pos后的内容。举例如下
echo "Java:Python:C" | awk '{print substr($0,6)}' #输出Python:C
(7)substr(string,pos,n) 获取字符串string中从指定位置pos开始长度为n的内容
echo "Java:Python:C" | awk '{print substr($0,1,4)}' #输出Java
(8)gsub(regex,string) 表示使用字符串string替换正则表达式regex匹配的内容。举例如下:
echo "Java:Python:Java:C" | awk 'gsub(/Java/,"Ruby")' #输出Ruby:Python:Ruby:C
(9)gsub(regex,string,target) 表示在指定的范围内,使用字符串string替换正则表达式regex匹配的内容。举例如下:
echo "Learn Shell at 2013-08-08" | awk 'gsub(/-/,":",$4)' #输出Learn Shell at 2013:08:08
awk内置算术函数
这里主要介绍int()、srand()、rand()3个算术函数。
(1)int(x) 返回x的整数
awk 'BEGIN{i=3.1415926;print int(i)}' #输出3
(2)rand() 返回0~1的任意数字。
awk 'BEGIN{srand();num=rand();print num}' #输出0~1的任意值,每执行一次变化一次。
说明:如果不加上srand()函数,每次执行打印的值都相同。
awk内容打印(printf&print)
awk可以使用print和printf输出字符串。主要区别是printf可以自定义输出的模式,输出内容后不换行。print输出内容后会自动换行。
printf使用格式:
(1)printf([格式控制符],参数)
(2) printf [格式控制符],参数
格式(1)和(2)的区别就是带不带小括号。个人觉得带小括号更直观。毕竟是个函数。下面这说明一下printf格式控制符中的常用格式和修饰符。
常用格式:%d表示整数、%s表示字符串。
修饰符:破折号"-"表示左对齐、Width表示步长。
printf基本使用实例
(1)格式化输出字符串
$ echo -e "12345 678\n123456788 890" | awk '{printf("%-11d %-5d\n",$1,$2)}'
$ echo -e "12345 678\n123456788 890" | awk '{printf"%-11d %-5d\n",$1,$2}' #不带小括号
如果使用print函数的话,就可以自动换行了,不需要手工添加换行符。同样,print也是可以带小括号。
$ echo -e "12345 678\n123456788 890" | awk '{print $1,$2}'
(2)利用printf生成数据。使用方法如下
$ awk 'BEGIN{data_format="136%03d\n";for(i=0;i<=3;i++)printf(data_format,i)}'
小结
本文内容介绍了awk命令的基本语法和常用实例。awk具有强大的文本处理能力,掌握awk命令的基本内容可以完成工作上遇到的大部分问题。另外,awk构造大批量测试数据有非常高的效率。
Linux awk命令使用方法的更多相关文章
- Linux awk命令常见使用方法介绍
Linux awk命令常见使用方法介绍 By:授客 QQ:1033553122 awk运行方式有三种,其中常用的为命令行方式 awk [-F field_separator] '{patter ...
- linux awk命令详解
linux awk命令详解 简介 awk是一个强大的文本分析工具,相对于grep的查找,sed的编辑,awk在其对数据分析并生成报告时,显得尤为强大.简单来说awk就是把文件逐行的读入,以空格为默认分 ...
- Linux 常用命令使用方法大搜刮
Linux 常用命令使用方法大搜刮 1.# 表示权限用户(如:root),$ 表示普通用户 开机提示:Login:输入用户名 password:输入口令 用户是系统注册用户成功登陆后,可以进入 ...
- Linux awk命令 --三剑客老大
Linux awk命令 --三剑客老大 基本用法: awk [参数] ['找谁{干啥}'] 文件 参数: -F 分隔符 -v 创建或修改awk变量 OFS 输出分割符 awk显示每一列的时候分隔 ...
- linux awk命令详解,使用system来内嵌系统命令, awk合并两列
linux awk命令详解 简介 awk是一个强大的文本分析工具,相对于grep的查找,sed的编辑,awk在其对数据分析并生成报告时,显得尤为强大.简单来说awk就是把文件逐行的读入,以空格为默认分 ...
- linux awk命令详细使用方法
简单介绍 awk是一个强大的文本分析工具,相对于grep的查找,sed的编辑,awk在其对数据分析并生成报告时,显得尤为强大.简单来说awk就是把文件逐行的读入,以空格为默认分隔符将每行切片,切开的部 ...
- Linux awk命令详解??????????(研究)
http://blog.chinaunix.net/uid-25120309-id-3801250.html 一. AWK 说明 awk是一种编程语言,用于在linux/unix下对文本和数据进行 ...
- linux awk 命令实用手册
0,简介 Linux awk 是一个实用的文本处理工具,它不仅是一款工具软件,也是一门编程语言.awk 的名称来源于其三位作者的姓氏缩写,其作者分别是Alfred Aho,Peter Weinberg ...
- [Linux] linux awk命令详解
reference : http://www.cnblogs.com/ggjucheng/archive/2013/01/13/2858470.html 简介 awk是一个强大的文本分析工具,相对于g ...
随机推荐
- 把SAS批提交添加到鼠标右键
下载注册表管理工具:RegSeeker Portable v2.57 中文绿色便携版 在RegSeeker中搜索:batch
- U3D学习004——核心类和代码运行
1.U3D核心类 2.变量 只有public变量才可以显示在inspector面板中,[serializeField]可以使private和protected变量显示在inspector面板中. 3. ...
- Linux图形操作与命令行
一.执行命令 通过shell 在哪里输入: 1. 字符界面 2. 终端模拟器程序,如gnome-terminal.konsole (最早的linux是没有图形界面的,只有tty,也就是字符终端.当有了 ...
- VS远程调试与附加调试
使用场景 假如你要开发的程序需要运行在独特的硬件上,比如:服务器,然而这个"独特的硬件"却不能给你装VS,这时候远程调试就登场了. 测试工具/环境一览 Key Value VS版本 ...
- tp5生成小程序推广二维码
//获取用户经销商信息 及生成推广二维码 public function qrcode() { //拿到openid 查找用户表内是否有该用户 没有则拒绝生成二维码 有则查看是否已生成二维码 有生成则 ...
- Hdu 4622 Reincarnation(后缀自动机)
/* 字符串长度较小, 可以离线或者直接与处理所有区间的答案 动态加入点的时候, 因为对于其他点的parent构造要么没有影响, 要么就是在两个节点之间塞入一个点, 对于minmax的贡献没有改变 所 ...
- PYTHON语言书库
<SELENIUM 2 自动化测试实战 基于PYTHON语言>pdf 附下载链接 本书下载链接:https://pan.baidu.com/s/1A1s6UHecXd1Z465zbLumh ...
- 图算法之——dijkstra算法
一.算法特点 目标:找出加权图中前往X的最短路径 适用于:无环有向加权图,且各边的权值为正 二.算法思路 三.算法示例演示 如下图,请找出结点v1到其他各个结点的最短路径: 首先创建一个字典(散列表) ...
- WPF 异常其他信息: “对类型“BaseControl.KImgButton”的构造函数执行符合指定的绑定约束的调用时引发了异常。”,行号为“38”,行位置为“22”。
引发的异常:“System.Windows.Markup.XamlParseException”(位于 PresentationFramework.dll 中) 其他信息: “对类型“BaseCont ...
- 关于springboot
概念 Spring的优缺点 1. 优点(AOP和IOC简化开发) Spring是Java企业版(Java Enterprise Edition,JEE,也称J2EE)的轻量级代替品.无需开发重量级的E ...