[转贴]30 分钟学会 AWK
30 分钟学会 AWK
https://mp.weixin.qq.com/s/X0ire4dYiceC2CzPU6JsSw?
(点击上方公众号,可快速关注)
来源:伯乐在线 - mylxsw
如需转载,请发送「转载」二字查看详情;
本文大部分内容翻译自我开始学习AWK时看到的一篇英文文章 AWK Tutorial ,觉得对AWK入门非常有帮助,所以对其进行了粗略的翻译,并对其中部分内容进行了删减或者补充,希望能为对AWK感兴趣的小伙伴提供一份快速入门的教程,帮助小伙伴们快速掌握AWK的基本使用方式,当然,我也是刚开始学习AWK,本文在翻译或者补充的过程中肯定会有很多疏漏或者错误,希望大家能够帮忙指正。
本文将会持续修正和更新,最新内容请参考我的 GITHUB 上的 程序猿成长计划 项目,欢迎 Star。
概述
AWK是一门解释型的编程语言。在文本处理领域它是非常强大的,它的名字来源于它的三位作者的姓氏:Alfred Aho, Peter Weinberger 和 Brian Kernighan。
GNU/Linux发布的AWK目前由自由软件基金会(FSF)进行开发和维护,通常也称它为 GNU AWK。
AWK的类型
下面是几个AWK的变体:
AWK – 原先来源于 AT & T 实验室的的AWK
NAWK – AT & T 实验室的AWK的升级版
GAWK – 这就是GNU AWK。所有的GNU/Linux发布版都自带GAWK,它与AWK和NAWK完全兼容
AWK的典型用途
使用AWK可以做很多任务,下面是其中一些
文本处理
输出格式化的文本报表
执行算数运算
执行字符串操作等等
工作流
要成为AWK编程专家,你需要先知道它的内部实现机制,AWK遵循了非常简单的工作流 – 读取,执行和重复,下图描述了AWK的工作流。
Read
AWK从输入流(文件,管道或者标准输入)中读取一行,然后存储到内存中。
Execute
所有的AWK命令都依次在输入上执行。默认情况下,AWK会对每一行执行命令,我们可以通过提供模式限制这种行为。
Repeat
处理过程不断重复,直到到达文件结尾。
程序结构
现在,让我们先学习一下AWK的程序结构。
BEGIN 语句块
BEGIN语句块的语法
BEGIN {awk-commands}
BEGIN语句块在程序开始的使用执行,它只执行一次,在这里可以初始化变量。BEGIN是AWK的关键字,因此它必须为大写,注意,这个语句块是可选的。
BODY 语句块
BODY语句块的语法
/pattern/ {awk-commands}
BODY语句块中的命令会对输入的每一行执行,我们也可以通过提供模式来控制这种行为。注意,BODY语句块没有关键字。
END 语句块
END语句块的语法
END {awk-commands}
END语句块在程序的最后执行,END是AWK的关键字,因此必须为大写,它也是可选的。
让我们创建一个包含序号,学生姓名,科目名称和得分的文件 marks.txt.
1) Amit Physics 80
2) Rahul Maths 90
3) Shyam Biology 87
4) Kedar English 85
5) Hari History 89
下面的例子中我们将会显示文件内容,并且添加每一列的标题
上述代码执行后,输出以下内容
在程序的开始,AWK在BEGIN语句中打印出标题。然后再BODY语句中,它会读取文件的每一行然后执行AWK的print命令将每一行的内容打印到标准输出。这个过程会一直重复直到文件的结尾。
基础语法
AWK的使用非常简单,我们可以直接在命令行中执行AWK的命令,也可以从包含AWK命令的文本文件中执行。
AWK命令行
我们可以使用单引号在命令行中指定AWK命令
AWK程序文件
我们可以使用脚本文件提供AWK命令
AWK标准选项
AWK支持下列命令行标准选项
-v 变量赋值选项
该选项将一个值赋予一个变量,它会在程序开始之前进行赋值,下面的例子描述了该选项的使用
--dump-variables[=file] 选项
该选项会输出排好序的全局变量列表和它们最终的值到文件中,默认的文件是 awkvars.out。
--help 选项
打印帮助信息.
--lint[=fatal] 选项
该选项允许检查程序的不兼容性或者模棱两可的代码,当提供参数 fatal的时候,它会对待Warning消息作为Error。
--posix 选项
该选项开启严格的POSIX兼容。
--profile[=file]选项
该选项会输出一份格式化之后的程序到文件中,默认文件是 awkprof.out。
--traditional 选项
该选项会禁止所有的gawk规范的扩展。
--version 选项
输出版本号
基本使用示例
本部分会讲述一些有用的AWK命令和它们的使用示例,所有的例子都是以下面的文本文件 marks.txt 为基础的。
在文件marks.txt中,第三列包含了科目名,第四列则是得分,上面的例子中,我们只打印出了这两列,$3 和 $4 代表了输入记录中的第三和第四个字段。
打印所有的行
默认情况下,AWK会打印出所有匹配模式的行
打印匹配模式的列
当模式匹配成功时,默认情况下AWK会打印该行,但是也可以让它只打印指定的字段。例如,下面的例子中,只会打印出匹配模式的第三和第四个字段。
任意顺序打印
打印超过18个字符的行
内建变量
AWK提供了很多内置的变量,它们在开发AWK脚本的过程中起着非常重要的角色。
标准AWK变量
ARGC 命令行参数个数
命令行中提供的参数个数
ENVIRON 环境变量
环境变量的关联数组
NF 字段数目
OFS 输出字段分隔符
输出字段分隔符,默认为空
RSTART
match函数匹配的第一次出现位置
$n
当前行中的第n个字段
GNU AWK的变量
ARGIND
当前被处理的ARGV的索引
BINMODE
在非POSIX系统上指定对所有的文件I/O采用二进制模式。
ERRORNO
一个代表了getline跳转失败或者是close调用失败的错误的字符串。
FIELDWIDTHS
设置了空格分隔的字段宽度变量列表的话,GAWK会将输入解析为固定宽度的字段,而不是使用FS进行分隔。
IGNORECASE
设置了这个变量的话,AWK会忽略大小写。
LINT
提供了对–lint选项的动态控制。
操作符
与其它编程语言一样,AWK也提供了大量的操作符。
算数操作符
算数操作符不多说,直接看例子,无非就是+-*/%
增减运算符
自增自减与C语言一致。
赋值操作符
关系操作符
逻辑操作符
三元操作符
一元操作符
指数操作符
字符串连接操作符
数组成员操作符
正则表达式操作符
正则表达式操作符使用 ~ 和 !~ 分别代表匹配和不匹配。
更多关于正则表达式请看后面的正则表达式部分
正则表达式
AWK在处理正则表达式方面是非常强大的,使用简单的正则表达式可以处理非常复杂的问题。
数组
AWK支持关联数组,也就是说,不仅可以使用数字索引的数组,还可以使用字符串作为索引,而且数字索引也不要求是连续的。数组不需要声明可以直接使用,语法如下:
在AWK中,只支持一维数组,但是可以通过一维数组模拟多维,例如我们有一个3×3的三维数组
流程控制
流程控制语句与大多数语言一样,基本格式如下
循环
循环操作与其他C系语言一样,主要包括 for
,while
,do...while
,break
,continue
语句,当然,还有一个 exit
语句用于退出脚本执行。
exit
用于退出脚本,参数为退出的状态码,可以通过shell中的$?
获取
函数
内建函数
AWK提供了很多方便的内建函数供编程人员使用。由于函数比较多,个人觉得单纯看每个函数的使用也没有什么实际意义,比较容易遗忘,因此,这里只简单的列出常用的一些函数,只需要对其有个印象即可,使用的时候再去 查手册 效果会更好一些吧。
数学函数
atan2(y, x)
cos(expr)
exp(expr)
int(expr)
log(expr)
rand
sin(expr)
sqrt(expr)
srand([expr])
字符串函数
asort(arr [, d [, how] ])
asorti(arr [, d [, how] ])
gsub(regex, sub, string)
index(str, sub)
length(str)
match(str, regex)
split(str, arr, regex)
sprintf(format, expr-list)
strtonum(str)
sub(regex, sub, string)
substr(str, start, l)
tolower(str)
toupper(str)
时间函数
systime
mktime(datespec)
strftime([format [, timestamp[, utc-flag]]])
字节操作函数
and
compl
lshift
rshift
or
xor
其它
用户自定义函数
函数是程序基本的组成部分,AWK允许我们自己创建自定义的函数。一个大型的程序可以被划分为多个函数,每个函数之间可以独立的开发和测试,提供可重用的代码。
下面是用户自定义函数的基本语法
输出重定向
重定向操作符
到目前为止,我们所有的程序都是直接显示数据到了标准输出流,其实,我们也可以将输出重定向到文件。重定向操作符跟在print
和printf
函数的后面,与shell中的用法基本一致。
管道
除了将输出重定向到文件之外,我们还可以将输出重定向到其它程序,与shell中一样,我们可以使用管道操作符|
。
第一次I/O操作使用了|&
操作符,gawk会创建一个到运行其它程序的子进程的双向管道,print
的输出被写入到了subprogram
的标准输入,而这个subprogram
的标准输出在gawk中使用getline
函数进行读取。
注意:目前协同进程的标准错误输出将会和gawk的标准错误输出混杂在一起,无法单独获取标准错误输出。另外,I/O缓冲可能存在问题,gawk程序会自动的刷新所有输出到下游的协同进程的管道。但是,如果协同进程没有刷新其标准输出的话,gawk将可能会在使用
getline
函数从协同进程读取输出的时候挂起,这就可能引起死锁。
我们可以使用close
函数关闭双向管道的to或者from一端,这两个字符串值告诉gawk发送数据到协同进程完成时或者从协同进程读取完毕时关闭管道。在使用系统命令sort
的时候是这样做是非常必要的,因为它必须等所有输出都读取完毕时才能进行排序。
上例看起来有些复杂,我们逐行分析一下
首先,第一行 cmd = “tr [a-z] [A-Z]” 是在AWK中要建立双向连接的命令
第二行的print命令用于为tr命令提供输入,而
|&
用于指出要建立双向连接第三行用于在上面的语句close(cmd, “to”),在执行完成后关闭其to进程
第四行 cmd |& getline out使用getline函数存储输出到变量out中
最后一行使用close函数关闭命令
美化输出
到目前为止,我们已经使用过print
和printf
函数显示数据到标准输出,但是printf
函数实际上要比我们之前使用的情况更加强大得多。该函数是从C语言中借鉴来的,在处理格式化的输出时非常有用。
格式化输出标识有
%c
,%d
,%s
等,基本与C语言一致,这里就不多赘述了。
执行shell命令
在AWK中执行shell命令有两种方式
使用
system
函数使用管道
使用system函数
system函数用于执行操作系统命令并且返回命令的退出码到awk。
使用管道
如果要执行的命令很多,可以将输出的命令直接用管道传递给“/bin/sh”执行
参考
AWK Tutorial
The GNU Awk User’s Guide
本文将会持续修正和更新,最新内容请参考我的 GITHUB 上的 程序猿成长计划 项目,欢迎 Star。
[转贴]30 分钟学会 AWK的更多相关文章
- 【grunt第二弹】30分钟学会使用grunt打包前端代码(02)
前言 上一篇博客,我们简单的介绍了grunt的使用,一些基础点没能覆盖,我们今天有必要看看一些基础知识 [grunt第一弹]30分钟学会使用grunt打包前端代码 配置任务/grunt.initCon ...
- 30分钟学会使用Spring Web Services基础开发
时隔一年终于又推出了一篇30分钟系列,上一篇<30分钟学会反向Ajax>是2016年7月的事情了.时光荏苒,岁月穿梭.虽然一直还在从事Java方面的开发工作,但是私下其实更喜欢使用C++. ...
- 30 分钟学会 Flex 布局
30 分钟学会 Flex 布局 有酒 617 人赞同了该文章 为什么我要写这一篇关于 Flex 布局的教程? 因为它十分简单灵活,区区简单几行代码就可以实现各种页面的的布局,以前我在学习页面布局的 ...
- 30分钟学会XAML
1.狂妄的WPF 相对传统的Windows图形编程,需要做很多复杂的工作,引用许多不同的API.例如:WinForm(带控件表单).GDI+(2D图形).DirectX API(3D图形)以及流媒体和 ...
- 30分钟学会如何使用Shiro
本篇内容大多总结自张开涛的<跟我学Shiro>原文地址:http://jinnianshilongnian.iteye.com/blog/2018936 我并没有全部看完,只是选择了一部分 ...
- 教你30分钟学会XAML
1.狂妄的WPF 相对传统的Windows图形编程,需要做很多复杂的工作,引用许多不同的API.例如:WinForm(带控件表单).GDI+(2D图形).DirectX API(3D图形)以及流媒体和 ...
- 30分钟学会Objective-C
注: 本文首发于我的个人博客:https://evilpan.com/2019/04/05/objc-basics/ 请原谅我的标题党.但是如果你有其他语言的学习经验,要学习Objective-C的语 ...
- 30分钟学会Docker里面开启k8s(Kubernetes)登录仪表盘(图文讲解)
前言 我们之前搭建了第一个docker项目: windows环境30分钟从0开始快速搭建第一个docker项目(带数据库交互):https://www.cnblogs.com/xiongze520/p ...
- 【grunt整合版】30分钟学会使用grunt打包前端代码
grunt 是一套前端自动化工具,一个基于nodeJs的命令行工具,一般用于:① 压缩文件② 合并文件③ 简单语法检查 对于其他用法,我还不太清楚,我们这里简单介绍下grunt的压缩.合并文件,初学, ...
- 【grunt第一弹】30分钟学会使用grunt打包前端代码
前言 以现在前端js激增的态势,一个项目下来几十个js文件轻轻松松对于复杂一点的单页应用来说,文件上百简直是家常便饭,那么这个时候我们的js文件应该怎么处理呢?另外,对于css文件,又该如何处理呢?? ...
随机推荐
- 华为云开源的Karmada正式成为CNCF首个多云容器编排项目
摘要:CNCF(云原生计算基金会)正式接纳由华为云贡献的多云容器编排项目Karmada,迎来CNCF首个多云容器编排项目. 北京时间9月15日,CNCF(云原生计算基金会)正式接纳由华为云贡献的多云容 ...
- 破解数据匮乏现状:纵向联邦学习场景下的逻辑回归(LR)
摘要:主要介绍了华为云可信智能计算服务(TICS)采用的纵向联邦逻辑回归(LR)方案. 本文分享自华为云社区<纵向联邦学习场景下的逻辑回归(LR)>,作者: 汽水要加冰. 海量训练数据是人 ...
- docker镜像列表存在但删除显示 No such image问题解决
近期使用了docker,但删除镜像时候遇到了无法删除问题.提示:No such Image.原因有两个,解决方法如下: 原因1: 容器还存在是无法删除镜像的 解决步骤: 1.停掉容器(docker s ...
- java -jar 启动 boot 程序 no main manifest attribute, in .\vipsoft-model-web-0.0.1-SNAPSHOT.jar
想让你的windows下 cmd 和我的一样帅吗.下载 cmder 绿色版,然后用我的配置文件,替换原来的文件启动就可以了 另外加cmder添加到右击菜单中,到安装目录中,执行下面命令 Cmder.e ...
- django读取数据库导出excel
路由 path(r'^export/xls/$', views.export_excel, name='export_excel'), 函数 import xlwt from django.http ...
- 认证,权限,频率源码分析 自定义频率类 SimpleRateThrottle缓存频率类 基于APIView编写分页
目录 昨日回顾 三种位置的token获取 三种权限校验方式 原生django的cookie+session认证底层原理 断点调试使用 认证,权限,频率源码分析(了解) 权限源码分析 认证源码分析 频率 ...
- 5.0 数据库完整性详解(PRIMARY KEY、REFERENCES、CHECK、CONSTRAINT、DOMAIN、TRIGGER)
前言 本篇文章学习书籍:<数据库系统概论>第5版 王珊 萨师煊编著 视频资源来自:数据库系统概论完整版(基础篇+高级篇+新技术篇) 由于 BitHachi 学长已经系统的整理过本书了,我在 ...
- jdk1.8: Consumer函数
场景: 当我们在a方法中,需要把某些参数赋值给一个Integer类型的对象,而该对象只有在b方法才能赋值,那么我们可以在a方法中使用consumer记录我们要执行的操作,再把consumer作为参数传 ...
- 【驱动】以太网扫盲(二)phy寄存器简介
PHY 寄存器的地址空间为 5 位,从 0 到 31 最多可以定义 32 个寄存器(随着芯片功能不断增加,很多 PHY 芯片采用分页技术来扩展地址空间以定义更多的寄存器),IEEE802.3 定义了地 ...
- shell脚本(16)-awk命令
文档目录 一.awk介绍 二.awk基本用法 1.awk对字段(列)的提取: 2.awk对记录(行)的提取: 3.awk对字符串提取: 4.awk程序的优先级: 三.awk高级用法 1.awk定义数组 ...