AWK入门
AWK
类型
AWK:源于AT&T实验室的AWK
NAWK:AWK的升级版
GAWK:GNU AWK,兼容AWK和NAWK
程序结构
BEGIN语句块,可选
BEGIN {awk-commands}
BODY语句块
/pattern/ {awk-commadns}
END语句块
END {awk-commands}
例:awk
'BEGIN{printf "sr no\tname\tsub\tmarks\n"}
{print}
END{this is a test}' masks.txt
基础语法
格式:awk [options] file....
例:awk ‘{print}’ masks.txt
选项:
-f:指定脚本文件
1、创建脚本文件commands.awk
vim command.awk
{print}
2、执行
awk -f command.awk marks.txt
-v:变量赋值在程序开始前赋值
例:awk -v name=jerry 'BEGIN{printf "Name = %s\n",name}'
--dump-variables[=file]:
输出排好序的全局变量列表和它们最终的值到文件中,默认文件维awkvars.out
例:awk --dump-variables ''
--lint[=fatal]
检查程序的不兼容性或模棱两可的代码,参数fatal:将warning作为error
例:awk --lint '' /bin/ls
--profile[=file]
输出一发格式化之后的程序到文件,默认文件维awkprof.out
例:awk --profile=test.out 'BEGIN{printf "---|Header|--\n"}
{print}
END{printf "---|Footer|---\n"}' marks.txt
--traditional:禁止所有的gawk规范的扩展
--version:输出版本号
内置变量
NR:记录数量,在执行过程中对应当前行号
NF:字段数量,执行过程中对应当前行的字段数
$0:宝行执行过程中当前行的文本内容
$1:包含第一个字段的文本内容
$2:包含第二个字段的内容
FILENAM:表示正在处理的数据文件的名称
FS:字段分割字符,默认值是空格或者制表符
OFS:输出字段分隔符
RS:记录分隔符,默认为换行符
ORS:输出记录分隔符
例:awk '{printf $3 $4}' marks
输出第三和第四字段
awk '/a/' marks
输出包含a的行
#‘/pattern/’:匹配模式,正则表达式
awk ‘/a/ {print $3 "\t" $4}’ marks
输出包含a的
统计匹配模式的行数
awk '/a/ {++cnt} END{print "Count=",cnt}' marks.txt
打印超过18个字符的行
awk ‘length($0)>18’ marks
ARGC:输出命令行参数个数
例:awk 'BEGIN{ print "Arguments =",ARGC}' one two three four
ARGV:以数组的形式输出命令行参数
例:awk 'BEGIN{
for (i=0;i<ARGC;i++){
printf "ARGV[%d] = %s\n",i,ARGV[i]
}
}' one two three four
CONVFMT:数字的约定格式,默认是%.6g
例:awk 'BEGIN{ print "Conversion Format =%.6g",CONVFMT}'
OFMT:输出格式数字
例:awk 'BEGIN{print "OFMT = " OFMT}'
ENVIRON:环境变量的关联数值
例:awk 'BEGIN { print ENVIRON["PATH"]}'
FILENAME:当前用户名
例:awk 'END {print FILENAME}' marks.txt
FS:字段分隔符,默认空格或制表符,可以通过选项-F来使用
例:awk 'BEGIN{print "FS=" FS}' | cat -vte
或
awk -F: 'BEGIN{print "FS= " FS}' | cat -vte
NF:字段数量,执行过程中对应当前行的字段数
例:echo -e "one two\none two three\none two three four" | awk 'NF>2'
NR:记录数量,在执行过程中对应当前行号
例:echo -e "one two\none two three\none two three four" | awk 'NR>2'
操作符
算术操作符,加减乘除取余
+-*/%
指数:num^
或
num **
例: $ awk 'BEGIN { a = 50; b = 20; print "(a + b) = ", (a + b) }'
$ awk 'BEGIN { a = 50; b = 20; print "(a - b) = ", (a - b) }'
$ awk 'BEGIN { a = 50; b = 20; print "(a * b) = ", (a * b) }'
$ awk 'BEGIN { a = 50; b = 20; print "(a / b) = ", (a / b) }'
$ awk 'BEGIN { a = 50; b = 20; print "(a % b) = ", (a % b) }'
增减运算符
前自增:先自增,后赋值;前自减:先自减,后赋值
后自增:先赋值,后自增;后自减:先赋值,后自减
$ awk 'BEGIN { a = 10; b = ++a; printf "a = %d, b = %d\n", a, b }'
$ awk 'BEGIN { a = 10; b = --a; printf "a = %d, b = %d\n", a, b }'
$ awk 'BEGIN { a = 10; b = a++; printf "a = %d, b = %d\n", a, b }'
$ awk 'BEGIN { a = 10; b = a--; printf "a = %d, b = %d\n", a, b }'
赋值操作符
awk 'BEGIN' { NAME = "Jerry"; print "my name is ",NAME}
关系操作符
==
!=
<
<=
>
>=
例:awk 'BEGIN{ a=10;b=10;if(a==b) print "a == b"}
逻辑操作符
与或非
&&、||、!
例:awk 'BEGIN{
num=5;if(num>4 && num<6) printf "%d is in octal format\n",num}'
三元操作符
pattern?pattern:pattern
例:awk 'BEGIN{ a=10;b=20;(a>b)?max=a:max=b;print "max=" max}'
正则表达式操作符
匹配:~
不匹配:!~
例:tail -n 40 /var/log/nignx/access.log | awk '$0 ~ /ip\[123\.0\.0\.1\]/'
数组
语法:array_name[index]=value
删除数组
delete fruits["orange"]
例:awk 'BEGIN{
arr[0] =1;arr[1]=2;arr[2]=3';for (i in arr) printf"arr[%d] = %d\n",i,arr[i]
}'
流程控制
if(condition)
action
if(condition){
action-1
action-2
....
action-n
}
if(condition)
action-1
else if(conditon2)
action-2
else
action-3
例: awk 'BEGIN {
a = 30;
if (a==10)
print "a = 10";
else if (a == 20)
print "a = 20";
else if (a == 30)
print "a = 30";
}'
循环
主要语句
for,while,do...while,break,continue,exit
for(initialisation;condition;increment/decrement)
{action}
while (condition)
{action}
do
{action}
while(conditon)
例:
awk 'BEGIN{
sum=0;for(i=0;i<20;++i) {sum+=i;if(sum>50) break;else print "sum="},sum
}
}'
awk 'BEGIN{
for (i=1;i<=20;++i) {
if (i % 2 ==) print i;else continue
}
}'
awk 'BEGIN{
sum=0;for(i=0;i<20;++i){
sum+=i;if(sum>50) exit(10);else print "sum="sum
}
}'
双向连接
发送数据到另一个程序,然后读取结果,需要打开一个到另外一个进程的管道
符号:|&
#传递并保存数据,不输出到strout
双向管道包括from和to
例:close(to)
close(expr)
关闭管道
例:BEGIN {
cmd = "tr [a-z] [A-Z]"
print "hello, world !!!" |& cmd
close(cmd, "to")
cmd |& getline out
print out;
close(cmd);
}
getline
读取下一行内容
例:awk '{getline;print $0}' marks.txt
getline var < file
从file中读取,并存储在var中
command | getline var
将命令输出保存到var中
例:"date" | getline var
system
用于执行指定命令并返回退出状态
例:awk 'BEGIN{ret=system("date");print ret}'
自定义函数
function function_name(){
function body }
例:function add(num1,num2){result=num1+num2;return result}
BEGIN {res = add(10,20);print "10+20="res}
AWK入门的更多相关文章
- [转]shell awk 入门,中级,高级使用
awk很常用,对于我们在shell中分析log和file很有好处,很实用的东西,大家一起分享学习- 作为技术支持工程师,我们最最经常的工作就是要处理文本文件,不管是什么数据库最后都可以导成文本,我们就 ...
- AWK入门指南
一. AWK入门指南 Awk是一种便于使用且表达能力强的程序设计语言,可应用于各种计算和数据处理任务.本章是个入门指南,让你能够尽快地开始编写你自己的程序.第二章将描述整个语言,而剩下的章节将向你展示 ...
- 【Linux】AWK入门
什么是AWK AWK是一种用于处理文本的编程语言工具,一个模式匹配程序.一个典型的示例是将数据转换成格式化的报告. 在命令行输入如下awk命令: awk -F":" '{ prin ...
- shell awk入门
本文参考自 http://www.cnblogs.com/zhuyp1015/archive/2012/07/11/2586985.html awk:好用的数据处理工具 awk 也是一个非常棒的数据处 ...
- linux命令-awk入门
最近经常查看nginx日志,有时候需要做一些统计分析,于是就想起了awk,学习了就顺便做一个记录. 目录 概述:简单介绍awk背景原理 基本用法:常用到的awk语法 内建变量 综合实例 概述 awk是 ...
- awk入门【转】
awk其实不仅仅是工具软件,还是一种编程语言.不过,本文只介绍它的命令行用法,对于大多数场合,应该足够用了. 一.基本用法 awk的基本用法就是下面的形式. # 格式 $ awk 动作 文件名 # 示 ...
- awk 入门教程
作者: 阮一峰 日期: 2018年11月 7日 awk是处理文本文件的一个应用程序,几乎所有 Linux 系统都自带这个程序. 它依次处理文件的每一行,并读取里面的每一个字段.对于日志.CSV 那 ...
- awk入门及进阶
awk是Linux下优良的文本处理工具,有自成一体的编程语法规则,在循环和条件判断语句等方面和C语言很像. 其一般形式是:Pattern1 {ACTIONS; } Pattern2 { ACTIONS ...
- [转帖]awk 入门
awk其实不仅仅是工具软件,还是一种编程语言.不过,本文只介绍它的命令行用法,对于大多数场合,应该足够用了. http://www.ruanyifeng.com/blog/2018/11/awk.ht ...
随机推荐
- TP无限回复
引入文件和css样式 <script src="__PUBLIC__/bootstrap/js/jquery-1.11.2.min.js"></script> ...
- <转>jmeter(十九)HTTP属性管理器
本博客转载自:http://www.cnblogs.com/imyalost/category/846346.html 个人感觉不错,对jmeter讲解非常详细,担心以后找不到了,所以转发出来,留着慢 ...
- C++ WINDOWS 防多开
我们有些程序是可以同时运行多个进程,典型的像Visual Studio.但有些就能一次运行一个进程.比如Outlook.那你可能会问啥时可以让它同时打开多个应用程序,啥时只能一个啊.这个主要看进程间是 ...
- select2的用法
<link href="../css/select2.min.css" rel="stylesheet" /> <script src=&qu ...
- K8S学习笔记之ETCD启动失败注意事项
最近搭建K8S集群遇到ETCD的报错,报错信息如下,一定要关闭防火墙.iptables和SELINUX,三个都要关闭!! Mar 26 20:39:24 k8s-m1 etcd[6437]: heal ...
- YII1 增、删、改、查数据库操作
增 //注意插入的时候 是用的new Post $objectPost = new Post; $objectPost->username = $username; $objectPost-&g ...
- 常见的python的unittest用法
python的unittest好处是通过python脚本编写用例,每个用例可以单独调试初始化和清理动作,因为都是用例都是代码所以调试起来也很方便:它的缺点是得先学会python,难易程度见仁见智吧,对 ...
- python 的运行方式和基础变量
机器语言:直接用计算机能听的懂得二进制去编写程序,需要了解硬件细节 优点:执行效率高 缺点:开发效率低汇编语言:用英文单词取代二进制指令去编写程序 优点:开发效率高于机器语言 缺点:执行效率低于机器语 ...
- 剑指offer(53)表示数值的字符串
题目描述 请实现一个函数用来判断字符串是否表示数值(包括整数和小数).例如,字符串"+100","5e2","-123","3.1 ...
- Java 基础 - 集合
Set 集合 Set 集合通常不能记住元素的添加顺序.Set 集合不允许包含相同的元素. HashSet 是 Set 接口的实现类,按照 Hash 算法存储集合中的元素.HashSet 不是同步的,如 ...