AWK用法整理
printf
"1:2::3:::4::::5"
|
awk
-F
'[:]+'
'{print $4}'
[:]+ 表示
以1个或多个 :(冒号)作为分隔符
ip addr |awk -F '[ ]+' 'NR==8 {print $3}' | awk -F '/' '{print $1}
NR==8 {print $3} 表示第8行的第3列
cat haproxy.log-20170102 |sed -n '/Jan 1 14:00:00/,/Jan 1 14:05:00/p'|grep 'packet/index'|awk '{print $6}'|cut -d : -f1|sort| uniq -c |sort -k1,1nr|awk '{ SUM += $1 } END { print SUM }' 对第一个字段进行汇总求和
-------------------------------------------------------------
说明:
awk被设计用于数据流,能够对列和行进行操作。而sed更多的是匹配,进行替换和删除。
awk有很多内建的功能,比如数组,函数等。灵活性是awk的最大优势。
awk的结构
awk '
BEGIN{ print "start"}
pattern { commands }
END{ print "end"}'
file
为了偏于观看,我打了回车,实际上是一行
一个awk脚本通常是3部分
1. BEGIN语句块
2. 能够使用模式匹配的通用语句块
3. END语句块
他们任何一部分都可以不出现在脚本中。脚本通常包含在双引号或者单引号内。
例如:
- awk 'BEGIN{i=0}{i++}END{print i}' filename
工作原理
awk命令的工作方式如下:
1. 执行BEGIN{commands}语句块中的语句
2. 从文件或者stdin中读取一行,然后执行pattern{commands}. 迭代直到全部读取完毕
3. 最后执行END{commands}语句块
再次提醒,他们任何一部都可以没有
而awk的功能也远不止如此
入门实例:
- echo | awk '{var1="v1";var2="v2";var3="v3"; print var1,var2,var3;}'
- 打印: v1 v2 v3
解释:逗号为定界符(分隔符)
- echo | awk '{var1="v1";var2="v2";var3="v3"; print var1"-"var2"-"var3;}'
打印v1-v2-v3
解释:双引号为连接符
其他任何符号,都不能正常输出v1,v2,v3
解读--help(一个非常庞大复杂的帮助文档,官方用了410页的篇幅PDF来介绍,如果我只言片语,你信我自己都不信。。)
用法: awk [POSIX 或 GNU 风格选项] -f 脚本文件 [--] 文件 ...
用法: awk [POSIX 或 GNU 风格选项] [--] '程序' 文件 ...
POSIX 选项: GNU 长选项:
-f 脚本文件 --file=脚本文件
-F fs --field-separator=fs
指定输入文本分隔符,fs是一个字符串或者是一个正则表达式,
-v var=val --assign=var=val
将外部变量值付给var
-m[fr] val
-O --optimize
启用一些优化程序的内部表示。
-W compat --compat
在兼容模式下运行awk。所以gawk的行为和标准的awk完全一样,所有的awk扩展都被忽略。
-W copyleft --copyleft
打印简短的版权信息
-W copyright --copyright
打印短版的通用公共许可证,然后退出
-W dump-variables[=file] --dump-variables[=file]
打印全局变量,其类型,提交的最终值的排序列表。
-W exec=file --exec=file
与-f类似,但与他有两点不同,(我回头把相关文档上传,太长)
-W gen-po --gen-po
(内容太多)
-W help --help 打印帮助
-W lint[=fatal] --lint[=fatal]
警告可疑或不移植到其他的awk实现的结构
-W lint-old --lint-old
打印关于不能向传统unix平台移植的结构的警告
-W non-decimal-data --non-decimal-data
启用自动输入数据的解释,八进制和十六进制值
-W profile[=file] --profile[=file]
启用awk程序剖析
-W posix --posix
在严格意义上的POSIX模式运作。
-W re-interval --re-interval
允许间隔表达式在正则表达式上
-W source=program-text --source=program-text
-W traditional --traditional
传统的Unix awk的正则表达式匹配
-W usage --usage
-W use-lc-numeric --use-lc-numeric
解析数字输入时,强制使用的语言环境中的小数点字符
数据
-W version --version
提交错误报告请参考“gawk.info”中的“Bugs”页,它位于打印版本中的“Reporting
Problems and Bugs”一节
注意:gawk是awk的GNU版本,即使help ,在ubuntu下也需要先安装gawk
这回我们就不解读了,为了增加大家的信息和乐趣,先来点基本的:
部分特殊变量:
NR: 表示记录数量,在执行过程中对应于行号
NF:表示字段数量,在执行过程中对应于当前行的字段数
$0: 这个变量包含执行过程中当前行的文本内容
$1: 第一个字段的文本内容
$2: 第二个字段的文本内容
例子:
例1.
- echo -e "line1 f2 f3\nline2 f4 f5\nline3 f6 f7"|\#这个\是在窗口中写多行命令用的
- awk '{
- print "Line no:"NR",No of fields:"NF, "$0="$0,"$1="$1,"$2="$2,"$3="$3
- }'
小注一下:$1是打印第一个,$NF打印最后一个字段,$(NF-1)打印倒数第二个
例2.
- seq 5 | awk 'BEGIN{ sum=0;print "Summation:"}{print $1"+";sum+=1}END{print "==";print sum}'
这个例子用到了基本格式。
BEGIN中 初始化了sum,打印Summation
中间模块打印了第一列,然后给sum+1
END中打印了sum
例3. 关于-v 外部变量
- $ VAR=10000
- $echo | awk –v VARIABLE=$VAR'{print VARABLE}'
还有另一种灵活的方法可以将多个外部变量传递给awk,例如:
- $var1="value1" var2="value2"
- $echo | awk '{print v1,v2}' v1=$var1 v2=$var2
如果来自文件
- awk '{print v1,v2}' v1=$var1 v2=$var2 filename
例4
$awk 'NR < 5' #行号小于5
$awk 'NR==1,NR==4' #行号在1到5之间的行
$awk '/linux/' #包含样式linux的行(可以用正则表达式指定样式)
$awk '!/linux/' #不包含样式linux的行
AWK用法整理的更多相关文章
- grep,sed,awk用法整理
grep -c 打印出符合要求的行数 -i 忽略大小写 ignore -n 连同符号一起输出 num -v 打印出不符合要求的行 -A2 本行及下面两行 - ...
- 收集整理的awk用法小结
awk 用法:awk ‘ pattern {action} ‘ 变量名 含义 ARGC 命令行变元个数 ARGV 命令行变元数组 FILENAME 当前输入文件名 FNR 当前文件中的记录号 FS 输 ...
- CU社区shell板块awk十三问整理
CU社区shell板块awk十三问整理 一.RS="" 当 RS="" 时,会将\n强制加入到FS变量中,因为RS为空时,是将连续多空行作为分隔符,近似于\n\ ...
- linux学习:特殊符号,数学运算,图像与数组与部分终端命令用法整理
指令:let.expr.array.convert.tput.date.read.md5.ln.apt.系统信息 一:特殊符号用法整理 系统变量 $# 是传给脚本的参数个数 $0 是脚本本身的名字 $ ...
- awk 用法(使用入门)
转自:http://www.cnblogs.com/emanlee/p/3327576.html awk 用法:awk ' pattern {action} ' 变量名 含义 ARGC 命 ...
- awk用法小结(作者总结)
http://www.chinaunix.net/old_jh/24/691456.html http://wenku.baidu.com/view/ebac4fc658f5f61fb736664d. ...
- Spring JdbcTemplate用法整理
Spring JdbcTemplate用法整理: xml: <?xml version="1.0" encoding="UTF-8"?> <b ...
- sed和awk用法
sed和awk用法 Sed sed是一个很好的文件处理工具,本身是一个管道命令,主要是以行为单位进行处理,可以将数据行进行替换.删除.新增.选取等特定工作,下面先了解一下sed的用法sed命令行格式为 ...
- linq用法整理
linq用法整理 普通查询 var highScores = from student in students where student.ExamScores[exam] > score se ...
随机推荐
- 【转】每天一个linux命令(32):gzip命令
原文网址:http://www.cnblogs.com/peida/archive/2012/12/06/2804323.html 减少文件大小有两个明显的好处,一是可以减少存储空间,二是通过网络传输 ...
- linux 命令 随笔
1 查找命令 which (寻找执行档) :这个指令是根据PATH这个环境变量所规范的路径,去搜寻执行档的档名,所以,重点是找出执行档而已,which 后面接的是完整档名,也就说执行文件 wherei ...
- django模板里关闭特殊字符转换,在前端以html语法渲染
变量 pagination_html是一个方法返回的html代码,需要在前端渲染出来,不是当字符串显示 <!-- /.box-body --> {% autoescape off %} { ...
- Spring Cloud 入门 之 Config 篇(六)
原文地址:Spring Cloud 入门 之 Config 篇(六) 博客地址:http://www.extlight.com 一.前言 随着业务的扩展,为了方便开发和维护项目,我们通常会将大项目拆分 ...
- golang panic的捕获
panic发生时, 会导致进程挂掉.为了处理panic, 可以使用recover捕获,然后处理. 下面以下标引用越界问题为例进行说明. 正常情况下,代码中如果出现下标越界,会直接触发panic, 导致 ...
- Hibernate对substring和cast的支持问题
http://blog.sina.com.cn/s/blog_8acd9e4b0102uwev.html Hibernate对substring和cast的支持问题 问题:要比较日期的范围...这是只 ...
- 一些css杂项笔记
div[class*="col-"]{ background-color: gold; border: 1px solid #ccc; } //给class开头等于col-的div ...
- LINK : fatal error LNK1158: 无法运行“rc.exe”解决办法 and Visual Studio 2017 下载安装
LINK : fatal error LNK1158: 无法运行“rc.exe” 首先下载软件包:https://pan.baidu.com/s/1L1N1sikXUaZZd-9nmZnwjA 第一个 ...
- IIS 配置1
[转]HTTP 错误 401.2 - Unauthorized 由于身份验证头无效,您无权查看此页. IIS7.0解决办法 (2010-11-01 00:58:54) 原网址 http://blog. ...
- git 场景 :从一个分支cherry-pick多个commit
场景: 在branch1开发,进行多个提交,这是切换到branch2,想把之前branch1分支提交的commit都[复制]过来,怎么办? 首先切换到branch1分支,然后查看提交历史记录,也可以用 ...