printf "1:2::3:::4::::5" awk -F '[:]+' '{print $4}'

[:]+ 表示1个或多个 :(冒号)作为分隔符

ip  addr  |awk  -F  '[ ]+'  'NR==8  {print $3}' | awk -F  '/'  '{print $1}

NR==8  {print $3}   表示第8行的第3列 

cat haproxy.log-20170102 |sed -n '/Jan  1 14:00:00/,/Jan  1 14:05:00/p'|grep 'packet/index'|awk '{print $6}'|cut -d : -f1|sort| uniq -c |sort -k1,1nr|awk '{ SUM += $1 } END { print SUM }'  对第一个字段进行汇总求和

-------------------------------------------------------------

说明:

awk被设计用于数据流,能够对列和行进行操作。而sed更多的是匹配,进行替换和删除。
awk有很多内建的功能,比如数组,函数等。灵活性是awk的最大优势。

awk的结构
awk '
BEGIN{ print "start"} 
pattern { commands } 
END{ print "end"}'
file
为了偏于观看,我打了回车,实际上是一行

一个awk脚本通常是3部分
1. BEGIN语句块
2. 能够使用模式匹配的通用语句块
3. END语句块
他们任何一部分都可以不出现在脚本中。脚本通常包含在双引号或者单引号内。
例如:

  1. awk 'BEGIN{i=0}{i++}END{print i}' filename

工作原理

awk命令的工作方式如下:

1. 执行BEGIN{commands}语句块中的语句

2. 从文件或者stdin中读取一行,然后执行pattern{commands}. 迭代直到全部读取完毕

3. 最后执行END{commands}语句块

再次提醒,他们任何一部都可以没有

awk的功能也远不止如此

入门实例:

  1. echo | awk '{var1="v1";var2="v2";var3="v3"; print var1,var2,var3;}'
  2. 打印: v1 v2 v3

解释:逗号为定界符(分隔符)

  1. echo | awk '{var1="v1";var2="v2";var3="v3"; print var1"-"var2"-"var3;}'

打印v1-v2-v3

解释:双引号为连接符

其他任何符号,都不能正常输出v1,v2,v3

解读--help(一个非常庞大复杂的帮助文档,官方用了410页的篇幅PDF来介绍,如果我只言片语,你信我自己都不信。。)

用法: awk [POSIX 或 GNU 风格选项] -f 脚本文件 [--] 文件 ... 
用法: awk [POSIX 或 GNU 风格选项] [--] '程序' 文件 ... 
POSIX 选项:             GNU 长选项: 
    -f 脚本文件        --file=脚本文件 
    -F fs            --field-separator=fs
指定输入文本分隔符,fs是一个字符串或者是一个正则表达式, 
    -v var=val        --assign=var=val
将外部变量值付给var 
    -m[fr] val 
    -O            --optimize
启用一些优化程序的内部表示。 
    -W compat        --compat
在兼容模式下运行awk。所以gawk的行为和标准的awk完全一样,所有的awk扩展都被忽略。 
    -W copyleft        --copyleft
打印简短的版权信息 
    -W copyright        --copyright
打印短版的通用公共许可证,然后退出 
    -W dump-variables[=file]    --dump-variables[=file]
打印全局变量,其类型,提交的最终值的排序列表。 
    -W exec=file        --exec=file
与-f类似,但与他有两点不同,(我回头把相关文档上传,太长) 
    -W gen-po        --gen-po
(内容太多) 
    -W help            --help 打印帮助 
    -W lint[=fatal]        --lint[=fatal]
警告可疑或不移植到其他的awk实现的结构 
    -W lint-old        --lint-old
打印关于不能向传统unix平台移植的结构的警告 
    -W non-decimal-data    --non-decimal-data
启用自动输入数据的解释,八进制和十六进制值 
    -W profile[=file]    --profile[=file]
启用awk程序剖析 
    -W posix        --posix
在严格意义上的POSIX模式运作。 
    -W re-interval        --re-interval
允许间隔表达式在正则表达式上 
    -W source=program-text    --source=program-text 
    -W traditional        --traditional
传统的Unix awk的正则表达式匹配 
    -W usage        --usage 
    -W use-lc-numeric    --use-lc-numeric
解析数字输入时,强制使用的语言环境中的小数点字符 
数据
 -W version        --version
提交错误报告请参考“gawk.info”中的“Bugs”页,它位于打印版本中的“Reporting 
Problems and Bugs”一节

注意:gawk是awk的GNU版本,即使help ,在ubuntu下也需要先安装gawk


这回我们就不解读了,为了增加大家的信息和乐趣,先来点基本的:

部分特殊变量:

NR: 表示记录数量,在执行过程中对应于行号

NF:表示字段数量,在执行过程中对应于当前行的字段数

$0: 这个变量包含执行过程中当前行的文本内容

$1: 第一个字段的文本内容

$2: 第二个字段的文本内容

例子:

例1.

  1. echo -e "line1 f2 f3\nline2 f4 f5\nline3 f6 f7"|\#这个\是在窗口中写多行命令用的
  2. awk '{
  3. print "Line no:"NR",No of fields:"NF, "$0="$0,"$1="$1,"$2="$2,"$3="$3
  4. }'

小注一下:$1是打印第一个,$NF打印最后一个字段,$(NF-1)打印倒数第二个

例2.

  1. seq 5 | awk 'BEGIN{ sum=0;print "Summation:"}{print $1"+";sum+=1}END{print "==";print sum}'

这个例子用到了基本格式。

BEGIN中 初始化了sum,打印Summation

中间模块打印了第一列,然后给sum+1

END中打印了sum

例3. 关于-v 外部变量

  1. $ VAR=10000
  2. $echo | awk –v VARIABLE=$VAR'{print VARABLE}'

还有另一种灵活的方法可以将多个外部变量传递给awk,例如:

  1. $var1="value1" var2="value2"
  2. $echo | awk '{print v1,v2}' v1=$var1 v2=$var2

如果来自文件

  1. awk '{print v1,v2}' v1=$var1 v2=$var2 filename

例4

$awk 'NR < 5' #行号小于5

$awk 'NR==1,NR==4' #行号在1到5之间的行

$awk '/linux/' #包含样式linux的行(可以用正则表达式指定样式)

$awk '!/linux/' #不包含样式linux的行

AWK用法整理的更多相关文章

  1. grep,sed,awk用法整理

    grep -c 打印出符合要求的行数 -i 忽略大小写              ignore -n 连同符号一起输出          num -v 打印出不符合要求的行 -A2 本行及下面两行 - ...

  2. 收集整理的awk用法小结

    awk 用法:awk ‘ pattern {action} ‘ 变量名 含义 ARGC 命令行变元个数 ARGV 命令行变元数组 FILENAME 当前输入文件名 FNR 当前文件中的记录号 FS 输 ...

  3. CU社区shell板块awk十三问整理

    CU社区shell板块awk十三问整理 一.RS="" 当 RS="" 时,会将\n强制加入到FS变量中,因为RS为空时,是将连续多空行作为分隔符,近似于\n\ ...

  4. linux学习:特殊符号,数学运算,图像与数组与部分终端命令用法整理

    指令:let.expr.array.convert.tput.date.read.md5.ln.apt.系统信息 一:特殊符号用法整理 系统变量 $# 是传给脚本的参数个数 $0 是脚本本身的名字 $ ...

  5. awk 用法(使用入门)

    转自:http://www.cnblogs.com/emanlee/p/3327576.html awk 用法:awk ' pattern {action} '  变量名    含义 ARGC   命 ...

  6. awk用法小结(作者总结)

    http://www.chinaunix.net/old_jh/24/691456.html http://wenku.baidu.com/view/ebac4fc658f5f61fb736664d. ...

  7. Spring JdbcTemplate用法整理

    Spring JdbcTemplate用法整理: xml: <?xml version="1.0" encoding="UTF-8"?> <b ...

  8. sed和awk用法

    sed和awk用法 Sed sed是一个很好的文件处理工具,本身是一个管道命令,主要是以行为单位进行处理,可以将数据行进行替换.删除.新增.选取等特定工作,下面先了解一下sed的用法sed命令行格式为 ...

  9. linq用法整理

    linq用法整理 普通查询 var highScores = from student in students where student.ExamScores[exam] > score se ...

随机推荐

  1. svn知识点

    svn checkout [url] [dir]: 从版本库中检出代码到本地文件夹 svn status :查看当前工作副本的代码变更状态信息 svn diff [file]:比对工作副本与版本库之间 ...

  2. select选中事件

    <!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3.org/ ...

  3. Hadoop高级培训课程大纲-开发者版

    一.课程概述 本次培训课程主要面向大数据系统管理人员和开发设计人员,基于开源社区大数据应用最活跃的Hadoop和HBase技术框架,围绕分布式文件存储(HDFS).分布式并行计算(Map/Recue) ...

  4. bzoj2242 计算器

    Description 你被要求设计一个计算器完成以下三项任务: 1.给定y,z,p,计算Y^Z Mod P 的值: 2.给定y,z,p,计算满足xy≡ Z ( mod P )的最小非负整数: 3.给 ...

  5. hdu 1278 逃离迷宫

    逃离迷宫 Time Limit: 1000/1000 MS (Java/Others)    Memory Limit: 32768/32768 K (Java/Others)Total Submis ...

  6. 【用jersey构建REST服务】系列文章

    1.用Jersey构建RESTful服务1--HelloWorld http://blog.csdn.NET/kkkloveyou/article/details/21391033 2.用Jersey ...

  7. 接口测试3-4使用csv进行接口测试

    参照前面的例子 向URL发送corpid和corsecret2个参数,可以获取正确的tokenid https://qyapi.weixin.qq.com/cgi-bin/gettoken 数据 场景 ...

  8. (转!)大话websocket

    邪正看眼鼻,真假看嘴唇,功名看气概,富贵看精神. ---曾国藩<冰鉴> 转自https://www.cnblogs.com/fuqiang88/p/5956363.html 原文http: ...

  9. Windows 8的用户模式Shim Engine小探及利用

    转载: https://bbs.pediy.com/thread-175483.htm Windows Shim Engine,即Windows 兼容性模式实现引擎,在exe文件的属性对话框中有一个兼 ...

  10. ue4 多相机分屏与小地图效果实现教程

    转自:http://blog.csdn.net/shenmifangke/article/details/51940007  通过使用ue4的UI和rendertarget来实现 优点就是可以随意设置 ...