转shell中的awk用法详解
awk语言的最基本功能是在文件或字符串中基于指定规则浏览和抽取信息,awk抽取信息后,才能进行其他文本操作,完整的awk脚本通常用来格式化文本文件中的信息
调用awk:
第一种,命令行方式,如:awk [-F field-separator] 'commands' input-file(s)
这里commands是真正的awk命令,[-F域分隔符]是可选的,awk默认使用空格分隔,因此如果要浏览域间有空格的文本,不必指定这个选项,但如果浏览如passwd文件,此文件各域使用冒号作为分隔符,则必须使用-F选项: awk -F : 'commands' input-file
第二种,将所有awk命令插入一个文件,并使awk程序可执行,然后用awk命令解释器作为脚本的首行,以便通过键入脚本名称来调用它
第三种,将所有awk命令插入一个单独文件,然后调用: awk -f awk-script-file input-file
-f选项指明在文件awk-script-file的awk脚本,input-file是使用awk进行浏览的文件名
awk脚本:
awk脚本由各种操作和模式组成,根据分隔符(-F选项),默认为空格,读取的内容依次放置到对应的域中,一行一行记录读取,直到文件尾
模式和动作:任何awk语句都是由模式和动作组成,在一个awk脚本中可能有许多语句。模式部分决定动作语句何时触发及触发事件。动作即对数据进行的操作,如果省去模式部分,动作将时刻保持执行状态
模式可以是任何条件语句或复合语句或正则表达式,模式包含两个特殊字段BEGIN和END,使用BEGIN语句设置计数和打印头,BEGIN语句使用在任何文本浏览动作之前,之后文本浏览动作依据输入文件开始执行;END语句用来在awk完成文本浏览动作后打印输出文本总数和结尾状态标志,有动作必须使用{}括起来
实际动作在大括号{}内指明,常用来做打印动作,但是还有更长的代码如if和循环looping语句及循环退出等,如果不指明采取什么动作,awk默认打印出所有浏览出的记录
域和记录:
awk执行时,其浏览标记为$1,$2...$n,这种方法称为域标记.使用$1,$3表示参照第1和第3域,注意这里使用逗号分隔域,使用$0表示使用所有域
例:awk '{print $0}' temp.txt > sav.txt 表示打印所有域并把结果重定向到sav.txt中
awk '{print $0}' temp.txt|tee sav.txt 和上例相似,不同的是将在屏幕上显示出来
awk '{print $1,$4}' temp.txt 只打印出第1和第4域
awk 'BEGIN {print "NAME GRADE/n-------------"} {print $1"/t"$4}' temp.txt
表示打信息头,即输入的内容的第一行前加上"NAME GRADE/n-------------",同时内容以tab分开
awk 'BEGIN {print "being"} {print $1} END {print "end"}' temp 同时打印信息头和信息尾
条件操作符:
<、<=、==、!=、>=、~匹配正则表达式、!~不匹配正则表达式
匹配:awk '{if ($4~/ASIMA/) print $0}' temp 表示如果第四个域包含ASIMA,就打印整条
awk '$0 ~ /ASIMA/' temp 表示只要整条包含ASIMA就打印出来
精确匹配:awk '$3=="48" {print $0}' temp 只打印第3域等于"48"的记录
不匹配: awk '$0 !~ /ASIMA/' temp 打印整条不包含ASIMA的记录
不等于: awk '$1 != "asima"' temp
小于: awk '{if ($1<$2) print $1 "is smaller"}' temp
设置大小写: awk '/[Gg]reen/' temp 打印整条包含Green,或者green的记录
任意字符: awk '$1 ~/^...a/' temp 打印第1域中第四个字符是a的记录,^行首,.任意字符
或关系匹配: awk '$0~/(abc)|(efg)/' temp 使用|时,语句需要括起来
AND与关系: awk '{if ( $1=="a" && $2=="b" ) print $0}' temp
OR或关系: awk '{if ($1=="a" || $1=="b") print $0}' temp
awk内置变量:
ARGC 命令行参数个数 AGRV 命令行参数排列 ENVIRON 支持队列中系统环境变量的使用
FILENAME awk浏览的文件名 FNR 浏览文件的记录数 FS 设置输入域分隔符,同- F选项
NF 浏览记录的域个数 NR 已读的记录数 OFS 输出域分隔符
ORS 输出记录分隔符 RS 控制记录分隔符
例: awk 'END {print NR}' temp 在最后打印已读记录条数
awk '{print NF,NR,$0} END {print FILENAME}' temp
awk '{if (NR>0 && $4~/Brown/) print $0}' temp 至少存在一条记录且包含Brown
NF的另一用法: echo $PWD | awk -F/ '{print $NF}' 显示当前目录名
awk操作符:
在awk中使用操作符,基本表达式可以划分成数字型、字符串型、变量型、域及数组元素
设置输入域到变量名:
awk '{name=$1;six=$3; if (six=="man") print name " is " six}' temp
域值比较操作:
awk 'BEGIN {BASE="27"} {if ($4<BASE) print $0}' temp
修改数值域取值:(原输入文件不会被改变)
awk '{if ($1=="asima") $6=$6-1;print $1,$6,$7}' temp
修改文本域:
awk '{if ($1=="asima) ($1=="desc");print $1}' temp
只显示修改记录:(只显示所需要的,区别上一条命令,注意{})
awk '{if ($1=="asima) {$1=="desc";print$1}}' temp
创建新的输出域:
awk '{$4=$3-$2; print $4}' temp
统计列值:
awk '(tot+=$3);END {print tot}' temp 会显示每列的内容
awk '{(tot+=$3)};END {print tot}' temp 只显示最后的结果
文件长度相加:
ls -l|awk '/^[^d]/ {print $9"/t"$5} {tot+=$5} END{print "totKB:" tot}'
只列出文件名:
ls -l|awk '{print $9}' 常规情况文件名是第9域
awk内置字符串函数:
gsub(r,s) 在整个$0中用s替代r
awk 'gsub(/name/,"xingming") {print $0}' temp
gsub(r,s,t) 在整个t中用s替代r
index(s,t) 返回s中字符串t的第一位置
awk 'BEGIN {print index("Sunny","ny")}' temp 返回4
length(s) 返回s的长度
match(s,r) 测试s是否包含匹配r的字符串
awk '$1=="J.Lulu" {print match($1,"u")}' temp 返回4
split(s,a,fs) 在fs上将s分成序列a
awk 'BEGIN {print split("12#345#6789",myarray,"#")"'
返回3,同时myarray[1]="12", myarray[2]="345", myarray[3]="6789"
sprint(fmt,exp) 返回经fmt格式化后的exp
sub(r,s) 从$0中最左边最长的子串中用s代替r(只更换第一遇到的匹配字符串)
substr(s,p) 返回字符串s中从p开始的后缀部分
substr(s,p,n) 返回字符串s中从p开始长度为n的后缀部分
printf函数的使用:
字符转换: echo "65" |awk '{printf "%c/n",$0}' 输出A
awk 'BEGIN {printf "%f/n",999}' 输出999.000000
格式化输出:awk '{printf "%-15s %s/n",$1,$3}' temp 将第一个域全部左对齐显示
其他awk用法:
向一行awk命令传值:
awk '{if ($5<AGE) print $0}' AGE=10 temp
who | awk '{if ($1==user) print $1 " are in " $2 ' user=$LOGNAME 使用环境变量
awk脚本命令:
开头使用 !/bin/awk -f ,如果没有这句话自含脚本将不能执行,例子:
- !/bin/awk -f
- # all comment lines must start with a hash '#'
- # name: student_tot.awk
- # to call: student_tot.awk grade.txt
- # prints total and average of club student points
- # print a header first
- BEGIN
- {
- print "Student Date Member No. Grade Age Points Max"
- print "Name Joined Gained Point Available"
- print "================================================================="
- }
- # let's add the scores of points gained
- (tot+=$6);
- # finished processing now let's print the total and average point
- END
- {
- print "Club student total points :" tot
- print "Average Club Student points :" tot/N
- }
awk数组:
awk的循环基本结构 For (element in array) print array[element]
awk 'BEGIN {record="123#456#789";split(record,myarray,"#")}
END { for (i in myarray) {print myarray[i]} }
转shell中的awk用法详解的更多相关文章
- (转)Shell中read的用法详解
Shell中read的用法详解 原文:http://blog.csdn.net/jerry_1126/article/details/77406500 read的常用用法如下: read -[pstn ...
- shell编程之awk命令详解
shell编程之awk命令详解 a:focus { outline: thin dotted #333; outline: 5px auto -webkit-focus-ring-color; out ...
- (转)linux 中特殊符号用法详解
linux 中特殊符号用法详解 原文:https://www.cnblogs.com/lidabo/p/4323979.html # 井号 (comments)#管理员 $普通用户 脚本中 #!/b ...
- (转)shell中test命令方法详解
test命令用法.功能:检查文件和比较值 shell中test命令方法详解 原文:https://www.cnblogs.com/guanyf/p/7553940.html 1)判断表达式 if te ...
- C#中string.format用法详解
C#中string.format用法详解 本文实例总结了C#中string.format用法.分享给大家供大家参考.具体分析如下: String.Format 方法的几种定义: String.Form ...
- c++中vector的用法详解
c++中vector的用法详解 vector(向量): C++中的一种数据结构,确切的说是一个类.它相当于一个动态的数组,当程序员无法知道自己需要的数组的规模多大时,用其来解决问题可以达到最大节约空间 ...
- php中setcookie函数用法详解(转)
php中setcookie函数用法详解: php手册中对setcookie函数讲解的不是很清楚,下面是我做的一些整理,欢迎提出意见. 语法: bool set ...
- JavaScript中return的用法详解
JavaScript中return的用法详解 最近,跟身边学前端的朋友了解,有很多人对函数中的this的用法和指向问题比较模糊,这里写一篇博客跟大家一起探讨一下this的用法和指向性问题. 1定义 t ...
- Mysql中limit的用法详解
Mysql中limit的用法详解 在我们使用查询语句的时候,经常要返回前几条或者中间某几行数据,为我们提供了limit这样一个功能. SELECT * FROM table LIMIT [offset ...
随机推荐
- iOS程序执行顺序 AppDelegate及 UIViewController 的生命周期
iOS程序的启动执行顺序 AppDelegate 及 UIViewController 的生命周期 iOS应用程序的状态切换很重要,而UIViewControler对于iOS这种MVC模式来说尤为重要 ...
- 【转】树莓派Raspberry Pi - 还原已经装过系统的TF卡
想给树莓派换个系统的话,需要先把已经装过系统的TF卡进行还原,这里使用最简单粗暴无脑的方法: 1,下载安装Win32 Disk Imager(一般已经装过一次系统后,这个东西都有) 2,下载boots ...
- 【ARC079F】Namori Grundy
Description 题目链接 大意:给一张基环外向树.要求给每一个点确定一个值,其值为所有后继点的\(\text{mex}\).求是否存在确定权值方案. Solution 首先,对于叶子节点,其权 ...
- java绘图合并图像AlphaComposite模式测试
package com.hdwang.test; import javax.swing.*; import javax.swing.event.ChangeEvent; import javax.sw ...
- 伤不起:File.toPath() & Paths.get()
java.nio.file.Path这个类应该是从java7才开始有的. 通过File类有两个方法可以转换成Path. 1. Path p = Paths.get(file.toURI()); // ...
- C++11 & C++14 & C++17新特性
C++11:C++11包括大量的新特性:包括lambda表达式,类型推导关键字auto.decltype,和模板的大量改进. 新的关键字 auto C++11中引入auto第一种作用是为了自动类型推导 ...
- mybatis+sqlserver中返回非自增主键
首先把实体类贴出来(这里只贴出属性,其它的就是getter和setter方法): public class Around { private String xccd; //对应主键 ...
- jquery使用ajax
前端jquery使用ajax的几种方法: $.ajax使用: $.ajax({ url:'/test_ajax', #发送url data:{a:,b:,csrfmiddlewaretoken:'{{ ...
- 2018年11月25日ICPC焦作站参赛总结
可能就这么退役了吧. 对这次ICPC还是比较有信心的,毕竟心态都放平和了. 路途很波折,热身赛还是赶上了. 等到了正赛的时候,开场看出了A题的签到,签到肯定是我来签的,11分钟签完了这道题之后,开始看 ...
- c++刷题(39/100)笔试题3
题目1: 现在你需要用一台奇怪的打字机书写一封书信.信的每行只能容纳宽度为100的字符,也就是说如果写下某个字符会导致行宽超过100,那么就要另起一行书写 信的内容由a-z的26个小写字母构成,而每个 ...