第10章:awk进阶操作
第10章:awk进阶操作
在第4章:查找与替换简单的讲解了awk的使用,本章介绍详细讲解awk的使用。awk是一个强大的文本分析工具,简单的说awk就是把文件逐行的读入,
以空格为默认分隔符将每行切片,切开的部分再进行各种分析处理。在shell脚本中文本处理功能awk功能其强大。
7.1、awk命令形式
awk命令在shell脚本基本形式通常由四部分组成: [-F|-f|-v] (参数选项)、BEGIN语句块(初始化代码块)、pattern{commadns}(能够使用模式匹配的通用语句块)、END语句块(结束代码块),这四部分是可选择的,任意一部分都可以不出现在脚本中,后面三部分通常是被单引号或双引号括起来,awk命令形式如下所示:
awk [-F|-f|-v] ‘BEGIN{ commands } /pattern/{ commands } END{ commands}’ filename
四部分分别代表意义:
[-F|-f|-v] 参数选项:-F指定分隔符,-f调用脚本,-v定义变量 如var=value。
BEGIN{ commands } 初始化代码块:在对第一行进行处理之前,初始化代码,主要是引用全局变量,设置FS分隔符。
/pattern/{ commands } 匹配代码块和命令代码块:/pattern/匹配代码块,pattern可以是字符串或正则表达式;{ commands } 命令代码块,commadns可包含一条或多条命令。
END{ commands } 结尾代码块:在对每一行进行处理之后再执行的代码块,主要是进行最终的计算或输出结尾摘要信息。
awk工作原理:
第一步:执行BEGIN{ commands }语句块中的语句,可以选择[-F|-f|-v]参数选项一起执行。
第二步:从文件或标准输入(stdin)读取一行,然后执行/pattern/{ commands }语句块,它逐行扫描文件,从第一行到最后一行重复这个过程,直到文件全部被读取完毕。
第三步:当读至输入流末尾时,执行END{ commands }语句块。
BEGIN语句块在awk开始从输入流中读取行之前被执行,比如变量初始化、打印输出表格的表头等语句通常可以写在BEGIN语句块中,可以选择[-F|-f|-v]参数选项一起使用,这两部分是可选的。
pattern语句块中的通用命令是最重要的部分,它也是可选的。如果没有提供/pattern/语句块,则默认执行{ commands },即打印每一个读取到的行,awk读取的每一行都会执行该语句块。
END语句块在awk从输入流中读取完所有的行之后即被执行,比如打印所有行的分析结果这类信息汇总都是在END语句块中完成,它也是可选的。
范例:以#号为分格符,分别输出两行,$1代表第一个字段,$2代表第二个字段。
[root@cloucentos6 ~]# echo -e "A line 1#A line 2" | awk -F "#" 'BEGIN{ print "Start" } {print $1 "\n" $2} END{ print "End" }'
Start
A line 1
A line 2
End
7.2、awk内置变量
awk有许多内置变量用来设置环境信息,这些变量可以被改变,下面给出了最常用的一些变量。如下图所示:
举例:
Linux系统创建了一个测试文本list,后续部分范例操作会以文本list为测试文件,测试文本list内容如下:
[root@cloucentos6 home]# cat list
John Daggett, 341 King Road, Plymouth MA
Alice Ford, 22 EAST Broadway, Richmond VA
Orville Thomas, 11345 Oak Bridge Road, Tulsa OK
Terry Kalkas, 402 Lans Road, Beaver Falls PA
Eric Adams, 20 Post Road, Sudbury MA
Hubert Sims, 328A Brook Road, Roanoke VA
Amy Wilde, 334 Bayshore Pkwy, Mountain View CA
Sal Carpenter, 73 6th Street, Boston MA
范例1:$1显示第一列,awk如果没有指定分界符,默认以空格或制表符为分界符。
[root@cloucentos6 home]# awk '{print $1}' list
John
Alice
Orville
Terry
Eric
Hubert
Amy
Sal
知识点补充:$2代表第二列,以此类推,如果是$10以上,不能直接使用$10需要加上括号如:$(10)
范例2:$0输出当前文本内容。
[root@cloucentos6 home]# awk '{print $0}' list
John Daggett, 341 King Road, Plymouth MA
Alice Ford, 22 EAST Broadway, Richmond VA
Orville Thomas, 11345 Oak Bridge Road, Tulsa OK
Terry Kalkas, 402 Lans Road, Beaver Falls PA
Eric Adams, 20 Post Road, Sudbury MA
Hubert Sims, 328A Brook Road, Roanoke VA
Amy Wilde, 334 Bayshore Pkwy, Mountain View CA
Sal Carpenter, 73 6th Street, Boston MA
范例3:使用NR统计文本中的行数,打印指定的行和列。
[root@cloucentos6 home]# awk '{print NR}' list
1
2
3
4
5
6
7
8
[root@cloucentos6 home]# awk 'END{print NR}' list
8
[root@cloucentos6 home]# nl list | awk 'NR==3{print}'
3 Orville Thomas, 11345 Oak Bridge Road, Tulsa OK
[root@cloucentos6 home]# nl list | awk 'NR==3{print $2}'
Orville
范例4:”/ /”模式,主要用于匹配正则表达式
[root@cloucentos6 home]# awk '/MA/' list
John Daggett, 341 King Road, Plymouth MA
Eric Adams, 20 Post Road, Sudbury MA
Sal Carpenter, 73 6th Street, Boston MA
[root@cloucentos6 home]# awk '/MA/ {print $1}' list
John
Eric
Sal
范例5:选项 –F 指定字段的分隔符
[root@cloucentos6 home]# awk -F ',' '{print $1 $2}' list
John Daggett 341 King Road
Alice Ford 22 EAST Broadway
Orville Thomas 11345 Oak Bridge Road
Terry Kalkas 402 Lans Road
Eric Adams 20 Post Road
Hubert Sims 328A Brook Road
Amy Wilde 334 Bayshore Pkwy
Sal Carpenter 73 6th Street
[root@cloucentos6 home]# awk -F ',' '{print $1;print $2}' list
John Daggett
341 King Road
Alice Ford
22 EAST Broadway
Orville Thomas
11345 Oak Bridge Road
Terry Kalkas
402 Lans Road
Eric Adams
20 Post Road
Hubert Sims
328A Brook Road
Amy Wilde
334 Bayshore Pkwy
Sal Carpenter
73 6th Street
知识点补充:多重命令使用分号隔开。
范例6:选项 –f 直接调用脚本或文本里的内容
[root@cloucentos6 home]# cat filename
/MA/{print "第" NR "行:" "内容:" $0}
[root@cloucentos6 home]# awk -f filename list
第1行:内容:John Daggett, 341 King Road, Plymouth MA
第5行:内容:Eric Adams, 20 Post Road, Sudbury MA
第8行:内容:Sal Carpenter, 73 6th Street, Boston MA
范例7:内置变量NF,NF显示文本每一行的字段数量,$NF显示文本最后一列。
[root@cloucentos6 home]# awk '{print $NF}' list
MA
VA
OK
PA
MA
VA
CA
MA
[root@cloucentos6 home]# awk '{print NF}' list
7
7
8
8
7
7
8
7
范例8:借助-v选项,可以将变量的值传递给awk,有两种传递方法。
方法一:
[root@cloucentos6 home]# cat test.sh
#!/bin/bash
var=1000
echo | awk -v vartable=$var '{print vartable}'
[root@cloucentos6 home]# ./test.sh
1000
方法二:
[root@cloucentos6 home]# cat test.sh
#!/bin/bash
var1=1000
var2=2000
echo | awk '{print v1,v2}' v1=$var1 v2=$var2
[root@cloucentos6 home]# ./test.sh
1000 2000
范例9:向脚本传递参数
[root@cloucentos6 home]# cat test.sh
#!/bin/bash
#在awk命令中$1代表输入行的第一列字段,而在shell脚本中$1代表命令行提供的第一个参数
#把shell脚本$1第一个参数赋值给var,再将var赋值给awk$1第一列字段
awk '$1=var' var=$1 list
[root@cloucentos6 home]# ./test.sh ABC
ABC Daggett, 341 King Road, Plymouth MA
ABC Ford, 22 EAST Broadway, Richmond VA
ABC Thomas, 11345 Oak Bridge Road, Tulsa OK
ABC Kalkas, 402 Lans Road, Beaver Falls PA
ABC Adams, 20 Post Road, Sudbury MA
ABC Sims, 328A Brook Road, Roanoke VA
ABC Wilde, 334 Bayshore Pkwy, Mountain View CA
ABC Carpenter, 73 6th Street, Boston MA
范例10:awk命令嵌套if判断语句和for循环语句。
###判断当前文件和目录大于500字节的文件打印出文件和大小
[root@cloucentos6 home]# ls -l | awk '{if (($5>=500)) print "\n" "文件: " $9 "\n" "大小: " $5 "B" "\n"}'
文件: lost+found
大小: 16384B
###判断当前目录文本大于300字节的文件打印出文件和大小
[root@cloucentos6 home]# ls -l | awk '{if (( $5>=300 && /^-/ )) print "\n" "文本: " $9 "\n" "大小: " $5 "B" "\n"}'
文本: list
大小: 341B
文本: list.bak
大小: 341B
#把abcde字符串按顺序逐个输出
[root@cloucentos6 home]# echo "abcde" | awk -F '' '{for(i=1;i<=NF;i++) print $i}'
a
b
c
d
e
[root@cloucentos6 home]# echo "abcde" | awk -F '' '{for(i=NF;i>=1;i--) print $i}'
e
d
c
b
a
范例11:awk命令提供两个函数用于完成字符串大小写转换,函数为小写tolower()和大写toupper()。
[root@cloucentos6 home]# awk '{print tolower($0)}' list
john daggett, 341 king road, plymouth ma
alice ford, 22 east broadway, richmond va
orville thomas, 11345 oak bridge road, tulsa ok
terry kalkas, 402 lans road, beaver falls pa
eric adams, 20 post road, sudbury ma
hubert sims, 328a brook road, roanoke va
amy wilde, 334 bayshore pkwy, mountain view ca
sal carpenter, 73 6th street, boston ma
[root@cloucentos6 home]# awk '{print toupper($0)}' list
JOHN DAGGETT, 341 KING ROAD, PLYMOUTH MA
ALICE FORD, 22 EAST BROADWAY, RICHMOND VA
ORVILLE THOMAS, 11345 OAK BRIDGE ROAD, TULSA OK
TERRY KALKAS, 402 LANS ROAD, BEAVER FALLS PA
ERIC ADAMS, 20 POST ROAD, SUDBURY MA
HUBERT SIMS, 328A BROOK ROAD, ROANOKE VA
AMY WILDE, 334 BAYSHORE PKWY, MOUNTAIN VIEW CA
SAL CARPENTER, 73 6TH STREET, BOSTON MA
范例12:awk命令提供一个统计字符串长度的函数length()。
[root@cloucentos6 home]# echo "abcde" | awk '{print length($0)}'
5
[root@cloucentos6 home]# echo "abcde" | awk -F '' '{print NF}'
5
[root@cloucentos6 home]# echo "abcde" | wc -L
5
[root@cloucentos6 home]# cat test.sh
#!/bin/bash
var="abcde"
echo ${#var}
[root@cloucentos6 home]# ./test.sh
5
第10章:awk进阶操作的更多相关文章
- 第10章:MongoDB-CRUD操作--文档--修改--修改器
① $set:进行内容的重新设置 语法:{"$set" : {"成员" : "新内容"}}: 范例:将年龄是20岁的人的成绩修改为89 db ...
- 第11章:sed进阶操作
第11章:sed进阶操作 sed是一个很好的文件处理工具,本身是一个管道命令,主要是以行为单位进行处理,可以将数据行进行替换.删除.新增.选取等特定工作,下面先了解一下sed的用法 sed命令行格式为 ...
- Linux就这个范儿 第10章 生死与共的兄弟
Linux就这个范儿 第10章 生死与共的兄弟 就说Linux系统的开机.必须经过加载BIOS.读取MBR.Boot Loader.加载内核.启动init进程并确定运行等级.执行初始化脚本.启动内核模 ...
- 第10章 系统级I/O
第10章 系统级I/O 10.1 Unix I/O 一个Unix文件就是一个m个字节的序列:B0,B1,…,BK,…,Bm-1 Unix I/O:一种将设备优雅地映射为文件的方式,允许Unix内核引出 ...
- 高性能Linux服务器 第10章 基于Linux服务器的性能分析与优化
高性能Linux服务器 第10章 基于Linux服务器的性能分析与优化 作为一名Linux系统管理员,最主要的工作是优化系统配置,使应用在系统上以最优的状态运行.但硬件问题.软件问题.网络环境等 ...
- [原创]Scala学习:数组的基本操作,数组进阶操作,多维数组
1.Scala中提供了一种数据结构-数组,其中存储相同类型的元素的固定大小的连续集合.数组用于存储数据的集合,但它往往是更加有用认为数组作为相同类型的变量的集合 2 声明数组变量: 要使用的程序的数组 ...
- JavaScript高级程序设计(第三版)学习笔记8、9、10章
第8章,BOM BOM的核心对象是window,具有双重角色,既是js访问浏览器的一个接口,又是ECMAScript规定的Global对象.因此,在全局作用域中声明的函数.变量都会变成window对象 ...
- Django中的ORM进阶操作
Django中的ORM进阶操作 Django中是通过ORM来操作数据库的,通过ORM可以很easy的实现与数据库的交互.但是仍然有几种操作是非常绕也特别容易混淆的.于是,针对这一块,来一个分类总结吧. ...
- 《Android开发艺术探索》读书笔记 (10) 第10章 Android的消息机制
第10章 Android的消息机制 10.1 Android消息机制概述 (1)Android的消息机制主要是指Handler的运行机制,其底层需要MessageQueue和Looper的支撑.Mes ...
随机推荐
- 【Cmd】批处理
小续 看了下时间,10年写的了 批处理是个很强大的东西,现在任何一个工具都包含这个功能,只是被工具给封闭起来了 怀念下dos时代的批处理啊 rem即高级语言中的注释的意思,能看懂每个程序的作用了吧 @ ...
- Java套接字Socket编程--TCP参数
在Java的Socket中,主要包含了以下可设置的TCP参数. 属性 说明 默认值 SO_TIMEOUT 对ServerSocket来说表示等待连接的最长空等待时间; 对Socket来说表示读数据最长 ...
- Android NDK之一:什么是NDK?
转:http://blog.csdn.net/xiruanliuwei/article/details/7560798 What is the NDK? The Android NDK is a to ...
- Java后端测试概述
[本文出自天外归云的博客园] 多种单测技术 1. 要学会Spring MVC/Boot测试中自带的mock方法. 2. 学会junit中的方法,对于注解的使用等. 3. 学会使用结合第三方Mockit ...
- Pythonic版二分查找
[本文出自天外归云的博客园] 前提:升序数组,待查元素在数组中. 二分查找:就是一个递归函数c.待查元素a,当前数组中位数b,如果b=a则返回b的索引,b>a则在b左侧的子数组中调用函数c,否则 ...
- cf 366D D. Dima and Trap Graph (计算所有线段共同覆盖的某段区间)
http://codeforces.com/problemset/problem/366/D 题意:给出n个点,m条边,a,b,ll,rr分别代表点a,点b相连,点a和点b的区间范围(ll,rr),然 ...
- C#学习笔记(28)——匿名委托和Lambda表达式
说明(2017-11-21 18:51:32): 1. 例子为求1~100的和,答案应该是5050(小学学算盘的时候,我爹就让我算,从1拨到100是多少呀?当时的我年幼无知,还不知道高斯小时候的故事, ...
- 面试问卷-java&Oracle
东方国信 - 软件开发人员面试问卷(ver1.001.002) 1. 通用编程知识问卷(所有编程人员必做)... 1 1.1 SQL问卷... 1 1.2 翻译... 2 2 ...
- 11月Android笔记
不知不觉又过了两个月了,过的够呛.新收获:百度云,视频直播,sqlite加密,lucene,SlidingPaneLayout. 我发现只要你有心,你期望的事情会接踵而来(不包括爱情= =) 上个游戏 ...
- [转]使用Navicat导入导出数据库表
原文地址:https://blog.csdn.net/anselandevil/article/details/81667199 步骤1:数据中原始数据如下: 点击表,右键选择导出向导,选择导出为sq ...