1、AWK介绍

(1)AWK概述

AWK是一种处理文本文件的语言,是一个强大的文本分析工具。

AWK可以看成一门独立的语言,它拥有语言的基本特征,换句话说AWK可以写出极其繁琐和复杂的程序,AWK的语法比Shell的语法还难以接收。但绝大多数情况下,我们并不需要用AWK写过于复杂的东西,建议能用Shell处理的需求就不用AWK来解决。

当用AWK处理需求远要比Shell处理简单的多的时候,我们就用AWK来解决。

AWK也是用来截取列信息的,它比Shell中的cut命令更先进,比如对空格作为分隔符的处理。

(2)printf格式化输出

在学习AWK之前,我们要先学习一下printf格式化输出命令,这个命令是AWK基本输出中必须要用到的一个命令。

AWK的标准输出支持print命令和printf命令,这两个命令在AWK当中基本作用是一样的,但是Linux命令中只支持printf命令,如下:

# 在Linux中执行print命令和printf命令

[root@192 ~]# print
# 报错命令没有找到
-bash: print: command not found [root@192 ~]# printf
# 提示你命令格式写错了
printf: usage: printf [-v var] format [arguments]

我们可以看到Linux系统中只支持printf命令,所以我们这里就先学习一下printf命令。

(3)printf命令说明

[root@localhost ~]# printf '输出类型输出格式' 输出内容

输出类型:
%ns:输出字符串。n是数字指输出几个字符。
%ni:输出整数。n是数字指输出几个数字。
%m.nf:输出浮点数。m和n是数字,指输出的总位数和小数位数。如%8.2f代表共输出8位数,其中2位是小数,6位是整数。 输出格式:
\a:输出警告声音。
\b:输出退格键,也就是Backspace键。
\f:清除屏幕。
\n:换行。
\r:回车,也就是Enter键。
\t:水平输出退格键,也就是Tab键
\v:垂直输出退格键,也就是Tab键。

练习,使用如下文本:

ID      Name    Python  Linux   MySQL   Java
1 Tangs 88 87 86 85.55
2 Sunwk 99 98 97 96,66
3 Zhubj 77 76 75 74.44
4 Shahs 66 65 64 63.33

执行printf命令:

[root@localhost tmp]# printf '%s' $(cat student.txt)

说明:printf命令后是没有办法直接写参数的,也就是不能直接加文件名来读取文件的内容,printf命令支持的是其他命令结果的输出,交给printf命令来处理。所以说printf命令很少单独使用,一般都放在AWK当中来使用,这样更加合理,否则就和上边一样,看起来很难受。

结果:

[root@localhost tmp]# printf '%s' $(cat student.txt)
IDNamePythonLinuxMySQLJava1Tangs88878685.552Sunwk99989796,663Zhubj77767574.444Shahs66656463.33[root@192 tmp]#

我们可以看到上面的结果非常的烂,他是把所有的内容一个字符紧接着一个字符的输出,中间没有空格或者回车。

这就是printf命令,如果不指定输出的格式,则会把所有输出内容连在一起输出。其实文本的输出本身就是这样的,cat等文本输出命令之所以可以按照漂亮的格式输出,那是因为cat命令已经设定了输出格式。

那么为了让printf输出合理的格式,就需要手动自定义自己需要的格式。

printf '%s\t %s\t %s\t %s\t %s\t %s\t \n' $(cat student.txt)

说明:就是输出一个字符串(%s),后边加上一个制表符(tab键)隔开(\t),这样一共有6列,写6个%s\t,然后每一行最后加上一个回车(\n)。

执行命令结果如下:

[root@localhost tmp]# printf '%s\t %s\t %s\t %s\t %s\t %s\t \n' $(cat student.txt)
ID Name Python Linux MySQL Java
1 Tangs 88 87 86 85.55
2 Sunwk 99 98 97 96.66
3 Zhubj 77 76 75 74.44
4 Shahs 66 65 64 63.33

注意:'%s\t %s\t %s\t %s\t %s\t %s\t \n'中的空格是没有意思的,写多少都行,只是方便自己看,printf命令,只认\n \t等输出格式。

如果不想把成绩当成字符串输出,而是按照整型和浮点型输出,执行如下命令:

[root@192 tmp]# printf '%i\t %s\t %i\t %i\t %i\t %8.2f\t \n' $(cat student.txt | grep -v "Name")
1 Tangs 88 87 86 85.55
2 Sunwk 99 98 97 96.66
3 Zhubj 77 76 75 74.44
4 Shahs 66 65 64 63.33

这个例子不是很好,但一定要把标题顾虑掉,否则会出现如下效果,标题都被变成了整型数据。

[root@localhost tmp]# printf '%i\t %s\t %i\t %i\t %i\t %8.2f\t \n' $(cat student.txt)
-bash: printf: ID: invalid number
-bash: printf: Python: invalid number
-bash: printf: Linux: invalid number
-bash: printf: MySQL: invalid number
-bash: printf: Java: invalid number
0 Name 0 0 0 0.00
1 Tangs 88 87 86 85.55
2 Sunwk 99 98 97 96.66
3 Zhubj 77 76 75 74.44
4 Shahs 66 65 64 63.33

2、AWK的基本使用

(1)AWK命令说明

[root@localhost ~]# awk '条件1{动作1} 条件2{动作2} ...' 文件名

条件(Pattern):
一般使用关系表达式作为条件。这些关系表达式非常多,具体看下面一点。
简单举例:
x>10:判断变量x是否大于10。
x==y:判断变量x是否等于变量y 。
A~B:判断字符串A中是否包含能匹配B表达式的子字符串。
A!~B:判断字符串A中是否不包含能匹配B表达式的子字符串。 动作(Action):
格式化输出。
流程控制语句。

提示:先判断条件是否成立,在进行对应动作。可以没有条件直接写动作,如果没有条件,则直接执行动作。

(2)AWK命令使用

1)基本使用

使用如下文本:

ID      Name    Python  Linux   MySQL   Java
1 Tangs 88 87 86 85.55
2 Sunwk 99 98 97 96,66
3 Zhubj 77 76 75 74.44
4 Shahs 66 65 64 63.33

执行命令:awk '{printf $2 "\t" $3 "\t" $6 "\t" "\n"}' student.txt

结果:

[root@localhost tmp]# awk '{printf $2 "\t" $3 "\t" $6 "\t" "\n"}' student.txt
Name Python Java
Tangs 88 85.55
Sunwk 99 96.66
Zhubj 77 74.44
Shahs 66 63.33

说明:

  • AWK的动作条件是需要用单引号括起来的,所以在动作条件中的printf命令中定义的输出格式时,单引号就需要改换成双引号了,这里要注意。
  • 没有条件就是每一行都处理。
  • AWK的主要动作就是用printf命令来输出的。
  • AWK中可以直接添加文本文件,来获取文件中所需内容。

这里在补充一下print命令和printf命令用法差不多,print命令自带换行符,但是Linux系统不支持print命令。

# 使用`print`命令就不需要加上\n换行符了。
[root@localhost tmp]# awk '{print $2 "\t" $3 "\t" $6 "\t"}' student.txt
Name Python Java
Tangs 88 85.55
Sunwk 99 96.66
Zhubj 77 74.44
Shahs 66 63.33

2)处理分隔符是空格的情况

看磁盘情况的df命令的结果中,数据之间的分隔符是空格,用cut命令是处理不了的。

如下:

# 查看磁盘情况
[root@localhost tmp]# df -h
Filesystem Size Used Avail Use% Mounted on
/dev/sda3 19G 2.1G 16G 12% /
tmpfs 491M 0 491M 0% /dev/shm
/dev/sda1 240M 34M 194M 15% /boot # 获取第二列信息
[root@localhost tmp]# df -h | cut -f 2
Filesystem Size Used Avail Use% Mounted on
/dev/sda3 19G 2.1G 16G 12% /
tmpfs 491M 0 491M 0% /dev/shm
/dev/sda1 240M 34M 194M 15% /boot

使用AWK解决需求,获取磁盘情况的第1列和第5列的信息。

[root@localhost tmp]# df -h | awk '{printf $1 "\t" $5 "\t" "\n"}'
Filesystem Use%
/dev/sda3 12%
tmpfs 0%
/dev/sda1 15%

3)综合练习

获取下面信息中根分区的占有率12。

[root@localhost tmp]# df -h
Filesystem Size Used Avail Use% Mounted on
/dev/sda3 19G 2.1G 16G 12% /
tmpfs 491M 0 491M 0% /dev/shm
/dev/sda1 240M 34M 194M 15% /boot

执行命令:

[root@localhost tmp]# df -h | grep "dev/sda3" | awk '{print $5}' | cut -d "%" -f 1
12

『忘了再学』Shell基础 — 27、AWK编程的介绍和基本使用的更多相关文章

  1. 『忘了再学』Shell基础 — 8、管道符介绍

    我们之前已经有文章说过管道符了,今天这里再简单总结一下用法. 1.行提取命令grep grep命令的作用,是在指定的文件中,搜索符合条件的字符串. 命令格式: [root@localhost ~ ] ...

  2. 『忘了再学』Shell基础 — 3、echo命令的介绍与使用

    目录 1.echo命令的作用 2.echo命令的基本用法 3.echo命令的-e选项用法 4.echo命令一些特殊用法 (1)输出字符带有字体颜色 (2)输出字符带有背景颜色 在讲Shell脚本之前, ...

  3. 『忘了再学』Shell基础 — 10、Bash中的特殊符号(二)

    提示:本篇文章接上一篇文章,主要说说()小括号和{}大括号的区别与使用. 8.()小括号 ():用于一串命令执行时,()中的命令会在子Shell中运行.(和下面大括号一起说明) 9.{}大括号 {}: ...

  4. 『忘了再学』Shell基础 — 24、Shell正则表达式的使用

    目录 1.正则表达式说明 2.基础正则表达式 3.练习 (1)准备工作 (2)*练习 (3).练习 (4)^和$练习 (5)[]练习 (6)[^]练习 (7)\{n\}练习 (8)\{n,\}练习 ( ...

  5. 『忘了再学』Shell基础 — 25、扩展正则表达式

    目录 1.扩展正则表达式说明 2.练习 (1)+和?练习 (2)|和()练习 3.注意(重点) 1.扩展正则表达式说明 熟悉正则表达式的童鞋应该很疑惑,在其他的语言中是没有扩展正则表达式说法的,在Sh ...

  6. 『忘了再学』Shell基础 — 30、sed命令的使用

    目录 1.sed命令说明 2.行数据操作 (1)查看文件中的数据 (2)删除文件中的数据 (3)向文件中追加数据 (4)向文件中插入数据 (5)修改文件中的多行数据(删除,追加,插入) (6)替换文件 ...

  7. 『忘了再学』Shell基础 — 1、Shell的介绍

    目录 1.Shell的由来 2.Shell的两种执行指令方式 3.什么是Shell脚本 4.Shell 是一种脚本语言 1.Shell的由来 我们比较熟悉Windows系统的图形化界面,对于图形界面来 ...

  8. 『忘了再学』Shell基础 — 4、Bash基本功能(history命令)

    目录 1.history历史命令 2.设置命令历史记录的条数 3.清空历史命令 4.历史命令的调用 5.命令与文件的补全 在Linux系统中默认的Shell就是Bourne-AgainShell(简称 ...

  9. 『忘了再学』Shell基础 — 9、Bash中的特殊符号(一)

    目录 1.双单引号 2.双引号 3.$符号 4.反引号 5.$()符号 6.#符号 7.\符号 1.双单引号 '':单引号.在单引号中所有的特殊符号,如$和"`"(反引号)都没有特 ...

随机推荐

  1. 在Wireshark中使用过滤器——显示过滤器

    在Wireshark运行过程中选择搜索(Ctrl-F),第一个默认的搜索选项就是显示过滤器. 显示过滤器用于捕获文件,用来告诉Wireshark只显示那些符合过滤条件的数据包. 显示过滤器比捕获过滤器 ...

  2. 1.Docker容器学习之新生入门必备基础知识

    0x00 Docker 快速入门 1.基础介绍 描述:Docker [ˈdɑ:kə(r)] 是一个基于Go语言开发实现的遵循Apache 2.0协议开源项目,目标是实现轻量级的操作系统虚拟化解决方案: ...

  3. Java学习day13

    泛型类格式: 修饰符 class 类名<类型>{ } 常用T.E.K.V等形式的参数表示泛型 使用方式与C++的类模板相似,在创建对象时要明确数据类型 泛型方法定义格式: 修饰符<类 ...

  4. gin框架使用【4.请求参数】

    GET url: http://127.0.0.1:8080/users?id=1&name=卷毛狒狒 package mainimport ( "github.com/gin-go ...

  5. 移动端屏幕适配(rem+js)

    什么是移动端适配 在制作webapp时,一个很关键的问题就是适配各种机型不同屏幕的大小,让每种机型上的布局看起来都尽量一样. 也就是说用同一套代码在不同分辨率的手机上跑时,页面元素间的间距.留白,以及 ...

  6. [AcWing 776] 字符串移位包含问题

    点击查看代码 #include<iostream> #include<algorithm> using namespace std; string a, b; int main ...

  7. 【Python情感分析】用python情感分析李子柒频道视频热门评论

    一.事件背景 今天是2021.12.2日,距离李子柒断更已经4个多月了,这是我在YouTube李子柒油管频道上,观看李子柒2021年7月14日上传的最后一条视频,我录制了视频下方的来自全世界各国网友的 ...

  8. Apache Struts 2 漏洞汇总

    Apache Struts2 是一个基于MVC设计模式的Web应用框架,会对某些标签属性(比如 id)的属性值进行二次表达式解析,因此在某些场景下将可能导致远程代码执行. Struts2特征: 通过页 ...

  9. 使用VPLS跨地域多站点建立二层交换网络

    VLL解决方案 https://www.cnblogs.com/darkchen/p/14652540.html 接上篇文档引出VPLS VLL可以跨地域建立二层交换网络,但有个缺陷是只支持两个sit ...

  10. 【算法】归并排序(Merge Sort)(五)

    归并排序(Merge Sort) 归并排序是建立在归并操作上的一种有效的排序算法.该算法是采用分治法(Divide and Conquer)的一个非常典型的应用.将已有序的子序列合并,得到完全有序的序 ...