『忘了再学』Shell基础 — 27、AWK编程的介绍和基本使用
1、AWK介绍
(1)AWK概述
AWK是一种处理文本文件的语言,是一个强大的文本分析工具。
AWK可以看成一门独立的语言,它拥有语言的基本特征,换句话说AWK可以写出极其繁琐和复杂的程序,AWK的语法比Shell的语法还难以接收。但绝大多数情况下,我们并不需要用AWK写过于复杂的东西,建议能用Shell处理的需求就不用AWK来解决。
当用AWK处理需求远要比Shell处理简单的多的时候,我们就用AWK来解决。
AWK也是用来截取列信息的,它比Shell中的cut
命令更先进,比如对空格作为分隔符的处理。
(2)printf
格式化输出
在学习AWK之前,我们要先学习一下printf
格式化输出命令,这个命令是AWK基本输出中必须要用到的一个命令。
AWK的标准输出支持print
命令和printf
命令,这两个命令在AWK当中基本作用是一样的,但是Linux命令中只支持printf
命令,如下:
# 在Linux中执行print命令和printf命令
[root@192 ~]# print
# 报错命令没有找到
-bash: print: command not found
[root@192 ~]# printf
# 提示你命令格式写错了
printf: usage: printf [-v var] format [arguments]
我们可以看到Linux系统中只支持printf
命令,所以我们这里就先学习一下printf
命令。
(3)printf
命令说明
[root@localhost ~]# printf '输出类型输出格式' 输出内容
输出类型:
%ns:输出字符串。n是数字指输出几个字符。
%ni:输出整数。n是数字指输出几个数字。
%m.nf:输出浮点数。m和n是数字,指输出的总位数和小数位数。如%8.2f代表共输出8位数,其中2位是小数,6位是整数。
输出格式:
\a:输出警告声音。
\b:输出退格键,也就是Backspace键。
\f:清除屏幕。
\n:换行。
\r:回车,也就是Enter键。
\t:水平输出退格键,也就是Tab键
\v:垂直输出退格键,也就是Tab键。
练习,使用如下文本:
ID Name Python Linux MySQL Java
1 Tangs 88 87 86 85.55
2 Sunwk 99 98 97 96,66
3 Zhubj 77 76 75 74.44
4 Shahs 66 65 64 63.33
执行printf
命令:
[root@localhost tmp]# printf '%s' $(cat student.txt)
说明:printf
命令后是没有办法直接写参数的,也就是不能直接加文件名来读取文件的内容,printf
命令支持的是其他命令结果的输出,交给printf
命令来处理。所以说printf
命令很少单独使用,一般都放在AWK当中来使用,这样更加合理,否则就和上边一样,看起来很难受。
结果:
[root@localhost tmp]# printf '%s' $(cat student.txt)
IDNamePythonLinuxMySQLJava1Tangs88878685.552Sunwk99989796,663Zhubj77767574.444Shahs66656463.33[root@192 tmp]#
我们可以看到上面的结果非常的烂,他是把所有的内容一个字符紧接着一个字符的输出,中间没有空格或者回车。
这就是printf
命令,如果不指定输出的格式,则会把所有输出内容连在一起输出。其实文本的输出本身就是这样的,cat
等文本输出命令之所以可以按照漂亮的格式输出,那是因为cat
命令已经设定了输出格式。
那么为了让printf
输出合理的格式,就需要手动自定义自己需要的格式。
printf '%s\t %s\t %s\t %s\t %s\t %s\t \n' $(cat student.txt)
说明:就是输出一个字符串(
%s
),后边加上一个制表符(tab
键)隔开(\t
),这样一共有6列,写6个%s\t
,然后每一行最后加上一个回车(\n
)。
执行命令结果如下:
[root@localhost tmp]# printf '%s\t %s\t %s\t %s\t %s\t %s\t \n' $(cat student.txt)
ID Name Python Linux MySQL Java
1 Tangs 88 87 86 85.55
2 Sunwk 99 98 97 96.66
3 Zhubj 77 76 75 74.44
4 Shahs 66 65 64 63.33
注意:
'%s\t %s\t %s\t %s\t %s\t %s\t \n'
中的空格是没有意思的,写多少都行,只是方便自己看,printf
命令,只认\n
、\t
等输出格式。
如果不想把成绩当成字符串输出,而是按照整型和浮点型输出,执行如下命令:
[root@192 tmp]# printf '%i\t %s\t %i\t %i\t %i\t %8.2f\t \n' $(cat student.txt | grep -v "Name")
1 Tangs 88 87 86 85.55
2 Sunwk 99 98 97 96.66
3 Zhubj 77 76 75 74.44
4 Shahs 66 65 64 63.33
这个例子不是很好,但一定要把标题顾虑掉,否则会出现如下效果,标题都被变成了整型数据。
[root@localhost tmp]# printf '%i\t %s\t %i\t %i\t %i\t %8.2f\t \n' $(cat student.txt)
-bash: printf: ID: invalid number
-bash: printf: Python: invalid number
-bash: printf: Linux: invalid number
-bash: printf: MySQL: invalid number
-bash: printf: Java: invalid number
0 Name 0 0 0 0.00
1 Tangs 88 87 86 85.55
2 Sunwk 99 98 97 96.66
3 Zhubj 77 76 75 74.44
4 Shahs 66 65 64 63.33
2、AWK的基本使用
(1)AWK命令说明
[root@localhost ~]# awk '条件1{动作1} 条件2{动作2} ...' 文件名
条件(Pattern):
一般使用关系表达式作为条件。这些关系表达式非常多,具体看下面一点。
简单举例:
x>10:判断变量x是否大于10。
x==y:判断变量x是否等于变量y 。
A~B:判断字符串A中是否包含能匹配B表达式的子字符串。
A!~B:判断字符串A中是否不包含能匹配B表达式的子字符串。
动作(Action):
格式化输出。
流程控制语句。
提示:先判断条件是否成立,在进行对应动作。可以没有条件直接写动作,如果没有条件,则直接执行动作。
(2)AWK命令使用
1)基本使用
使用如下文本:
ID Name Python Linux MySQL Java
1 Tangs 88 87 86 85.55
2 Sunwk 99 98 97 96,66
3 Zhubj 77 76 75 74.44
4 Shahs 66 65 64 63.33
执行命令:awk '{printf $2 "\t" $3 "\t" $6 "\t" "\n"}' student.txt
结果:
[root@localhost tmp]# awk '{printf $2 "\t" $3 "\t" $6 "\t" "\n"}' student.txt
Name Python Java
Tangs 88 85.55
Sunwk 99 96.66
Zhubj 77 74.44
Shahs 66 63.33
说明:
- AWK的动作条件是需要用单引号括起来的,所以在动作条件中的
printf
命令中定义的输出格式时,单引号就需要改换成双引号了,这里要注意。- 没有条件就是每一行都处理。
- AWK的主要动作就是用
printf
命令来输出的。- AWK中可以直接添加文本文件,来获取文件中所需内容。
这里在补充一下print
命令和printf
命令用法差不多,print
命令自带换行符,但是Linux系统不支持print
命令。
# 使用`print`命令就不需要加上\n换行符了。
[root@localhost tmp]# awk '{print $2 "\t" $3 "\t" $6 "\t"}' student.txt
Name Python Java
Tangs 88 85.55
Sunwk 99 96.66
Zhubj 77 74.44
Shahs 66 63.33
2)处理分隔符是空格的情况
看磁盘情况的df
命令的结果中,数据之间的分隔符是空格,用cut
命令是处理不了的。
如下:
# 查看磁盘情况
[root@localhost tmp]# df -h
Filesystem Size Used Avail Use% Mounted on
/dev/sda3 19G 2.1G 16G 12% /
tmpfs 491M 0 491M 0% /dev/shm
/dev/sda1 240M 34M 194M 15% /boot
# 获取第二列信息
[root@localhost tmp]# df -h | cut -f 2
Filesystem Size Used Avail Use% Mounted on
/dev/sda3 19G 2.1G 16G 12% /
tmpfs 491M 0 491M 0% /dev/shm
/dev/sda1 240M 34M 194M 15% /boot
使用AWK解决需求,获取磁盘情况的第1列和第5列的信息。
[root@localhost tmp]# df -h | awk '{printf $1 "\t" $5 "\t" "\n"}'
Filesystem Use%
/dev/sda3 12%
tmpfs 0%
/dev/sda1 15%
3)综合练习
获取下面信息中根分区的占有率12。
[root@localhost tmp]# df -h
Filesystem Size Used Avail Use% Mounted on
/dev/sda3 19G 2.1G 16G 12% /
tmpfs 491M 0 491M 0% /dev/shm
/dev/sda1 240M 34M 194M 15% /boot
执行命令:
[root@localhost tmp]# df -h | grep "dev/sda3" | awk '{print $5}' | cut -d "%" -f 1
12
『忘了再学』Shell基础 — 27、AWK编程的介绍和基本使用的更多相关文章
- 『忘了再学』Shell基础 — 8、管道符介绍
我们之前已经有文章说过管道符了,今天这里再简单总结一下用法. 1.行提取命令grep grep命令的作用,是在指定的文件中,搜索符合条件的字符串. 命令格式: [root@localhost ~ ] ...
- 『忘了再学』Shell基础 — 3、echo命令的介绍与使用
目录 1.echo命令的作用 2.echo命令的基本用法 3.echo命令的-e选项用法 4.echo命令一些特殊用法 (1)输出字符带有字体颜色 (2)输出字符带有背景颜色 在讲Shell脚本之前, ...
- 『忘了再学』Shell基础 — 10、Bash中的特殊符号(二)
提示:本篇文章接上一篇文章,主要说说()小括号和{}大括号的区别与使用. 8.()小括号 ():用于一串命令执行时,()中的命令会在子Shell中运行.(和下面大括号一起说明) 9.{}大括号 {}: ...
- 『忘了再学』Shell基础 — 24、Shell正则表达式的使用
目录 1.正则表达式说明 2.基础正则表达式 3.练习 (1)准备工作 (2)*练习 (3).练习 (4)^和$练习 (5)[]练习 (6)[^]练习 (7)\{n\}练习 (8)\{n,\}练习 ( ...
- 『忘了再学』Shell基础 — 25、扩展正则表达式
目录 1.扩展正则表达式说明 2.练习 (1)+和?练习 (2)|和()练习 3.注意(重点) 1.扩展正则表达式说明 熟悉正则表达式的童鞋应该很疑惑,在其他的语言中是没有扩展正则表达式说法的,在Sh ...
- 『忘了再学』Shell基础 — 30、sed命令的使用
目录 1.sed命令说明 2.行数据操作 (1)查看文件中的数据 (2)删除文件中的数据 (3)向文件中追加数据 (4)向文件中插入数据 (5)修改文件中的多行数据(删除,追加,插入) (6)替换文件 ...
- 『忘了再学』Shell基础 — 1、Shell的介绍
目录 1.Shell的由来 2.Shell的两种执行指令方式 3.什么是Shell脚本 4.Shell 是一种脚本语言 1.Shell的由来 我们比较熟悉Windows系统的图形化界面,对于图形界面来 ...
- 『忘了再学』Shell基础 — 4、Bash基本功能(history命令)
目录 1.history历史命令 2.设置命令历史记录的条数 3.清空历史命令 4.历史命令的调用 5.命令与文件的补全 在Linux系统中默认的Shell就是Bourne-AgainShell(简称 ...
- 『忘了再学』Shell基础 — 9、Bash中的特殊符号(一)
目录 1.双单引号 2.双引号 3.$符号 4.反引号 5.$()符号 6.#符号 7.\符号 1.双单引号 '':单引号.在单引号中所有的特殊符号,如$和"`"(反引号)都没有特 ...
随机推荐
- Java中读取 .properties 和 .xml 文件
配置文件内容获取 总结内容 1. Java中为什么要使用配置文件 2. Java中常用的配置文件类型有哪些以及它们的特点 Properties配置文件 XML配置文件 总结 总结内容 1. Java中 ...
- HashMap和ConcurrentHashMap的原理和实现
一.线程不安全的HashMap 多线程环境下,使用HashMap进行put操作会引起死循环(jdk1.7 Entry链表形成环形数据结构),导致CPU利用率接近100%. 结构:数组 table[]+ ...
- java的collection类
collection来源于java.util包. Collection 接口常用的方法 size():返回集合中元素的个数 add(Object obj):向集合中添加一个元素 addAll(Coll ...
- 分布式应用运行时 Dapr 1.7 发布
Dapr 是一个开源.可移植的.事件驱动的运行时,可以帮助开发人员构建在云和边缘上运行的弹性的.微服务的.无状态和有状态应用程序,并且关注于业务逻辑而不用考虑分布式相关的问题. 分布式相关的问题交给D ...
- 记一次mysql请求超时甩锅历程
今天下午业务找我说是线上环境一个mysql库很慢,请求出现了大量的超时,让帮忙看看,以下为查找过程及甩锅过程. 1. mysql请求超时,ok,我们所有线上mysql都是开启了慢查询日志的,查找慢查询 ...
- 不太一样的Go Web框架—编程范式
项目地址:https://github.com/Codexiaoyi/linweb 这是一个系列文章: 不太一样的Go Web框架-总览 不太一样的Go Web框架-编程范式 前言 上文说过,linw ...
- Ubuntu 20.0.4 安装 NVIDIA N卡 驱动 画面撕裂 解决方法
电脑 联想 Y7000 系统 Ubuntu 20.0.4 显卡 NVIDIA 1050TI 以下操作需要管理员权限 编辑文件,如果没有新建一个 /lib/modprobe.d/nvidia-graph ...
- 【深入理解TcaplusDB技术】扫描数据接口说明——[List表]
摘要 实现扫描指定表格中的数据. 示例代码 同步调用参见章节:[List表]扫描数据示例代码. 异步调用参见章节:[List表]异步扫描数据示例代码. Client对象方法说明 注:如有未列出来的Cl ...
- IDEA通过Jedis操作Linux上的Redis;Failed to connect to any host resolved for DNS name问题
testPing.java public class testPing { public static void main(String[] args) { Jedis jedis = new Jed ...
- Linux 多网卡bonding
bonding 将多块网卡绑定同一IP地址对外提供服务,可以实现高可用或者负载均衡.直接给两块网卡设置同一IP 地址是不可以的.通过 bonding,虚拟一块网卡对外提供连接,物理网卡的被修改为相同的 ...