1、AWK介绍

(1)AWK概述

AWK是一种处理文本文件的语言,是一个强大的文本分析工具。

AWK可以看成一门独立的语言,它拥有语言的基本特征,换句话说AWK可以写出极其繁琐和复杂的程序,AWK的语法比Shell的语法还难以接收。但绝大多数情况下,我们并不需要用AWK写过于复杂的东西,建议能用Shell处理的需求就不用AWK来解决。

当用AWK处理需求远要比Shell处理简单的多的时候,我们就用AWK来解决。

AWK也是用来截取列信息的,它比Shell中的cut命令更先进,比如对空格作为分隔符的处理。

(2)printf格式化输出

在学习AWK之前,我们要先学习一下printf格式化输出命令,这个命令是AWK基本输出中必须要用到的一个命令。

AWK的标准输出支持print命令和printf命令,这两个命令在AWK当中基本作用是一样的,但是Linux命令中只支持printf命令,如下:

# 在Linux中执行print命令和printf命令

[root@192 ~]# print
# 报错命令没有找到
-bash: print: command not found [root@192 ~]# printf
# 提示你命令格式写错了
printf: usage: printf [-v var] format [arguments]

我们可以看到Linux系统中只支持printf命令,所以我们这里就先学习一下printf命令。

(3)printf命令说明

[root@localhost ~]# printf '输出类型输出格式' 输出内容

输出类型:
%ns:输出字符串。n是数字指输出几个字符。
%ni:输出整数。n是数字指输出几个数字。
%m.nf:输出浮点数。m和n是数字,指输出的总位数和小数位数。如%8.2f代表共输出8位数,其中2位是小数,6位是整数。 输出格式:
\a:输出警告声音。
\b:输出退格键,也就是Backspace键。
\f:清除屏幕。
\n:换行。
\r:回车,也就是Enter键。
\t:水平输出退格键,也就是Tab键
\v:垂直输出退格键,也就是Tab键。

练习,使用如下文本:

ID      Name    Python  Linux   MySQL   Java
1 Tangs 88 87 86 85.55
2 Sunwk 99 98 97 96,66
3 Zhubj 77 76 75 74.44
4 Shahs 66 65 64 63.33

执行printf命令:

[root@localhost tmp]# printf '%s' $(cat student.txt)

说明:printf命令后是没有办法直接写参数的,也就是不能直接加文件名来读取文件的内容,printf命令支持的是其他命令结果的输出,交给printf命令来处理。所以说printf命令很少单独使用,一般都放在AWK当中来使用,这样更加合理,否则就和上边一样,看起来很难受。

结果:

[root@localhost tmp]# printf '%s' $(cat student.txt)
IDNamePythonLinuxMySQLJava1Tangs88878685.552Sunwk99989796,663Zhubj77767574.444Shahs66656463.33[root@192 tmp]#

我们可以看到上面的结果非常的烂,他是把所有的内容一个字符紧接着一个字符的输出,中间没有空格或者回车。

这就是printf命令,如果不指定输出的格式,则会把所有输出内容连在一起输出。其实文本的输出本身就是这样的,cat等文本输出命令之所以可以按照漂亮的格式输出,那是因为cat命令已经设定了输出格式。

那么为了让printf输出合理的格式,就需要手动自定义自己需要的格式。

printf '%s\t %s\t %s\t %s\t %s\t %s\t \n' $(cat student.txt)

说明:就是输出一个字符串(%s),后边加上一个制表符(tab键)隔开(\t),这样一共有6列,写6个%s\t,然后每一行最后加上一个回车(\n)。

执行命令结果如下:

[root@localhost tmp]# printf '%s\t %s\t %s\t %s\t %s\t %s\t \n' $(cat student.txt)
ID Name Python Linux MySQL Java
1 Tangs 88 87 86 85.55
2 Sunwk 99 98 97 96.66
3 Zhubj 77 76 75 74.44
4 Shahs 66 65 64 63.33

注意:'%s\t %s\t %s\t %s\t %s\t %s\t \n'中的空格是没有意思的,写多少都行,只是方便自己看,printf命令,只认\n \t等输出格式。

如果不想把成绩当成字符串输出,而是按照整型和浮点型输出,执行如下命令:

[root@192 tmp]# printf '%i\t %s\t %i\t %i\t %i\t %8.2f\t \n' $(cat student.txt | grep -v "Name")
1 Tangs 88 87 86 85.55
2 Sunwk 99 98 97 96.66
3 Zhubj 77 76 75 74.44
4 Shahs 66 65 64 63.33

这个例子不是很好,但一定要把标题顾虑掉,否则会出现如下效果,标题都被变成了整型数据。

[root@localhost tmp]# printf '%i\t %s\t %i\t %i\t %i\t %8.2f\t \n' $(cat student.txt)
-bash: printf: ID: invalid number
-bash: printf: Python: invalid number
-bash: printf: Linux: invalid number
-bash: printf: MySQL: invalid number
-bash: printf: Java: invalid number
0 Name 0 0 0 0.00
1 Tangs 88 87 86 85.55
2 Sunwk 99 98 97 96.66
3 Zhubj 77 76 75 74.44
4 Shahs 66 65 64 63.33

2、AWK的基本使用

(1)AWK命令说明

[root@localhost ~]# awk '条件1{动作1} 条件2{动作2} ...' 文件名

条件(Pattern):
一般使用关系表达式作为条件。这些关系表达式非常多,具体看下面一点。
简单举例:
x>10:判断变量x是否大于10。
x==y:判断变量x是否等于变量y 。
A~B:判断字符串A中是否包含能匹配B表达式的子字符串。
A!~B:判断字符串A中是否不包含能匹配B表达式的子字符串。 动作(Action):
格式化输出。
流程控制语句。

提示:先判断条件是否成立,在进行对应动作。可以没有条件直接写动作,如果没有条件,则直接执行动作。

(2)AWK命令使用

1)基本使用

使用如下文本:

ID      Name    Python  Linux   MySQL   Java
1 Tangs 88 87 86 85.55
2 Sunwk 99 98 97 96,66
3 Zhubj 77 76 75 74.44
4 Shahs 66 65 64 63.33

执行命令:awk '{printf $2 "\t" $3 "\t" $6 "\t" "\n"}' student.txt

结果:

[root@localhost tmp]# awk '{printf $2 "\t" $3 "\t" $6 "\t" "\n"}' student.txt
Name Python Java
Tangs 88 85.55
Sunwk 99 96.66
Zhubj 77 74.44
Shahs 66 63.33

说明:

  • AWK的动作条件是需要用单引号括起来的,所以在动作条件中的printf命令中定义的输出格式时,单引号就需要改换成双引号了,这里要注意。
  • 没有条件就是每一行都处理。
  • AWK的主要动作就是用printf命令来输出的。
  • AWK中可以直接添加文本文件,来获取文件中所需内容。

这里在补充一下print命令和printf命令用法差不多,print命令自带换行符,但是Linux系统不支持print命令。

# 使用`print`命令就不需要加上\n换行符了。
[root@localhost tmp]# awk '{print $2 "\t" $3 "\t" $6 "\t"}' student.txt
Name Python Java
Tangs 88 85.55
Sunwk 99 96.66
Zhubj 77 74.44
Shahs 66 63.33

2)处理分隔符是空格的情况

看磁盘情况的df命令的结果中,数据之间的分隔符是空格,用cut命令是处理不了的。

如下:

# 查看磁盘情况
[root@localhost tmp]# df -h
Filesystem Size Used Avail Use% Mounted on
/dev/sda3 19G 2.1G 16G 12% /
tmpfs 491M 0 491M 0% /dev/shm
/dev/sda1 240M 34M 194M 15% /boot # 获取第二列信息
[root@localhost tmp]# df -h | cut -f 2
Filesystem Size Used Avail Use% Mounted on
/dev/sda3 19G 2.1G 16G 12% /
tmpfs 491M 0 491M 0% /dev/shm
/dev/sda1 240M 34M 194M 15% /boot

使用AWK解决需求,获取磁盘情况的第1列和第5列的信息。

[root@localhost tmp]# df -h | awk '{printf $1 "\t" $5 "\t" "\n"}'
Filesystem Use%
/dev/sda3 12%
tmpfs 0%
/dev/sda1 15%

3)综合练习

获取下面信息中根分区的占有率12。

[root@localhost tmp]# df -h
Filesystem Size Used Avail Use% Mounted on
/dev/sda3 19G 2.1G 16G 12% /
tmpfs 491M 0 491M 0% /dev/shm
/dev/sda1 240M 34M 194M 15% /boot

执行命令:

[root@localhost tmp]# df -h | grep "dev/sda3" | awk '{print $5}' | cut -d "%" -f 1
12

『忘了再学』Shell基础 — 27、AWK编程的介绍和基本使用的更多相关文章

  1. 『忘了再学』Shell基础 — 8、管道符介绍

    我们之前已经有文章说过管道符了,今天这里再简单总结一下用法. 1.行提取命令grep grep命令的作用,是在指定的文件中,搜索符合条件的字符串. 命令格式: [root@localhost ~ ] ...

  2. 『忘了再学』Shell基础 — 3、echo命令的介绍与使用

    目录 1.echo命令的作用 2.echo命令的基本用法 3.echo命令的-e选项用法 4.echo命令一些特殊用法 (1)输出字符带有字体颜色 (2)输出字符带有背景颜色 在讲Shell脚本之前, ...

  3. 『忘了再学』Shell基础 — 10、Bash中的特殊符号(二)

    提示:本篇文章接上一篇文章,主要说说()小括号和{}大括号的区别与使用. 8.()小括号 ():用于一串命令执行时,()中的命令会在子Shell中运行.(和下面大括号一起说明) 9.{}大括号 {}: ...

  4. 『忘了再学』Shell基础 — 24、Shell正则表达式的使用

    目录 1.正则表达式说明 2.基础正则表达式 3.练习 (1)准备工作 (2)*练习 (3).练习 (4)^和$练习 (5)[]练习 (6)[^]练习 (7)\{n\}练习 (8)\{n,\}练习 ( ...

  5. 『忘了再学』Shell基础 — 25、扩展正则表达式

    目录 1.扩展正则表达式说明 2.练习 (1)+和?练习 (2)|和()练习 3.注意(重点) 1.扩展正则表达式说明 熟悉正则表达式的童鞋应该很疑惑,在其他的语言中是没有扩展正则表达式说法的,在Sh ...

  6. 『忘了再学』Shell基础 — 30、sed命令的使用

    目录 1.sed命令说明 2.行数据操作 (1)查看文件中的数据 (2)删除文件中的数据 (3)向文件中追加数据 (4)向文件中插入数据 (5)修改文件中的多行数据(删除,追加,插入) (6)替换文件 ...

  7. 『忘了再学』Shell基础 — 1、Shell的介绍

    目录 1.Shell的由来 2.Shell的两种执行指令方式 3.什么是Shell脚本 4.Shell 是一种脚本语言 1.Shell的由来 我们比较熟悉Windows系统的图形化界面,对于图形界面来 ...

  8. 『忘了再学』Shell基础 — 4、Bash基本功能(history命令)

    目录 1.history历史命令 2.设置命令历史记录的条数 3.清空历史命令 4.历史命令的调用 5.命令与文件的补全 在Linux系统中默认的Shell就是Bourne-AgainShell(简称 ...

  9. 『忘了再学』Shell基础 — 9、Bash中的特殊符号(一)

    目录 1.双单引号 2.双引号 3.$符号 4.反引号 5.$()符号 6.#符号 7.\符号 1.双单引号 '':单引号.在单引号中所有的特殊符号,如$和"`"(反引号)都没有特 ...

随机推荐

  1. java中类变量和实例变量的实质区别?

    类变量和实例变量的区别 相对于static(静态的)或说类的, 本章开始提到的都是instance(实例的)或说对象的. 每个对象都有自己的一份儿对象域或实例域,相互之间没关系, 不共享. 我们可以从 ...

  2. vue点击按钮复制文本框内容

    1.npm进行安装 npm install clipboard --save 2.在需要使用的组件中import 引用方法:import Clipboard from 'clipboard'; 3.添 ...

  3. IDM调用参数

    cmd调用IDM 基本命令: IDMan /d URL [/p 本地文件路径] [/f 本地文件名] [/q] [/h] [/n] [/a] 参数: 名称 作用 /d 下载文件的url /s 开始任务 ...

  4. 算法基础⑨搜索与图论--存在负权边的最短路--bellman_ford算法

    bellman-ford算法 给定一个 n 个点 m 条边的有向图,图中可能存在重边和自环, 边权可能为负数. 请你求出从 1 号点到 n 号点的最多经过 k 条边的最短距离,如果无法从 1 号点走到 ...

  5. android软件简约记账app开发day07-备注界面完善

    android软件简约记账app开发day07-备注界面完善 ## 昨天我们已经绘制了备注页面,今天来用Java代码组装完善一下. 首先我们新建BeiZhuDialog类关联备注页面,并且实现点击接口 ...

  6. git版本时提示openssl ssl_read

    1.右击git bash here 2.执行 git config --global http.sslVerify "false"

  7. JavaSE前期准备1

    历史(建议了解即可) 一.1990年,美国Sun公司的"Stealth计划"(后改名为"Green计划")目标设置在家用电器等小型系统的程序语言,准备应用在电视 ...

  8. 机器学习基础:奇异值分解(SVD)

    SVD 原理 奇异值分解(Singular Value Decomposition)是线性代数中一种重要的矩阵分解,也是在机器学习领域广泛应用的算法,它不光可以用于降维算法中的特征分解,还可以用于推荐 ...

  9. 【面试普通人VS高手系列】Dubbo的服务请求失败怎么处理?

    今天分享的面试题,几乎是90%以上的互联网公司都会问到的问题. "Dubbo的服务请求失败怎么处理"? 对于这个问题,我们来看一下普通人和高手的回答. 普通人: 嗯- 我记得, D ...

  10. SerialPort-4.0.+ 使用说明(Java版本)

    SerialPort-4.0.+ 项目官网 Kotlin版本使用说明 介绍 SerialPort 是一个开源的对 Android 蓝牙串口通信的轻量封装库,轻松解决了构建自己的串口调试APP的复杂程度 ...