awk sed 命令

awk
       awk是一个强大的文本分析工具，相对于grep的查找，sed的编辑，awk在其对数据分析并生成报告时，显得尤为强大。
       简单来说awk就是把文件逐行的读入，以 空格或TAB 为默认分隔符 将每行分段，切开的部分再进行各种分析处理。

awk脚本基本结构

简单：awk '条件类型1{动作1} 条件类型2{动作2} ...' filename

复杂：awk 'BEGIN{ print "start" } pattern{ action } END{ print "end" }' file

参数：awk [-F|-f|-v] ‘BEGIN{} //{command1; command2} END{}’ file
 [-F|-f|-v]   大参数，-F指定分隔符，-f调用脚本，-v定义变量 var=value

一个awk脚本通常由：BEGIN语句块、能够使用模式匹配的通用语句块、END语句块3部分组成，这三个部分是可选的。任意一个部分都可以不出现在脚本中，脚本通常是被单引号或双引号中
例如：
awk 'BEGIN{
i=0 } { i++ } END{ print i }'
filenameawk"BEGIN{
i=0 } { i++ } END{ print i }"filename

BEGIN语句块在awk开始从输入流中读取行之前被执行，这是一个可选的语句块，比如变量初始化、打印输出表格的表头等语句通常可以写在BEGIN语句块中。

 pattern语句块中的通用命令是最重要的部分，它也是可选的。在pattern{
action } 中
pattern可以为定值、计算表达式、awk命令。
最终结果为1则执行action、为0则不执行

如果没有pattern语句块，则默认执行{ action}，awk读取的每一行都会执行该语句块。

如果没有action，则action默认为{print $0}

END语句块在awk从输入流中读取完所有的行之后即被执行，比如打印所有行的分析结果这类信息汇总都是在END语句块中完成，它也是一个可选语句块。

awk的工作原理

• 第一步：执行BEGIN{ commands }语句块中的语句；
• 第二步：从文件或标准输入(stdin)读取一行，然后执行pattern{ action }语句块，它逐行扫描文件，从第一行到最后一行重复这个过程，直到文件全部被读取完毕。
• 第三步：当读至输入流末尾时，执行END{ commands }语句块。

特殊要点:
$0           表示整个当前行
$1           每行第一个字段
NF          每行字段总数
NR           每行的 行号，多文件记录递增
FNR         与NR类似，不过多文件记录不递增，每个文件都从1开始
\t            制表符
\n           换行符
FS          BEGIN时定义分隔符
RS        输入的记录分隔符， 默认为换行符(即文本是按一行一行输入)
~            匹配，与==相比不是精确比较
!~           不匹配，不精确比较
==         等于，必须全部相等，精确比较
!=           不等于，精确比较
&&　     逻辑与
||      逻辑或
+            匹配时表示1个或1个以上
/[0-9][0-9]+/   两个或两个以上数字
/[0-9][0-9]*/    一个或一个以上数字
FILENAME 文件名
OFS      输出字段分隔符， 默认也是空格，可以改为制表符等
ORS        输出的记录分隔符，默认为换行符,即处理结果也是一行一行输出到屏幕
-F'[:#/]'   定义三个分隔符

• awk 的逻辑运算字节

既然有需要用到 "条件" 的类别：

运算单元	代表意义
>	大於
<	小於
>=	大於或等於
<=	小於或等於
==	等於
!=	不等於

在 /etc/passwd 当中是以冒号 ":" 来作为栏位的分隔， 该文件中第一栏位为帐号，第三栏位则是 UID。那假设我要查阅，第三栏小於 10 以下的数据，并且仅列出帐号与第三栏， 那么可以这样做：

[root@www ~]# cat /etc/passwd | \
> awk '{FS=":"} $3 < 10 {print $1 "\t " $3}'
root:x:0:0:root:/root:/bin/bash
bin      1
daemon   2
....(以下省略)....

有趣吧！不过，怎么第一行没有正确的显示出来呢？这是因为我们读入第一行的时候，那些变量 $1, $2... 默认还是以空白键为分隔的，所以虽然我们定义了 FS=":" 了， 但是却仅能在第二行后才开始生效。那么怎么办呢？我们可以预先配置 awk 的变量啊！ 利用 BEGIN 这个关键字喔！这样做：

[root@www ~]# cat /etc/passwd | \
> awk 'BEGIN {FS=":"} $3 < 10 {print $1 "\t " $3}'
root     0
bin      1
daemon   2
......(以下省略)......

print & $0print 是awk打印指定内容的主要命令awk
'{print}'  /etc/passwd   ==   awk '{print $0}'  /etc/passwd   //全部输出awk '{print ""}' 
/etc/passwd     //不输出passwd的内容，而是输出相同个数的空行， //进一步解释了awk是一行一行处理文本awk '{print "a"}'    /etc/passwd      //输出相同个数的a行，一行只有一个a字母awk
'{ print $2,$3 }' filename //打印每行的第二和第三个字段

当print的参数是以逗号进行分隔时，打印时则以空格或TAB作为定界符

awk '{print $NF}'

-F指定分隔符awk
-F":" '{print $1}' awk -F: '{print $1; print $2}'       //将每一行的前二个字段，分行输出，进一步理解一行一行处理文本awk
 -F: '{print $1,$3,$6}' OFS="\t"     //输出字段1,3,6，以制表符作为分隔符

指定多种分隔符号awk
-F'[:#/]'   定义三个分隔符

awk -F'[ :]'
 使用 空格和: 作为分隔符

awk -F' |:'
      同上


如果连续出现分隔符，那我们这样取数据的时候会报错
解决这个问题的办法就是-F'[ ]+'，用+号来将连续出现的分隔符当成一个来处理
[ ] 表示一个字符的集合，+则是一个正则表达式，表示+前面的字符（：或者空格）重复1次或者一次以上

awk -F'[ :]+'

//匹配代码块
//纯字符匹配   !//纯字符不匹配   ~//字段值匹配    !~//字段值不匹配   ~/a1|a2/字段值匹配a1或a2   
awk '/mysql/' /etc/passwd
awk '/mysql/{print }' /etc/passwd
awk '/mysql/{print $0}' /etc/passwd                   //三条指令结果一样
awk '!/mysql/{print $0}' /etc/passwd                  //输出不匹配mysql的行
awk '/mysql|mail/{print}' /etc/passwd
awk '!/mysql|mail/{print}' /etc/passwd
awk -F: '/mail/,/mysql/{print}' /etc/passwd         //区间匹配
awk '/[2][7][7]*/{print $0}' /etc/passwd               //匹配包含27为数字开头的行，如27，277，2777...
awk -F: '$1~/mail/{print $1}' /etc/passwd           //$1匹配指定内容才显示
awk -F: '{if($1~/mail/) print $1}' /etc/passwd     //与上面相同
awk -F: '$1!~/mail/{print $1}' /etc/passwd          //不匹配
awk -F: '$1!~/mail|mysql/{print $1}' /etc/passwd        

使用BEGIN 和 END

执行流程# cat
/etc/passwd |awk -F':' 'BEGIN {print "start"}{print $1,$7} END{print "end"}'

start
root /bin/bash
bin /sbin/nologin
daemon /sbin/nologin
……

end

awk内置变量

awk有许多内置变量用来设置环境信息，这些变量可以被改变，下面给出了最常用的一些变量。

ARGC               命令行参数个数
ARGV               命令行参数排列
ENVIRON            支持队列中系统环境变量的使用
FILENAME           awk浏览的文件名
FNR                浏览文件的记录数
FS                 设置输入域分隔符，等价于命令行 -F选项
NF                 浏览记录的域的个数
NR                 已读的记录数
OFS                输出域分隔符
ORS                输出记录分隔符
RS                 控制记录分隔符

awk -F':''{print "filename:"FILENAME ",linenumber:" NR ",columns:"NF ",linecontent:"$0}' /etc/passwd

filename:/etc/passwd,linenumber:1,columns:7,linecontent:root:x:0:0:root:/root:/bin/bash
filename:/etc/passwd,linenumber:2,columns:7,linecontent:bin:x:1:1:bin:/bin:/sbin/nologin
filename:/etc/passwd,linenumber:3,columns:7,linecontent:daemon:x:2:2:daemon:/sbin:/sbin/nologin

awk编程
 变量和赋值
除了awk的内置变量，awk还可以自定义变量。
下面统计/etc/passwd的账户人数
awk '{count++;print $0;} END{print "user count is ", count}' /etc/passwd
root:x:0:0:root:/root:/bin/bash
......
user count is  40
count是自定义变量。之前的action{}里都是只有一个print,其实print只是一个语句，而action{}可以有多个语句，以;号隔开。
 
这里没有初始化count，虽然默认是0，但是妥当的做法还是初始化为0:
awk 'BEGIN {count=0;print "[start]user count is ", count} {count=count+1;print $0;} END{print "[end]user count is ", count}' /etc/passwd
[start]user count is  0
root:x:0:0:root:/root:/bin/bash
...
[end]user count is  40

条件语句
 awk中的条件语句是从C语言中借鉴来的，见如下声明方式：
复制代码
if (expression) {
    statement;
    statement;
    ... ...
}

if (expression) {
    statement;
} else {
    statement2;
}

if (expression) {
    statement1;
} else if (expression1) {
    statement2;
} else {
    statement3;
}

循环语句

awk中的循环语句同样借鉴于C语言，支持while、do/while、for、break、continue，这些关键字的语义和C语言中的语义完全相同。

显示/etc/passwd的账户
这里使用for循环遍历数组

awk -F ':' 'BEGIN {count=0;} {name[count] = $1;count++;}; END{for (i = 0; i < NR; i++) print i, name[i]}' /etc/passwd
0 root
1 daemon
2 bin
3 sys
4 sync
5 games
......

awk数组：

定义方法

1：可以用数值作数组索引(下标)
array[1]=“cheng mo”
array[2]=“800927”

如果某数组元素不存在，则自动创建此元素并初始化为空串

2：可以用字符串作数组索引(下标)
array[“first”]=“cheng ”
array[“last”]=”mo”
array[“birth”]=”800927”

使用中 print array[1] 将得到”cheng mo” 而 print array[2] 和 print array[“birth”] 都将得到 ”800927” 。

3：循环输出数组的值  
 { for (a in array)  print a,array[a]} # 输出的顺序是随机的

first   cheng

2 800927

birth 800927

1 chengmo

last mo

实例分析:
netstat -n | awk '/^tcp/ {++S[$NF]};END {for(a in S) print a, S[a]}'
#netstat -n
tcp        0      0 192.168.0.104:48326     192.168.0.104:80        TIME_WAIT  
tcp        0    104 192.168.0.104:22        192.168.0.102:54582     ESTABLISHED
tcp6       0      0 192.168.0.104:80        192.168.0.102:52486     TIME_WAIT  
tcp6       0      0 192.168.0.104:80        192.168.0.102:52488     TIME_WAIT  
tcp6       0      0 192.168.0.104:80        192.168.0.102:52490     TIME_WAIT

首先awk 对每一行 匹配 是否以 tcp开头

匹配成功后 建立一个数组S，数组下标是该行最后一列的值,初始化为0   即 S[TIME_WAIT]=0

但是我们这里实际表达的是S[TIME_WAIT]=1

所以我们使用自增  ++  ，读取变量前先自增，这样第一行的结果就是  S[TIME_WAIT]=1

第二行同理 S[ESTABLISHED]=1

第三行 又是 S[TIME_WAIT]，这一行数组元素会增加1
，S[TIME_WAIT]=2

sed命令：

sed 本身也是一个管线命令，可以分析 standard input ！
而且 sed 还可以将数据进行取代、删除、新增、撷取特定行等等的功能

[root@www ~]# sed [-nefr] [动作]
选项与参数：
-n  ：使用安静(silent)模式。在一般 sed 的用法中，所有来自 STDIN
      的数据一般都会被列出到萤幕上。
      但如果加上 -n 参数后，则只有经过  sed 特殊处理的那一行(或者动作)才会被列出来。

-e  ：直接在命令列模式上进行 sed 的动作编辑；

-f  ：直接将 sed 的动作写在一个文件内， -f filename 则可以运行 filename 内的 

sed 动作；
-r  ：sed 的动作支持的是延伸型正规表示法的语法。(默认是基础正规表示法语法)

-i  ：直接修改读取的文件内容，而不是由萤幕输出。

动作说明：  [n1[,n2]]function

n1, n2 ：不见得会存在，一般代表『选择进行动作的行数』，举例来说，如果我的动作
         是需要在 10 到 20 行之间进行的，则『 10,20[动作行为] 』

function 有底下这些：

 a   ：新增， a 的后面可以接字串，而这些字串会在新的一行出现(目前的下一行)～

 c   ：取代， c 的后面可以接字串，这些字串可以取代 n1,n2 之间的行！

 d   ：删除，因为是删除啊，所以 d 后面通常不接任何；

 i   ：插入， i 的后面可以接字串，而这些字串会在新的一行出现(目前的上一行)； 
 p ： 将某个选择的数据印出。通常 p 会与参数 sed -n 一起运行～ 
 s ：取代，通常这个 s 的动作可以搭配 正规表示法！例如 1,20s/old/new/g 

注意：单引号内没法通过\’这样来转义；
           双引号内可以用\”来转义

sed 删除

范例一：将 /etc/passwd 的内容列出并且列印行号，同时，请将第 2~5 行删除！
[root@www ~]# nl /etc/passwd | sed '2,5d'
     1  root:x:0:0:root:/root:/bin/bash
     6  sync:x:5:0:sync:/sbin:/bin/sync
     7  shutdown:x:6:0:shutdown:/sbin:/sbin/shutdown
.....(后面省略).....

删除第二行   sed '2d'

删除第2至5行  sed '2,5d' 
删除第二行到最后   sed '2,$d'
删除hello所在的整行 sed -i '/hello/d' 

sed 增加

在第二行后(亦即是加在第三行)加上『drink tea?』字样！

sed '2a drink tea '

在第二行前 增加
sed '2i drink tea'

替换：c、s

将第2-5行的内容取代成为『No 2-5 number』

sed '2,5c No 2-5 number'

、

sed 's/要被取代的字串/新的字串/g'
注意：s为替换每行第一个匹配字串；s g 为替换每行所有匹配字串

inet addr:192.168.1.100  Bcast:192.168.1.255  Mask:255.255.255.0

将开始到 addr: 通通删除        sed
's/^.*addr://g'

将ip地址后面通透删除   sed 's/Bcast.*$//g'

替换匹配行中的某个字符串
sed -i '/匹配行字符串/s/替换字符串/新字符串/g' $file

将3到5行中 A替换为B
sed -i '3,5s/A/B/g'

替换每行第一个匹配的字串
sed 's/A/B/1'
替换每行第二个匹配的字串
sed 's/A/B/2'
只替换每行第3个匹配以后的字串
sed 's/A/B/3g'


sed 显示功能

以前想要列出第 11~20 行， 得要透过『head -n 20 | tail -n 10』之类的方法来处理，很麻烦啦～

sed 则可以简单的直接取出你想要的那几行

仅列出 /etc/passwd 文件内的第 5-7 行

cat /etc/passwd | sed -n '5,7p'  一定使用 -n

• sed直接修改文件内容(危险动作)

sed 甚至可以直接修改文件的内容呢！而不必使用管线命令或数据流重导向！

利用 sed 将 regular_express.txt 内每一行结尾若为 . 则换成 !
# sed -i 's/\.$/\!/g' regular_express.txt
# 上头的 -i 选项可以让你的 sed 直接去修改后面接的文件内容而不是由萤幕输出！

利用 sed 直接在 regular_express.txt 最后一行加入『# This is a test』
# sed -i '$a # This is a test' regular_express.txt
# 由於 $ 代表的是最后一行，而 a 的动作是新增，因此该文件最后新增罗！