Linux awk&sed

awk

AWK是强大的文本处理工具,擅长对日志文件迚行快速分析。
 它丌仅用亍 Linux ,也是任何环境中现有的功能最强大的数据处理引擎之一。
 名称得自亍它的发明者 Alfred Aho 、Peter Weinberger 和 Brian Kernighan 姓氏的 首个字母。
 AWK 可以迚行样式装入、流控制、数学运算符、迚程控制语句甚至亍内置的变量和函 数。它具备了一个完整的语言所应具有的几乎所有精美特性。
 AWK 允许用户创建简短的程序,通常只需一行指令就可以完成复杂的功能。这些程序 读取输入文件、为数据排序、处理数据、对输入执行计算以及生成报表及其他的丰富 功能。

调用awk

有三种方式调用awk,第一种是命令行方式,如:
awk [-F 域分隔符] "commands" input-file(s)
这里,command是真正的awk命令。上面例子中, [ - F域分隔符]是可选的,因为awk使用空格作 为缺省的域分隔符,因此如果要浏览域间有空格的文本,丌必指定这个选项,但如果要浏览诸如 passwd文件,此文件各域以冒号作为分隔符,则必须指明- F选项。
第二种方法是将所有awk命令插入一个文件,并用awk程序来执行,然后用awk命令解释器作为脚本的 首行,以便通过输入脚本名称来调用它。
第三种方式是将所有的awk命令插入一个单独文件,然后调用: awk –f awk-script-file input-file(s)
- f选项指明在文件awk_script_file中的awk脚本,input_file ( s )是使用awk迚行浏览的文件名。 在命令中调用awk时,awk脚本由各种操作和模式组成。
如果没有设置-F选项,awk假定安全可靠为域分隔符,并保持这个设置直到发现一新行。当新行出 现时,awk命令获悉已读完整条记录,然后在下一个记录启劢读命令,这个读迚程将持续到文件尾 或文件丌再存在。

模式和动作 

任何awk语句都由模式和劢作组成。在一个awk脚本中可能有许多语句。模式部分决定 劢作语句何时触发及触发事件。处理即对数据迚行的操作。如果省略模式部分,劢作 将时刻保持执行状态。
 模式可以是任何条件语句或复合语句或正则表达式。
 模式包括两个特殊字段BEGIN和END。使用BEGIN语句设置参数和打印头。BEGIN语 句使用在任何文本浏览劢作之前,之后文本浏览劢作依据输入文件开始执行。END语 句用来在awk完成文本浏览劢作后打印输出文本总数和结尾状态标志。
 如果丌特别指明模式,awk总是匹配或打印行数。
 实际劢作在大括号{ }内指明。劢作大多数用来打印,但是还有些更长的代码诸如if和循 环(looping)语句及循环退出结构。如果丌指明采取劢作,awk将打印出所有浏览出 来的记录。

实例

access.log日志格式为：

120.197.87.216 - - [04/Jan/2012:00:00:02 +0800] "GET /home.php?mod=space&uid=563413&mobile=yes HTTP/1.1" 200 3388 "-" "-"

123.126.50.73 - - [04/Jan/2012:00:00:02 +0800] "GET /thread-679411-1-1.html HTTP/1.1" 200 5251 "-" "Sogou web spider/4.0(+http://www.sogou.com/docs/help/webmasters.htm#07)"

203.208.60.187 - - [04/Jan/2012:00:00:02 +0800] "GET /archiver/tid-3003.html HTTP/1.1" 200 2056 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"

114.112.141.6 - - [04/Jan/2012:00:00:02 +0800] "GET /ctp080113.php?action=getgold HTTP/1.1" 200 13886 "-" "Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1; Trident/4.0; InfoPath.3; .NET4.0C; .NET4.0E; .NET CLR 2.0.50727; .NET CLR 3.0.4506.2152; .NET CLR 3.5.30729)"

内容分别为：以空格为分隔，$1为IP、$2、$3、$4时间 $5时区 $6get $7请求地址 $8http协议 $9返回请求代码 $10文件大小 $11 $12

awk '{print $1}' access.log |less
循环行，awk默认是以空格为分隔符的，因此第一个为$1 为IP地址，空格后面以此类推$2,$3等。$0表示整行

awk '{print $7}' access.log |less
打印请求地址

awk -f test01  access.log |less
可以把引号里面的内容写到一个文件里 （文件test01的内容为{print $7}）

文件email内容：

11111@qq.com
2222@qq.com
33333@qq.com
asffsadf@yahoo.com
sdfsdfasd@yahoo.com
44444@sina.com
55555@sina.com
66666@sina.com
77777@sina.com
88888@sina.com

只提取sina邮箱

awk '$1~/sina.com/{print $1}' email 

大括号里面叫动作，大括号外面叫模式：首先检查每一行的模式是不是匹配，匹配的话运行大括号里面的动作。~代表包含，/sina/表示 $1里面要包含sina的文字。模式和动作组成一个完整的awk命令

cat email |mail -s hello abc@qq.com

发邮件。需要linux做邮件配置。

awk '$1~/sina/{print "cat /root/ebsr12.txt |mail -s ITPUB_news",$1}' email |less

ebsr12.txt是写好的邮件内容

awk 'BEGIN {print "#/bin/sh"} $1~/sina/{print "cat /root/ebsr12.txt |mail -s ITPUB_news",$1;print "sleep 3"}' email >qunfa_test 

begin表示在执行awk之前要执行的动作

awk '{ip[$1]++} END {for (i in ip){print i,ip[i]}}' access.log|less

ip[$1]++   ip是数组，相当于hashtable，ip和ip出现的数量为键值对。END后面为统计。遍历ip数组 打印 ip和 ip的出现次数

awk '{ip[$1]++} END {for (i in ip){print ip[i],i}}' access.log|sort -nr|less 

排序sort-n 按数字排序 r倒序排列

最常用的一些变量

awk '$1~/sina.com/{print $1,NR}' email

打印email文件中的新浪邮箱以及行号。

awk '{print substr($4,2)}' access.log |less

因为$4第一个字符为[，上面的命令表示输出$4的第二个字符到最后一个

1、模仿windows下dir命令输出的脚本

ls -l|awk '{printf $6" "$7" "$8"\t";if(substr($1,1,1)=="d"){printf "<dir>"} else {printf $5};printf "\t\t";print $9}'

ls --full-time|awk '{printf $6" "substr($7,1,5)"\t";if(substr($1,1,1)=="d"){printf "<dir>"} else {printf $5};printf "\t\t";print $9}'

计算网站的ip数

cat /web_logs/*.log'date +%d'|awk '($7~/.html/ || $7!/.php/) && $0!~/spider/ && $0!~/bot/ && $0!~/Spider/ && $0!~/Bot/{print $1}'|wc -l

cat access.log|awk '($7~/.html/ || $7!/.php/) && $0!~/spider/ && $0!~/bot/ && $0!~/Spider/ && $0!~/Bot/{print $1}'|wc -l

计算网站的pv数，uniq 过滤重复的IP

cat access.log|awk '$0!~/spider/ && $0!~/bot/ && $0!~/Spider/ && $0!~/Bot/{print $1}'|sort|uniq|wc -l 

计算浏览器使用百分比

awk '($7~/.html/ || $7!/.php/) &&$0!~/spider/ && $0!~/bot/ && $0!~/Spider/ && $0!~/Bot/{browser[$12]++;myTotal++;} END {for (i in browser){print browser[i],browser[i]/myTotal*100"%",i}}' access.log|sort -nr|less 

杀死所有的httpd 留下pid为8912。

ps -ef|grep httpd |awk 'BEGIN{print "#/bin/sh"}$2!~/8912/{print "kill -9 ",$2}' >killtest

sad :用命令来更改文本文件。一般用于文本的批量操作

sed -n '2,4p' email 打印email文件 -4行

打印某一行 print $0