awk 留底
属性 | 描述 |
---|---|
NR | 已读入的总记录数 |
ARGIND | 当前被处理参数标志 |
FILENAME | 当前输入文件名 |
FS | 输入域分隔符,默认为一个空格 |
RS | 输入记录分隔符 |
NF | 当前记录里域个数 |
SUBSEP | 下标分隔符 "\034" |
array[index] = value :数组名array,下标index以及相应的值value。
<2>读取数组值
{ for (item in array) print array[item]} # 输出的顺序是随机的
{for(i=;i<=len;i++) print array[i]} # Len 是数组的长度
<3>多维数组,array[index1,index2,……]:SUBSEP是数组下标分割符,默认为“\034”。可以事先设定SUBSEP,也可以直接在SUBSEP的位置输入你要用的分隔符,如:
awk 'BEGIN{SUBSEP=":";array["a","b"]=1;for(i in array) print i}'
a:b
awk 'BEGIN{array["a"":""b"]=1;for(i in array) print i}'
a:b
但,有些特殊情况需要避免,如:
awk 'BEGIN{
SUBSEP=":"
array["a","b:c"]= # 下标为“a:b:c”
array["a:b","c"]= #下标同样是“a:b:c”
for (i in array) print i,array[i]}'
a:b:c #所以数组元素只有一个。
<4>删除数组或数组元素: 使用delete 函数
delete array #删除整个数组
delete array[item] # 删除某个数组元素(item)
<5> 排序:awk中的asort函数可以实现对数组的值进行排序,不过排序之后的数组下标改为从1到数组的长度。在gawk 3.1.2以后的版本还提供了一个asorti函数,这个函数不是依据关联数组的值,而是依据关联数组的下标排序,即asorti(array)以后,仍会用数字(1到数组长度)来作为下标,但是array的数组值变为排序后的原来的下标,除非你指定另一个参数如:asorti(a,b)。
echo 'aa
bb
aa
bb
cc' |\
awk '{a[$0]++}END{l=asorti(a);for(i=1;i<=l;i++)print a[i]}'
aa
bb
cc echo 'aa
bb
aa
bb
cc' |\
awk '{a[$0]++}END{l=asorti(a,b);for(i=1;i<=l;i++)print b[i],a[b[i]]}'
aa
bb
cc
属性 | 描述 |
---|---|
asort | asort对数组进行排序,返回数组长度 |
BEGIN{
today = strftime("%Y-%m-%d-%H", systime());
}
FILENAME == ARGV[]{ # 第一个文件 旧记录
old_user[$] = $;
}
FILENAME == ARGV[]{ # 第二个文件 新纪录
new_user[$] = $;
}
END{
log_info = "";
log_file = log_dir"user_log_info.log."today"";
for(old_uid in old_user){
if(new_user[old_uid] == ""){
log_info = log_info"leave user:"old_user[old_uid]"\n";
delete new_user[new_uid];
}
} for(new_uid in new_user){
if(old_user[new_uid] == ""){
log_info = log_info"add user:"new_user[new_uid]"\n";
delete old_user[new_uid];
}
} log_info = log_info"old count:"asort(old_user)";new count:"asort(new_user);
system(" echo '"log_info"' > "log_file);
}
分析日志shell脚本(test_log_info.sh)
#!/bin/bash yesterday(){
yy=`date +%Y` #Year yyyy
mm=`date +%m` #Month mm
dd=`date +%d` #Day dd
if [ $dd = "" ]
then
lm=`expr $mm - `
if [ $lm -eq ]
then
lm=
yy=`expr $yy - `
fi
echo lm=$lm
case $lm in
||||||) Yesterday= ;;
|||) Yesterday= ;;
)
if [ ` expr $yy % ` -eq -a `expr $yy % ` -ne -o ` expr $yy % ` -eq ]
then Yesterday=
else Yesterday=
fi ;; esac
mm=$lm
Yesterday=$Yesterday
else
Yesterday=`expr $dd - `
fi case $Yesterday
in ||||||||) Yesterday=''$Yesterday
esac
case $mm in
||||||||) mm=''$mm ;;
esac Yesterday=$yy"-"$mm"-"$Yesterday"-05"
}
yesterday
Today=`date "+%Y-%m-%d-05"`
TEMP_DIR="/home/rd/zhoubc/bak/" awk -v "log_dir="$TEMP_DIR -f test_log_info.awk $BAKDIR""test2.conf.""$Yesterday $BAKDIR""test2.conf.""$Today
调用嵌套的shell文件(test_send.sh)
#!/bin/bash
BAKDIR='/home/crontab/send_user/bak/' source test_log_info.sh
调用:
几个技术点:
shell脚本套用(source)——这样可以公用变量
source test_log_info.sh
awk多文件分别处理:
FILENAME == ARGV[1]{}
FILENAME == ARGV[2]{}
325 20 230 4918 4 1 64 0 0 64.72 36.9 25 26
803 25 33 249 4 0 74 0 0 4.0 3.5 3 2
841 0 566 8624 11 21 269 1 0 527.57 415.6 1331 825
858 8 498 11569 21 17 477 1 0 1386.29 913.87 2787 2982
1004 6 221 3222 15 7 176 1 0 900.28 673.36 712 458
相关代码:
# $11 是月日均pv量
function ceil(x){
y = int(x);
return (x > y ? y + 1 : y)
}
# 取中位数
function get_median(arr){
len = asort(arr);
#for(i = 1; i <= len; i++) {
# printf("%d\t", arr[i]);
#}
#printf("\n"); mid = ceil(len/ 2);
if(len%2 == 0){
return ceil((arr[mid] + arr[mid + 1]) / 2);
}
#printf("mid=%d\n", mid);
return arr[mid];
} BEGIN{
}
{
if(!($2 in cardTypeTree)){
cardTypeTree[$2] = $11;
} else {
cardTypeTree[$2] = cardTypeTree[$2]"_"$11;
}
}
END{
system("rm -f ./parseType.txt")
for(key in cardTypeTree){
split(cardTypeTree[key], array, "_")
printf("%-10s\t%d\t%-10s\n", key, length(array), get_median(array))
system("echo '"key"\t"length(array)"\t"get_median(array)"' >> ./parseType.txt")
}
}
执行结果如下:
awk 留底的更多相关文章
- awk命令简介
awk是一个强大的文本分析工具,相对于grep的查找,sed的编辑,awk在其对数据分析并生成报告时,显得尤为强大.简单来说awk就是把文件逐行的读入,以空格为默认分隔符将每行切片,切开的部分再进行各 ...
- awk使用说明
原文地址:http://www.cnblogs.com/verrion/p/awk_usage.html Awk使用说明 运维必须掌握的三剑客工具:grep(文件内容过滤器),sed(数据流处理器), ...
- awk应用
h3 { color: rgb(255, 255, 255); background-color: rgb(30,144,255); padding: 3px; margin: 10px 0px } ...
- 3.awk数组详解及企业实战案例
awk数组详解及企业实战案例 3.打印数组: [root@nfs-server test]# awk 'BEGIN{array[1]="zhurui";array[2]=" ...
- shell——awk
awk -F"分隔符" "command" filename awk -F":" '{print $1}' /etc/passwd 字段引用 ...
- 【Linux】AWK入门
什么是AWK AWK是一种用于处理文本的编程语言工具,一个模式匹配程序.一个典型的示例是将数据转换成格式化的报告. 在命令行输入如下awk命令: awk -F":" '{ prin ...
- 基本shell编程【3】- 常用的工具awk\sed\sort\uniq\od
awk awk是个很好用的东西,大量使用在linux系统分析的结果展示处理上.并且可以使用管道, input | awk '' | output 1.首先要知道形式 awk 'command' fi ...
- sed awk grep三剑客常用
sed的常用用法: awk的常用用法: grep的常用用法: 除了列出符合行之外,并且列出后10行. grep -A 10 Exception kzfinance-front.log 除了列出符合行之 ...
- awk命令速查
awk与sed.grep一样都是为了加工数据流而做成的文本加工过滤器命令.awk会事先把输入的数据根据字段单位进行分割.在没有制定分割单位的情况下,以输入数据中的空格或Tab为分隔符.与sed相比,它 ...
随机推荐
- Python-面向对象(类)二
一.成员修饰符 • 共有成员 • 私有成员 __+字段 __:成员修饰符 无法直接访问,只能通过该成员所属类的方法简介访问 class Foo: def __init__(self, name, ag ...
- fragment嵌套问题
fragment嵌套里面不能用再用getActivity().getFragmentManager()要用getChildFragmentManager()
- 连接Linux下 XAMPP集成环境中部署的禅道的数据库MariaDB
用mysql数据库工具连接linuxmysql环境,但是会遇到连接失败的问题,如下所示: 这就需要涉及到另外的问题了,需要我们打开mysql的连接授权,具体的操作步骤如下: 1)在xshell里进入m ...
- RadioButton(单选按钮)文字在按钮的左边
<RadioButton style="@style/CustomCheckboxTheme" android:layout_width="fill_parent& ...
- Objective-C开发编码规范【转载】
概要 Objective-C是一门面向对象的动态编程语言,主要用于编写iOS和Mac应用程序.关于Objective-C的编码规范,苹果和谷歌都已经有很好的总结: Apple Coding Guide ...
- eval解析JSON中的注意点
在JS中将JSON的字符串解析成JSON数据格式,一般有两种方式: 1.一种为使用eval()函数. 2. 使用Function对象来进行返回解析. 使用eval函数来解析,并且使用jquery ...
- EXT5 时间框控制(开始时间不能大于结束时间)
1.网上看的大部分代码都是利用vtype : 'dateRange' EXT的这个属性,但是可能由于环境问题还是怎么样,我就是实现不了想要的效果. 然后研究了一下,在时间框的listeners 监听 ...
- The innocence is brilliant.
[11.20~12.20] 2016年的最后一个月在听Avril的歌,感觉她发音状态好好(对此建议去听<Wish You Were Here>!!!) 到此12月份的活都干完了吧~还剩最后 ...
- dedecms为文档页增加动态点击
加上 <script src="{dede:field name='phpurl'/}/count.php?view=yes&aid={dede:field name='id' ...
- 使用docker toolbox 在windows上搭建统一环境
1.先下载docker toolbox 以下是下载地址: http://get.daocloud.io/#install-docker-for-mac-windows 2.下载安装 git windo ...