转自ChinaUnix论坛,感谢作者整理。

在文本处理的工作中,awk的数组是必不可少的工具,在这里,同样以总结经验和教训的方式和大家分享下我的一些学习心得,如有错误的地方,请大家指正和补充。

awk的数组,一种关联数组(Associative Arrays),下标可以是数字和字符串。因无需对数组名和元素提前声明,也无需指定元素个数 ,所以awk的数组使用非常灵活。
首先介绍下几个awk数组相关的知识点:

<1>建立数组

  1. array[index] = value :数组名array,下标index以及相应的值value。

复制代码

<2>读取数组值

  1. { for (item in array)  print array[item]} # 输出的顺序是随机的
  2. {for(i=1;i<=len;i++)  print array[i]} # Len 是数组的长度

复制代码

<3>多维数组,array[index1,index2,……]:SUBSEP是数组下标分割符,默认为“\034”。可以事先设定SUBSEP,也可以直接在SUBSEP的位置输入你要用的分隔符,如:

  1. awk 'BEGIN{SUBSEP=":";array["a","b"]=1;for(i in array) print i}'
  2. a:b
  3. awk 'BEGIN{array["a"":""b"]=1;for(i in array) print i}'
  4. a:b

复制代码

但,有些特殊情况需要避免,如:

  1. awk 'BEGIN{
  2. SUBSEP=":"
  3. array["a","b:c"]=1               # 下标为“a:b:c”
  4. array["a:b","c"]=2               #下标同样是“a:b:c”
  5. for (i in array) print i,array[i]}'
  6. a:b:c 2                                 #所以数组元素只有一个。

复制代码

<4>删除数组或数组元素: 使用delete 函数

  1. delete array                     #删除整个数组
  2. delete array[item]           # 删除某个数组元素(item)

复制代码

<5> 排序:awk中的asort函数可以实现对数组的值进行排序,不过排序之后的数组下标改为从1到数组的长度。在gawk 3.1.2以后的版本还提供了一个asorti函数,这个函数不是依据关联数组的值,而是依据关联数组的下标排序,即asorti(array)以后,仍会用数字(1到数组长度)来作为下标,但是array的数组值变为排序后的原来的下标,除非你指定另一个参数如:asorti(a,b)。(非常感谢lionfun对asorti的指正和补充

  1. echo 'aa
  2. bb
  3. aa
  4. bb
  5. cc' |\
  6. awk '{a[$0]++}END{l=asorti(a);for(i=1;i<=l;i++)print a[i]}'
  7. aa
  8. bb
  9. cc
  10. echo 'aa
  11. bb
  12. aa
  13. bb
  14. cc' |\
  15. awk '{a[$0]++}END{l=asorti(a,b);for(i=1;i<=l;i++)print b[i],a[b[i]]}'
  16. aa 2
  17. bb 2
  18. cc 1

复制代码

下面说awk数组的实际应用。

1.  除去重复项, 这个不多说, 只给出代码:

  1. awk '!a[$0]++' file(s)
  2. awk '!($0 in a){a[$0];print}' file(s)

复制代码

另一种:http://bbs.chinaunix.net/thread-1859344-1-1.html

2. 计算总数(sum),如:

  1. awk  '{name[$0]+=$1};END{for(i in name) print  i, name[i]}'
  2. 再举个例子:
  3. echo "aaa 1
  4. aaa 1
  5. ccc 1
  6. aaa 1
  7. bbb 1
  8. ccc 1" |awk '{a[$1]+=$2}END{for(i in a) print i,a[i]}'
  9. aaa 3
  10. bbb 1
  11. ccc 2

复制代码

3. 查看文件差异。

  1. cat file1
  2. aaa
  3. bbb
  4. ccc
  5. ddd
  6. cat file2
  7. aaa
  8. eee
  9. ddd
  10. fff

复制代码

<1>  合并file1和file2,除去重复项:

  1. awk 'NR==FNR{a[$0]=1;print}   #读取file1,建立数组a,下标为$0,并赋值为1,然后打印
  2. NR>FNR{                   #读取file2
  3. if(!(a[$0])) {print }      #如果file2 的$0不存在于数组a中,即不存在于file1,则打印。
  4. }' file1 file2
  5. aaa
  6. bbb
  7. ccc
  8. ddd
  9. eee
  10. fff

复制代码

<2> 提取文件1中有,但文件2中没有:

  1. awk 'NR==FNR{a[$0]=1}           #读取file2,建立数组a,下标为$0,并赋值为1
  2. NR>FNR{                   #读取file1
  3. if(!(a[$0])) {print }      #如果file1 的$0不存在于数组a中,即不存在于file2,则打印。
  4. }' file2 file1
  5. bbb
  6. ccc

复制代码

另:http://bbs.chinaunix.net/viewthr ... &page=1#pid15547885

4.  排序:

  1. echo "a
  2. 1
  3. 0
  4. b
  5. 2
  6. 10
  7. 8
  8. 100" |
  9. awk '{a[$0]=$0} #建立数组a,下标为$0,赋值也为$0
  10. END{
  11. len=asort(a)      #利用asort函数对数组a的值排序,同时获得数组长度len
  12. for(i=1;i<=len;i++) print i "\t"a[i]  #打印
  13. }'
  14. 1       0
  15. 2       1
  16. 3       2
  17. 4       8
  18. 5       10
  19. 6       100
  20. 7       a
  21. 8       b

复制代码

5.  有序输出:采用(index in array)的方式打印数组值的顺序是随机的,如果要按原序输出,则可以使用下面的方法:http://bbs2.chinaunix.net/viewthread.php?tid=1811279

  1. awk '{a[$1]=$2
  2. c[j++]=$1}
  3. END{
  4. for(m=0;m<j;m++)print c[m],a[c[m]]
  5. }'

复制代码

6.  多个文本编辑:这里主要指的是待处理的文本之间的格式上有区别,如分隔符不同,;或是待处理文本需提取的信息的位置不同,如不同的列或行。
<例1>:

  1. cat file1
  2. g1.1 2
  3. g2.2 4
  4. g2.1 5
  5. g4.1 3
  6. cat file2
  7. g1.1 2
  8. g1.2 3
  9. g4.1 4
  10. cat file3
  11. g1.2 3
  12. g5.1 3

复制代码

要求输出:

  1. g1.1 2 2 -
  2. g1.2 - 3 3
  3. g2.2 4 - -
  4. g2.1 5 - -
  5. g4.1 3 4 -
  6. g5.1 - - 3

复制代码

实现代码如下:

  1. awk '{a[ARGIND" "$1]=$2 # ARGIND是当前命令行文件的位置(从0开始),将它和第一列的value作为下标,建立数组a。
  2. b[$1]   #将第一列的value作为下标,建立数组b,目的是在读完所有文件之后,能得到第一列value的uniqe-list。
  3. }
  4. END{
  5. for(i in b) {
  6. printf i" "
  7. for(j=1;j<=ARGIND;j++) printf "%s ", a[j" "i]?a[j" "i]:"-" #此时的ARGIND值为3.
  8. print ""
  9. }
  10. }' file1 file2 file3

复制代码

这里是利用awk的内置变量ARGIND来处理完成对文件的处理。关于ARGIND,ARGV,ARGC的使用,大家可以参考:http://bbs.chinaunix.net/viewthr ... 0335&from=favorites
当然,我们也可以利用另外一个内置变量FILENAME来完成相同的任务(大家可以先想想怎么写),如下:

  1. awk '{a[FILENAME" "$1]=$2;b[$1];c[FILENAME]}END{for(i in b) {printf i" ";for(j in c) printf "%s ", a[j" "i]?a[j" "i]:"-";print""}}' file1 file2 file3

复制代码

<例2>:对上面的数据的格式稍作改动,每个文件的分隔符都一样的情况,但输出要求不变:

  1. cat file1
  2. g1.1|2
  3. g2.2|4
  4. g2.1|5
  5. g4.1|3
  6. cat file2
  7. g1.1#2
  8. g1.2#3
  9. g4.1#4
  10. cat file3
  11. g1.2@3
  12. g5.1@3

复制代码

实现代码如下:

  1. awk '{a[ARGIND" "$1]=$2
  2. b[$1]
  3. }
  4. END{
  5. for(i in b) {
  6. printf i" "
  7. for(j=2;j<=ARGIND;j+=2) printf "%s ", a[j" "i]?a[j" "i]:"-" # 由于FS的设置也是有对应ARGIND值,所以对ARGIND稍作改动。
  8. print ""
  9. }
  10. }' FS="|" file1 FS="#" file2 FS="@" file3 # 对每个文件分别设置FS的值。

复制代码

因为这个例子的数据比较简单,我们也可以在BEGIN模块中完成对FS值设置,如下:

  1. awk 'BEGIN{FS="[|#@]"}{a[ARGIND" "$1]=$2; b[$1]}END{for(i in b) {printf i" ";for(j=1;j<=ARGIND;j++) printf "%s ", a[j" "i]?a[j" "i]:"-"; print ""}}' file1 file2 file3

复制代码

利用FILENAME 同样可以解决问题:

  1. awk '
  2. FILENAME=="file1"{FS="|"}    # 设置FS
  3. FILENAME=="file2"{FS="#"}   #设置FS
  4. FILENAME=="file3"{FS="@"}  #设置FS
  5. # 稍显繁琐,不过一目了然
  6. {$0=$0}                                   #使FS生效。
  7. {a[ARGIND" "$1]=$2; b[$1]}
  8. END{ for(i in b) {printf i" "; for(j=1;j<=ARGIND;j++) printf "%s ", a[j" "i]?a[j" "i]:"-"; print ""}
  9. }' file1 file2 file3

复制代码

推荐一个关于数组处理文件的帖子http://www.chinaunix.net/jh/24/577044.html ,里面有不少例子供大家学习。

7.  文本翻转或移位:二维或多维数组的应用
<例1>:

  1. Inputfile
  2. 1 2 3 4 5 6
  3. 2 3 4 5 6 1
  4. 3 4 5 6 1 2
  5. 4 5 6 1 2 3
  6. Outputfile
  7. 4 3 2 1
  8. 5 4 3 2
  9. 6 5 4 3
  10. 1 6 5 4
  11. 2 1 6 5
  12. 3 2 1 6
  13. awk '{
  14. if (max_nf < NF)
  15. max_nf = NF # 数组第一维的长度
  16. max_nr = NR      # 数组第二维的长度
  17. for (x = 1; x <= NF; x++)
  18. vector[x, NR] = $x #建立数组vector
  19. }
  20. END {
  21. for (x = 1; x <= max_nf; x++) {
  22. for (y = max_nr; y >= 1; --y)
  23. printf("%s ", vector[x, y])
  24. printf("\n")
  25. }
  26. }'

复制代码

<例2>:来自http://bbs.chinaunix.net/viewthr ... &page=1#pid13339226
有两个文本a和b,要求输出c文本,合并的规则是按照第一行的headline(按字母顺序)合并文本a和b,空缺按“0”补齐。

  1. cat a.txt
  2. a b c d
  3. 1 2 9 7
  4. 4 5 8 9
  5. 5 3 6 1
  6. cat b.txt
  7. a e f d g
  8. 9 2 4 7 3
  9. 4 3 7 9 4
  10. cat c.txt
  11. a b c d e f g
  12. 1 2 9 7 0 0 0
  13. 4 5 8 9 0 0 0
  14. 5 3 6 1 0 0 0
  15. 9 0 0 7 2 4 3
  16. 4 0 0 9 3 7 4

复制代码

下面我们来参看并解读下Tim大师的代码:

  1. awk '
  2. FNR==1{    #FNR==1,即a和b文本的第一行,这个用的真的很巧妙。
  3. for(i=1;i<=NF;i++){
  4. b[i]=$i    #读取文本的每个元素存入数组b
  5. c[$i]++}  #另建立数组c,并统计每个元素的个数
  6. next          #可以理解为,读取FNR!=1的文本内容。
  7. }
  8. {k++                                     # 统计除去第一行的文本行数
  9. for(i=1;i<=NF;i++)a[k","b[i]]=$i  #利用一个二维数组来保持每个数字的位置, k,b[i]可以理解为每个数字的坐标。
  10. }
  11. END{
  12. l=asorti(c)          #利用asorti函数对数组的下标进行排序,并获取数组长度,即输出文件的列数(NF值)
  13. for(i=1;i<=l;i++)printf c[i]" " # 先打印第一行,相当于headline。
  14. print ""
  15. for(i=1;i<=k;i++){
  16. for(j=1;j<=l;j++)printf a[i","c[j]]?a[i","c[j]]" ":"0 " # 打印二维数组的值。
  17. print ""}
  18. }' a.txt b.txt

复制代码

8.  选择性打印:
打印某个关键字前几行,以3行为例:

  1. seq 20 |awk '/\<10\>/{for(i=NR-3;i<NR;i++)print a[i%3];exit}{a[NR%3]=$0}'
  2. 7
  3. 8
  4. 9

复制代码

利用NR取余数,建立数组,这是一种非常高效的代码。

9. 通过split函数建立数组:数组的下标为从1开始的数字。

  1. split(s, a [, r]) # s:string, a:array name,[,r]:regular expression。
  2. echo 'abcd' |awk '{len=split($0,a,"");for(i=1;i<=len;i++) print "a["i"] = " a[i];print "length = " len}'
  3. a[1] = a
  4. a[2] = b
  5. a[3] = c
  6. a[4] = d
  7. length = 4

复制代码

10. awk数组使用的小技巧和需要避免的用法:

<1> 嵌套数组:

  1. awk 'BEGIN{a[1]=3;b[1]=1;print a[b[1]]}'
  2. 3

复制代码

<2> 下标设为变量或函数:

  1. awk 'BEGIN{s=123;a[substr(s,2)]=substr(s,1,1);for(i in a)print "index : "i"\nvalue : "a[i]}'
  2. index : 23
  3. value : 1

复制代码

<3> 不可以将数组名作为变量使用,否则会报错:

  1. awk 'BEGIN{a["1"] = 3; delete a;a=3;print a}'  #即使你已经使用了delete函数。
  2. awk: fatal: attempt to use array `a' in a scalar context

复制代码

<4> 数组的长度:

  1. length(array)

复制代码

<5> match 函数也可以建立数组(你知道么?,版本要求高于gawk 3.1.2)

  1. echo "foooobazbarrrrr |
  2. gawk '{ match($0, /(fo+).+(bar*)/, arr)  #匹配到的部分自动赋值到arr中,下标从1开始
  3. print arr[1], arr[2]
  4. print arr[1, "start"], arr[1, "length"]  #二维数组arr[index,"start"]值=RSTART
  5. print arr[2, "start"], arr[2, "length"]  #二维数组arr[index,"length"]值=RLENGTH
  6. }'
  7. foooo barrrrr
  8. 1 5
  9. 9 7

复制代码

<6>想到过用split清空数组么?

  1. awk 'BEGIN{
  2. split("abc",array,"")
  3. print "array[1] = "array[1],"\narray[2] = "array[2],"\narray[3] = "array[3]
  4. split("",array)
  5. print "array[1] = "array[1],"\narray[2] ="array[2],"\narray[3] ="array[3]
  6. }'
  7. array[1] = a
  8. array[2] = b
  9. array[3] = c
  10. array[1] =
  11. array[2] =
  12. array[3] =

复制代码

AWK处理数组的更多相关文章

  1. awk操作数组注意几点

    awk的数组跟其他程序设计语言的数组有所不同:1.可以直接在awk中定义数组:2.数组元素的初始值为0或空字符串,除非他们被显示的指定初始化:3.数组可以自动扩展:4.都是关联数组,数字下标也会转成字 ...

  2. shell 之awk 关联数组高级应用

    最近由于数据迁移过,有些用户信息需要再次确认下,也许数据量比较大,但是需要最终确认的比如说是用户ID和其对应的用户积分数,这样就会导致出现文本a(老的数据),文本b(新的数据).比如 这是文本a.tx ...

  3. shell编程系列21--文本处理三剑客之awk中数组的用法及模拟生产环境数据统计

    shell编程系列21--文本处理三剑客之awk中数组的用法及模拟生产环境数据统计 shell中的数组的用法: shell数组中的下标是从0开始的 array=("Allen" & ...

  4. linux中利用awk对数组进行排序

    数组 在排序前需要对数组有所了解,数组是用于存储一系列值得变量,这些值之间通常是由联系的,可通过索引来访问数组的值,索引需要用括号括起来,基本格式如下: array[index]=value awk数 ...

  5. awk结合数组统计

    1.统计用户登录类型 #!/bin/bashdeclare -A  shells (定义关联数组shells)while read ll   (读取/etc/passwd,ll为变量) dotype= ...

  6. awk的数组使用经历

    背景:之前是一个数学妞,所以操作系统类的就由windows系列霸占了,甚至“cmd"是什么东西,环境变量是什么概念......其实说那么多就是想表明一点:你现在很有可能比我知道得多得多呢! ...

  7. 【译】 AWK教程指南 5AWK中的数组

    awk程序中允许使用字符串当做数组的下标(index).利用这个特色十分有助于资料统计工作.(使用字符串当下标的数组称为Associative Array) 首先建立一个数据文件,并取名为 reg.d ...

  8. 【转】awk数组操作

    转自:http://blog.csdn.net/wangran51/article/details/9168361 用awk进行文本处理,少不了就是它的数组处理.那么awk数组有那些特点,一般常见运算 ...

  9. 【转】awk 数组用法【精华贴】

    文本处理的工作中,awk的数组是必不可少的工具,在这里,同样以总结经验和教训的方式和大家分享下我的一些学习心得,如有错误的地方,请大家指正和补充. awk的数组,一种关联数组(Associative ...

随机推荐

  1. GridLayout和GridView的区别

    GridView是一种适配器布局,它的继承关系是ViewGroup-->AdapterView-->AbsListView-->GridView,他是从一个adapter中取出内容填 ...

  2. leveldb源码分析--BloomFilter

    bloomfilter是leveldb中的一大性能利器,所以为了文章的表现完整性这里新启这么一篇文章.leveldb中的bloomfilter的实现在bloom.cc中,是一个较为简单的实现,所以就不 ...

  3. Jmeter中自动重定向与跟随重定向的区别

    一.重定向就是通过各种方法将各种网络请求重新定个方向转到其它位置. 二.我们在网站建设中,时常会遇到需要网页重定向的情况: 1.网站调整(如改变网页目录结构): 2.网页被移到一个新地址: 3.网页扩 ...

  4. 网工最实用最常用的网络命令之一——Ping 命令详解(一)

    Ping是Windows.Unix和Linux系统下的一个命令.ping也属于一个通信协议,是TCP/IP协议的一部分.利用“ping”命令可以检查网络是否连通,可以很好地帮助我们分析和判定网络故障. ...

  5. [Linux|DBA]运维三十六计

    这里是腾讯两位大神梁定安.周小军总记得运维DBA三十六计--

  6. MySQL: Connection Character Sets and Collations

    character_set_server collation_servercharacter_set_databasecollation_database character_set_clientch ...

  7. setuid、setgid、sticky的权限简单用法

    如何设置setuid.setgid.sticky的权限: setuid :置于 u 的 x 位,原位置有执行权限,就置为 s,没有了为 S . chmod 4xxx file chmod u+s xx ...

  8. The 10 Best Neighborhoods in Seattle

    https://www.seattlemet.com/articles/2015/4/24/the-10-best-neighborhoods-in-seattle-may-2015 By Darre ...

  9. [Spark RDD_1] RDD 基本概念

    0. 说明 RDD 概述 && 创建 RDD 的方式 && RDD 编程 API(Transformation 和 Action Operations) &&a ...

  10. 移动端真机调试抓包,fiddler web debugger

    小白一枚,在公司大神指导下加之找了好多资料才勉强将fiddler的使用摸透,果然很好用. 一.设置手机 二.设置fiddler