AWK
类型
    AWK:源于AT&T实验室的AWK
    NAWK:AWK的升级版
    GAWK:GNU AWK,兼容AWK和NAWK
    
程序结构
    BEGIN语句块,可选
        BEGIN {awk-commands}
    
    BODY语句块
        /pattern/ {awk-commadns}
        
    END语句块
        END {awk-commands}
    
    例:awk
            'BEGIN{printf "sr no\tname\tsub\tmarks\n"}
            {print}
            END{this is a test}' masks.txt
    
基础语法
    格式:awk [options] file....
        例:awk ‘{print}’ masks.txt
    
    选项:
        -f:指定脚本文件
            1、创建脚本文件commands.awk
                vim command.awk
                    {print}
            2、执行
                awk -f command.awk marks.txt
        
        -v:变量赋值在程序开始前赋值
            例:awk -v name=jerry 'BEGIN{printf "Name = %s\n",name}'
            
        --dump-variables[=file]:
            输出排好序的全局变量列表和它们最终的值到文件中,默认文件维awkvars.out
            例:awk --dump-variables ''
            
        --lint[=fatal]
            检查程序的不兼容性或模棱两可的代码,参数fatal:将warning作为error
            例:awk --lint '' /bin/ls
            
        --profile[=file]
            输出一发格式化之后的程序到文件,默认文件维awkprof.out
            例:awk --profile=test.out 'BEGIN{printf "---|Header|--\n"}
                                        {print}
                                        END{printf "---|Footer|---\n"}' marks.txt
                                        
        --traditional:禁止所有的gawk规范的扩展
        
        --version:输出版本号

内置变量
    NR:记录数量,在执行过程中对应当前行号
    NF:字段数量,执行过程中对应当前行的字段数
    $0:宝行执行过程中当前行的文本内容
    $1:包含第一个字段的文本内容
    $2:包含第二个字段的内容
    FILENAM:表示正在处理的数据文件的名称
    FS:字段分割字符,默认值是空格或者制表符
    OFS:输出字段分隔符
    RS:记录分隔符,默认为换行符
    ORS:输出记录分隔符
    
    例:awk '{printf $3 $4}' marks
        输出第三和第四字段
        
        awk '/a/' marks
            输出包含a的行
            #‘/pattern/’:匹配模式,正则表达式
            
        awk ‘/a/ {print $3 "\t" $4}’ marks
            输出包含a的
            
    统计匹配模式的行数
        awk '/a/ {++cnt} END{print "Count=",cnt}' marks.txt
        
    打印超过18个字符的行
        awk ‘length($0)>18’ marks
        
    ARGC:输出命令行参数个数
        例:awk 'BEGIN{ print "Arguments =",ARGC}' one two three four
        
    ARGV:以数组的形式输出命令行参数
        例:awk 'BEGIN{
                for (i=0;i<ARGC;i++){
                    printf "ARGV[%d] = %s\n",i,ARGV[i]
                    }
                }' one two three four
                
    CONVFMT:数字的约定格式,默认是%.6g
        例:awk 'BEGIN{ print "Conversion Format =%.6g",CONVFMT}'
        
    OFMT:输出格式数字
        例:awk 'BEGIN{print "OFMT = " OFMT}'
        
    ENVIRON:环境变量的关联数值
        例:awk 'BEGIN { print ENVIRON["PATH"]}'
        
    FILENAME:当前用户名
        例:awk 'END {print FILENAME}' marks.txt

FS:字段分隔符,默认空格或制表符,可以通过选项-F来使用
        例:awk 'BEGIN{print "FS=" FS}' | cat -vte
            或
            awk -F: 'BEGIN{print "FS= " FS}' | cat -vte
            
            
    NF:字段数量,执行过程中对应当前行的字段数
        例:echo -e "one two\none two three\none two three four" | awk 'NF>2'
        
    NR:记录数量,在执行过程中对应当前行号
        例:echo -e "one two\none two three\none two three four" | awk 'NR>2'
         
操作符
    算术操作符,加减乘除取余
        +-*/%
        
        指数:num^
            或
                num **
        
        例:    $ awk 'BEGIN { a = 50; b = 20; print "(a + b) = ", (a + b) }'
    
                $ awk 'BEGIN { a = 50; b = 20; print "(a - b) = ", (a - b) }'

$ awk 'BEGIN { a = 50; b = 20; print "(a * b) = ", (a * b) }'

$ awk 'BEGIN { a = 50; b = 20; print "(a / b) = ", (a / b) }'

$ awk 'BEGIN { a = 50; b = 20; print "(a % b) = ", (a % b) }'

增减运算符
        前自增:先自增,后赋值;前自减:先自减,后赋值
        后自增:先赋值,后自增;后自减:先赋值,后自减
        $ awk 'BEGIN { a = 10; b = ++a; printf "a = %d, b = %d\n", a, b }'

$ awk 'BEGIN { a = 10; b = --a; printf "a = %d, b = %d\n", a, b }'

$ awk 'BEGIN { a = 10; b = a++; printf "a = %d, b = %d\n", a, b }'

$ awk 'BEGIN { a = 10; b = a--; printf "a = %d, b = %d\n", a, b }'
    
    赋值操作符
        awk 'BEGIN' { NAME = "Jerry"; print "my name is ",NAME}
        
    关系操作符
        ==
        !=
        <
        <=
        >
        >=
        
        例:awk 'BEGIN{ a=10;b=10;if(a==b) print "a == b"}
        
    逻辑操作符
        与或非
        &&、||、!
        
        例:awk 'BEGIN{
                num=5;if(num>4 && num<6) printf "%d is in octal format\n",num}'
                
    三元操作符
        pattern?pattern:pattern
            例:awk 'BEGIN{ a=10;b=20;(a>b)?max=a:max=b;print "max=" max}'
            
    正则表达式操作符
        匹配:~
        不匹配:!~
        
        例:tail -n 40 /var/log/nignx/access.log | awk '$0 ~ /ip\[123\.0\.0\.1\]/'
        
    数组
        语法:array_name[index]=value
            
        删除数组
            delete fruits["orange"]
            
        例:awk 'BEGIN{
                arr[0] =1;arr[1]=2;arr[2]=3';for (i in arr) printf"arr[%d] = %d\n",i,arr[i]
                }'
        
流程控制
    if(condition)
        action
        
    if(condition){
        action-1
        action-2
        ....
        action-n
        }
            
    if(condition)
        action-1
    else if(conditon2)
        action-2
    else
        action-3
        
    例: awk 'BEGIN {
            a = 30;
            if (a==10)
                print "a = 10";
            else if (a == 20)
                    print "a = 20";
                else if (a == 30)
                        print "a = 30";
            }'
            
循环
    主要语句
        for,while,do...while,break,continue,exit
        
    for(initialisation;condition;increment/decrement)
        {action}
        
    while (condition)
        {action}
    
    do
        {action}
    while(conditon)
    
    例:
        awk 'BEGIN{
            sum=0;for(i=0;i<20;++i) {sum+=i;if(sum>50) break;else print "sum="},sum
            }
        }'
        
        awk 'BEGIN{
            for (i=1;i<=20;++i) {
                if (i % 2 ==) print i;else continue
            }
        }'
        
        awk 'BEGIN{
            sum=0;for(i=0;i<20;++i){
                sum+=i;if(sum>50) exit(10);else print "sum="sum
                }
            }'
            
双向连接
    发送数据到另一个程序,然后读取结果,需要打开一个到另外一个进程的管道
    符号:|&
        #传递并保存数据,不输出到strout
    双向管道包括from和to
        例:close(to)
        
close(expr)
    关闭管道
    
    例:BEGIN {
            cmd = "tr [a-z] [A-Z]"
            print "hello, world !!!" |& cmd
            close(cmd, "to")
            cmd |& getline out
            print out;
            close(cmd);
        }
    
getline
    读取下一行内容
    例:awk '{getline;print $0}' marks.txt
    
    getline  var < file
        从file中读取,并存储在var中
            
    command | getline var
        将命令输出保存到var中
        
        例:"date" | getline var
    
system
    用于执行指定命令并返回退出状态
    例:awk 'BEGIN{ret=system("date");print ret}'

自定义函数
    function function_name(){
        function body }
    
    例:function add(num1,num2){result=num1+num2;return result}
        BEGIN {res = add(10,20);print "10+20="res}

AWK入门的更多相关文章

  1. [转]shell awk 入门,中级,高级使用

    awk很常用,对于我们在shell中分析log和file很有好处,很实用的东西,大家一起分享学习- 作为技术支持工程师,我们最最经常的工作就是要处理文本文件,不管是什么数据库最后都可以导成文本,我们就 ...

  2. AWK入门指南

    一. AWK入门指南 Awk是一种便于使用且表达能力强的程序设计语言,可应用于各种计算和数据处理任务.本章是个入门指南,让你能够尽快地开始编写你自己的程序.第二章将描述整个语言,而剩下的章节将向你展示 ...

  3. 【Linux】AWK入门

    什么是AWK AWK是一种用于处理文本的编程语言工具,一个模式匹配程序.一个典型的示例是将数据转换成格式化的报告. 在命令行输入如下awk命令: awk -F":" '{ prin ...

  4. shell awk入门

    本文参考自 http://www.cnblogs.com/zhuyp1015/archive/2012/07/11/2586985.html awk:好用的数据处理工具 awk 也是一个非常棒的数据处 ...

  5. linux命令-awk入门

    最近经常查看nginx日志,有时候需要做一些统计分析,于是就想起了awk,学习了就顺便做一个记录. 目录 概述:简单介绍awk背景原理 基本用法:常用到的awk语法 内建变量 综合实例 概述 awk是 ...

  6. awk入门【转】

    awk其实不仅仅是工具软件,还是一种编程语言.不过,本文只介绍它的命令行用法,对于大多数场合,应该足够用了. 一.基本用法 awk的基本用法就是下面的形式. # 格式 $ awk 动作 文件名 # 示 ...

  7. awk 入门教程

    作者: 阮一峰 日期: 2018年11月 7日   awk是处理文本文件的一个应用程序,几乎所有 Linux 系统都自带这个程序. 它依次处理文件的每一行,并读取里面的每一个字段.对于日志.CSV 那 ...

  8. awk入门及进阶

    awk是Linux下优良的文本处理工具,有自成一体的编程语法规则,在循环和条件判断语句等方面和C语言很像. 其一般形式是:Pattern1 {ACTIONS; } Pattern2 { ACTIONS ...

  9. [转帖]awk 入门

    awk其实不仅仅是工具软件,还是一种编程语言.不过,本文只介绍它的命令行用法,对于大多数场合,应该足够用了. http://www.ruanyifeng.com/blog/2018/11/awk.ht ...

随机推荐

  1. TP无限回复

    引入文件和css样式 <script src="__PUBLIC__/bootstrap/js/jquery-1.11.2.min.js"></script> ...

  2. <转>jmeter(十九)HTTP属性管理器

    本博客转载自:http://www.cnblogs.com/imyalost/category/846346.html 个人感觉不错,对jmeter讲解非常详细,担心以后找不到了,所以转发出来,留着慢 ...

  3. C++ WINDOWS 防多开

    我们有些程序是可以同时运行多个进程,典型的像Visual Studio.但有些就能一次运行一个进程.比如Outlook.那你可能会问啥时可以让它同时打开多个应用程序,啥时只能一个啊.这个主要看进程间是 ...

  4. select2的用法

    <link href="../css/select2.min.css" rel="stylesheet" /> <script src=&qu ...

  5. K8S学习笔记之ETCD启动失败注意事项

    最近搭建K8S集群遇到ETCD的报错,报错信息如下,一定要关闭防火墙.iptables和SELINUX,三个都要关闭!! Mar 26 20:39:24 k8s-m1 etcd[6437]: heal ...

  6. YII1 增、删、改、查数据库操作

    增 //注意插入的时候 是用的new Post $objectPost = new Post; $objectPost->username = $username; $objectPost-&g ...

  7. 常见的python的unittest用法

    python的unittest好处是通过python脚本编写用例,每个用例可以单独调试初始化和清理动作,因为都是用例都是代码所以调试起来也很方便:它的缺点是得先学会python,难易程度见仁见智吧,对 ...

  8. python 的运行方式和基础变量

    机器语言:直接用计算机能听的懂得二进制去编写程序,需要了解硬件细节 优点:执行效率高 缺点:开发效率低汇编语言:用英文单词取代二进制指令去编写程序 优点:开发效率高于机器语言 缺点:执行效率低于机器语 ...

  9. 剑指offer(53)表示数值的字符串

    题目描述 请实现一个函数用来判断字符串是否表示数值(包括整数和小数).例如,字符串"+100","5e2","-123","3.1 ...

  10. Java 基础 - 集合

    Set 集合 Set 集合通常不能记住元素的添加顺序.Set 集合不允许包含相同的元素. HashSet 是 Set 接口的实现类,按照 Hash 算法存储集合中的元素.HashSet 不是同步的,如 ...