转自 awk技巧(如取某一行数据中的倒数第N列等) - 散尽浮华 - 博客园 https://www.cnblogs.com/kevingrace/p/8481965.html 使用awk取某一行数据中的倒数第N列:$(NF-(n-1))比如取/etc/passwd文件中的第2列.倒数第1.倒数第2.倒数第4列(以冒号为分隔符) 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 [root@ipsan-node06 ~]# c…

最有用系列: <Linux生产环境上,最常用的一套“vim“技巧> <Linux生产环境上,最常用的一套“Sed“技巧> <Linux生产环境上,最常用的一套“AWK“技巧> <"Sed" 高级功能:我这小脑瓜都快绕晕了> 敢用自己的名字做软件名字的,都有非常强大的自信.比如,垠语言什么的. awk的命名得自于它的三个创始人姓别的首字母,都是80来岁的老爷爷了.当然也有四个人的组合:流行的GoF设计模式.但对于我这游戏爱好者来说,想到的竟…

使用awk取某一行数据中的倒数第N列:$(NF-(n-1))比如取/etc/passwd文件中的第2列.倒数第1.倒数第2.倒数第4列(以冒号为分隔符) [root@ipsan-node06 ~]# cat /etc/passwd root:x:0:0:root:/root:/bin/bash bin:x:1:1:bin:/bin:/sbin/nologin daemon:x:2:2:daemon:/sbin:/sbin/nologin adm:x:3:4:adm:/var/adm:/sbin/…

1.1 介绍 awk其名称得自于它的创始人 Alfred Aho .Peter Weinberger 和 Brian Kernighan 姓氏的首个字母.实际上 AWK 的确拥有自己的语言: AWK 程序设计语言 , 三位创建者已将它正式定义为“样式扫描和处理语言”. 它允许您创建简短的程序,这些程序读取输入文件.为数据排序.处理数据.对输入执行计算以及生成报表,还有无数其他的功能. awk 是一种很棒的语言,它适合文本处理和报表生成,其语法较为常见,借鉴了某些语言的一些精华,如 C 语言等.在…

1通过awk脚本执行awk程序:awk-f program_file_name input_files #!/bin/awk -f BEGIN { print "What is your name,sir? "; while(getline>0) print "Hi",$1,"Nice to meet you!" } 2 FILENAME, FNR awk '{print FILENAME, FNR;}' student-marks boo…

将文件中的换行替换为逗号 使用sed: sed -e :a -e N -e '$!ba' -e 's/\n/,/g' filename 使用tr: cat filename | tr '\n' ',' 或 tr '\n' ',' < filename 将文件中的逗号替换为换行 使用vi: :,%s/,/^M/g ^M - Ctrl+V, Ctrl+M vi 命令功能 :set nu 显示行号 :set nonu 隐藏行号 :set ic 设置搜索时忽略大小写 :set noic 搜索时对大小写敏…

注意:本文并不是一篇awk入门文章,而是偏重实例讲解 awk借鉴了c语法,因此awk在许多地方还保留有c语言的痕迹,比如printf语句:for,if的语法结构等 介绍 最简单地说,AWK 是一种用于处理文本的编程语言工具,处理模式是只要在输入数据中有模式匹配,就执行一系列指令.awk命令格式为: awk {pattern + action} {filenames} awk可以读取后接的文件,也可以读取来自前一命令的标准输入,它分别扫描输入数据的每一行,查找命令行中pattern是否匹配.如果匹…

常用shell脚本命令 1.显示包含文字aaa的下一行的内容: sed -n '/aaa/{n;p;}' filename 2.删除当前行与下一行的内容: sed -i '/aaa/{N;d;}' filename 3. 删除当前行与下两行的内容: sed -i '/aaa/{N;N;d;}' filename 依次类推,删除三行,则为{N;N;N;d;},分析知:N为next 4.得出以空格为分割的字符串中单词的个数,即统计个数: awk ' { print NF } ' 如显示字符串VALU…

Linux这么多命令,通常会让初学者望而生畏.下面是我结合日常工作,以及在公司的内部培训中,针对对Linux不是很熟悉的同学,精选的一批必须要搞懂的命令集合.任何一个命令其实都是可以深入的,比如tail -f和tail -F的区别.我们不去关心,只使用最常见的示例来说明.本文不会教你具体的用法,那是抢man命令的饭碗.这只是个引导篇,力求简洁. 学习方式:多敲多打,用条件反射替代大脑记忆—如果你将来或者现在要用它来吃饭的话. 其中,也有一些难啃的骨头,关注小姐姐味道微信公众号,我们一起用锋利的牙…

Linux上,最常用的一批命令解析(10年精选) https://juejin.im/post/5d134fbfe51d4510727c80d1 写的挺好呢 Linux这么多命令,通常会让初学者望而生畏.下面是我结合日常工作,以及在公司的内部培训中,针对对Linux不是很熟悉的同学,精选的一批必须要搞懂的命令集合.任何一个命令其实都是可以深入的,比如tail -f和tail -F的区别.我们不去关心,只使用最常见的示例来说明.本文不会教你具体的用法,那是抢man命令的饭碗.这只是个引导篇,力求简…

打印第n参数到最后一个参数 文本的NF不等,即字段长度不固定,想截取从$3到$NF 第一反应是使用循环 [root@localhost ~]# echo "1 2 3 4 5" | awk '{for(i=1;i<3;i++)$i="";print}' 3 4 5 但其实可以使用CU帽神给的技巧 [root@localhost ~]#echo "1 2 3 4 5" | awk '{$1=$2="";print}' 3…

进行数据分析或统计时,如果数据量较小,我们可以用awk快速处理,以下是一些小技巧   一.时间戳转换 日期转时间戳: date -d "20150315"  "+%s" 时间戳转日期:date -d @1426565428 "+%Y-%m-%d"   二.数据统计处理 随机取100个数awk 'BEGIN{srand()} {print rand()" "$1}' 2.txt | sort -k1 | head -100 取交…

目录 学习笔记:CentOS7学习之二十五:shell中色彩处理和awk使用技巧 25.1 Shell中的色彩处理 25.2 awk基本应用 25.2.1 概念 25.2.2实例演示 25.3 awk高级应用 学习笔记:CentOS7学习之二十五:shell中色彩处理和awk使用技巧 本文用于记录学习体会.心得,兼做笔记使用,方便以后复习总结.内容基本完全参考学神教育教材,图片大多取材自学神教育资料,在此非常感谢MK老师和学神教育的优质教学.希望各位因学习需求而要进行转载时,能申明出处为学神教育…

Question:awk -F"[[]]"和awk -F"[][]"分割出的串为什么不一样呢? 按理说 -F"[]",[]表示匹配括号中的任何一个字符,[]中间的字符应该是和顺序无关的,可是我实验的结果却不一样,这是为什么呢?加反斜线我也试过了,不影响结果. Answer: echo "1[2]3[4]" | awk -F"[\\\\[\\\\]]" '{print $1,$2,$3,$4}'…

1.深入讨论(awk.<<)    1.1.深入讨论awk        记录和域,模式和动作,正则表达式和元字符            基础教程中已经介绍        条件和逻辑操作符            <    小于            >=    大于等于            <=    小于等于            ==    等于            !=    不等于            ~    匹配正则表达式            !~    …

awk '{sum+=$1} END {print "Sum = ", sum}' awk '{sum+=$1} END {print "Average = ", sum/NR}' awk 'BEGIN {max = 0} {if ($1>max) max=$1 fi} END {print "Max=", max}' awk 'BEGIN {min = 1999999} {if ($1<min) min=$1 fi} END {pr…

awk 用法:awk ' pattern {action} ' 变量名 含义ARGC 命令行变元个数ARGV 命令行变元数组FILENAME 当前输入文件名FNR 当前文件中的记录号FS 输入域分隔符,默认为一个空格RS 输入记录分隔符NF 当前记录里域个数NR 到目前为止记录数OFS 输出域分隔符ORS 输出记录分隔符 1.awk '/101/' file 显示文件file中包含101的匹配行.awk '/101/,/105/' fileawk '$1 == 5' fileawk '$1 ==…

[root@room9pc01 ~]# seq 5 1 2 3 4 5 [root@room9pc01 ~]# seq 2 5 2 3 4 5 seq 1 2 10 1 3 5 7 9 [root@desktop0 ~]# seq 10 -2 1 10 8 6 4 2 /etc/profile #定义的系统变量文件…

一.每隔几行取出一个数,输出到另外一个文件 awk '{ if (NR % 9 ==1) {print NR, " => ", $0 } }' kp.txt > xy_data.txt      --注释:此命令 每隔9行 取出数据, 会打印 “取出的数值所在地行号” => "数值“ awk '{ if (NR % 9 ==1) {print $0 } }' kp_des_t6.jpg.txt > xy_data.txt     --注释:此命令 每隔…

1.1 介绍 awk其名称得自于它的创始人 Alfred Aho .Peter Weinberger 和 Brian Kernighan 姓氏的首个字母.实际上 AWK 的确拥有自己的语言: AWK 程序设计语言 , 三位创建者已将它正式定义为“样式扫描和处理语言”. 它允许您创建简短的程序,这些程序读取输入文件.为数据排序.处理数据.对输入执行计算以及生成报表,还有无数其他的功能. awk 是一种很棒的语言,它适合文本处理和报表生成,其语法较为常见,借鉴了某些语言的一些精华,如 C 语言等.在…

一句话kill掉名为navimain进程的shell脚本(利用awk的列操作能力) `ps|grep navimain | awk 'NR==1 {print $1}'`…

获取/etc/passwd目录下的UID值小于10的数,并输出第一.三列 [root@:vg_adn_tidbCkhsTest:172.31.30.62 ~]#cat /etc/passwd | awk 'BEGIN {FS=":"} $3 < 10 {print $1 "\t" $3}' root bin daemon adm lp sync halt mail…

AWK是一种处理文本文件的语言,是一个强大的文本分析工具. 之所以叫AWK是因为其取了三位创始人 Alfred Aho,Peter Weinberger, 和 Brian Kernighan 的Family Name的首字符. 语法 awk [选项参数] 'script' var=value file(s) 或 awk [选项参数] -f scriptfile var=value file(s) 选项参数说明: -F fs or --field-separator fs指定输入文件折分隔符,fs…

问题:比如有一个文件是20列,你只要后面的18列,怎么打印. 方法:把第一列和第二列做空:用print打印 [wangjq@mgmt humandb]$ cat test 1 2 3 4 5 6 7 8 9 10 [wangjq@mgmt humandb]$ awk '{$1="";$2="";print $0}' test 3 4 5 6 7 8 9 10 这种方法有个问题:就是第一列和第二列并没有消失,只是为空. 方法2:循环打印:用printf打印 [wang…

在最近的日常工作中由于经常会和Linux服务器打交道,如Oracle性能优化.我们数据采集服务器的资源利用率监控,以及Debug服务器代码并解决其效率和稳定性等问题.因此这段时间总结的有关Linux Shell的系列博客就给予了我极大的帮助,然而在实际的使用中却发现,有的时候确实忘记了某个技术点或某个Shell命令的使用方式曾经在哪一篇博客中予以了说明,所以不得不多次点击多篇博客,直到找到想要那篇的为止,鉴于此,为了方便我们每个人的查阅,这里特别给出了前十二篇系列博客的目录以供大家参阅和查找.…

top 几个磁盘fdisk -l 磁盘空间 df -lhdf -al 查看进程:ps -ef"grep java杀死进程:kill -9 进程号 more中过滤 more xxx |grep www.makaidong.com 安装linux后配置ip Vim /etc/sysconfig/network-scripts/ifcfg-eth5IPADDR=192.168.42.142NETMASK=255.255.255.0GATEWAY=192.168.42.1 启动关闭网卡Ifdown et…

本文转自:http://coolshell.cn/articles/9070.html 有一些网友看了前两天的<Linux下应该知道的技巧>希望我能教教他们用awk和sed,所以,出现了这篇文章.我估计这些80后的年轻朋友可能对awk/sed这类上古神器有点陌生了,所以需要我这个老家伙来炒炒冷饭.况且,AWK是贝尔实验室1977年搞出来的文本出现神器,今年是蛇年,是AWK的本命年,而且年纪和我相仿,所以非常有必要为他写篇文章. 之所以叫AWK是因为其取了三位创始人 Alfred Aho,Pet…

Linux 下shell基本上默认是 bash, 下面是我总结的一些技巧. &  后台运行程序 ,注意退出当前shell后 程序也会退出()   使用子shell, 比如 (cd ../../commlib/; make) $()  命令替换,和 ``的作用是一样的 <(命令)  把命令的输出到一个临时文件 << HereDoc 使用举例: 比如你要在 shell 脚本中 使用 awk 脚本 awk -f <(cat <<EOF /abc/{ print $0;…

Awk总结笔记 介绍 90年代 new awk :nawk Linux 的是gawk 我们简化awk 用法 #  awk [options ] ‘scripts’ file1 file2 .... # awk [options ] ‘PATTERN {action }’ file1 file2 .... 读入文本先切片如下 切5片 每片$n  整行$0 每行片数不一样 Print 内置变量 以下为awk内置变量: ARGC        命令行参数个数 FILENAME    当前输入文档的名称…

什么是Awk Awk是一种小巧的编程语言及命令行工具.(其名称得自于它的创始人Alfred Aho.Peter Weinberger 和 Brian Kernighan姓氏的首个字母).它非常适合服务器上的日志处理,主要是因为Awk可以对文件进行操作,通常以可读文本构建行. 我说它适用于服务器是因为日志文件,转储文件(dump files),或者任意文本格式的服务器终止转储到磁盘都会变得很大,并且在每个服务器你都会拥有大量的这类文件.如果你经历过这样的情境--在没有像Splunk或者其他等价的工…