前言 linux 有很多工具可以做文本处理,例如:sort, cut, split, join, paste, comm, uniq, column, rev, tac, tr, nl, pr, head, tail.....,学习 linux 文本处理的懒惰方式(不是最好的方法)可能是:只学习grep,sed和awk. 使用这三个工具,你可以解决近 99% linux 系统的文本处理问题,而不需要记住上面不同的命令和参数. 而且,如果你已经学会并使用了三者,你就会知道其中的差异.实际上,这里的…

如下图所示,想把含有‘-nan’字符串的行提取出来 则用到awk函数,命令行如下: awk '{if($3!="-nan"){print $3}}' CHB_vs_ITU.weir.fst > CHB_vs_ITU1.fst # !=表示不匹配 效果如下图: 注:上述只提取第三列,如果想提取所有不匹配的行的所有列,则将$3改为$0 awk '{if($3!="-nan"){print $0}}' CHB_vs_ITU.weir.fst > CHB_vs_…

Linux三剑客awk awk是一个强大的linux命令,有强大的文本格式化的能力,好比将一些文本数据格式化成专业的excel表的样式 awk早期在Unix上实现,我们用的awk是gawk,是GUN awk的意思 awk更是是一门编程语言,支持条件判断.数组.循环等功能 再谈三剑客 grep,擅长单纯的查找或匹配文本内容 sed,更适合编辑.处理匹配到的文本内容 awk,更适合格式化文本内容,对文本进行复杂处理 三个命令称之为Linux的三剑客 awk基础 awk语法 awk [option]…

1. 内置函数 awk的内置函数有算术.字符串.时间.位操作和其它杂项的函数. 1.1 算术函数 atan2(y,x)  返回弧度的反正切(y/x) cos(expr)  返回expr的余弦(以弧度形式) exp(expr)  此函数用作找到指数值. int(expr)  取整 log(expr)  计算自然对数 rand()   返回随机数,0和1之间,[0,1) sin(expr)  正弦(以弧度形式) sqrt(expr)  平方根 srand([expr])  产生种子值的随机数.使用e…

1.什么是awk AWK是一种处理文本文件的语言,是一个强大的文本分析工具.有统计和计算功能. 之所以叫AWK是因为其取了三位创始人 Alfred Aho,Peter Weinberger, 和 Brian Kernighan 的 Family Name 的首字符. 参数说明 选项参数说明: -F fs or --field-separator fs 指定输入文件折分隔符,fs是一个字符串或者是一个正则表达式,如-F:. -v var=value or --asign var=value 赋值一…

本文由本人收集整理自互联网供自己与网友参考,参考文章均已列出,如有侵权,请告知! 顶配awk,中配sed,标配grep awk 参考 sed 参考 grep 参考 在线查看linux命令速记表 appropos , history two long didn't read 整理 我们都知道,在Linux中一切皆文件,比如配置文件,日志文件,启动文件等等.如果我们相对这些文件进行一些编辑查询等操作时,我们可能会想到一些vi,vim,cat,more等命令.但是这些命令效率不高,这就好比一块空地准备…

http://wiki.jikexueyuan.com/project/awk/built-in-functions.html-------内置函数 http://wiki.jikexueyuan.com/project/awk/user-defined-functions.html-------用户自定义函数 AWK 为程序开发者提供了丰富的内置函数.这一章节会讲解 AWK 提供的算术函数.字符串操作函数.时间操作相关的函数.位操作函数以及其它各种各样的函数. 算术函数 AWK 提供了如下的内…

这节详细介绍awk内置函数,主要分以下3种类似:算数函数.字符串函数.其它一般函数.时间函数 一.算术函数: 以下算术函数执行与 C 语言中名称相同的子例程相同的操作: 函数名 说明 atan2( y, x ) 返回 y/x 的反正切. cos( x ) 返回 x 的余弦:x 是弧度. sin( x ) 返回 x 的正弦:x 是弧度. exp( x ) 返回 x 幂函数. log( x ) 返回 x 的自然对数. sqrt( x ) 返回 x 平方根. int( x ) 返回 x 的截断至整数的…

在用awk处理文本时,有些场景需要将简化的IPV6地址补充成完整的IPV6地址,下边函数可简单实现: IPV6地址补全函数 # ipv6地址补全函数 function compipv6(orig_address){ # 分割IPV6地址 split(orig_address, ipv6_addr, "/") n = split(ipv6_addr[1], ip_field, ":") full_addr="" # 切割简化的地址 split(ip…

在用awk处理文本时,需要将源数据为点分式形式的掩码转换为十进制形式的掩码,下边的函数可简单实现: 转换功能函数cdr2mask function cdr2mask(mask_point) { num=gsub("255.","",mask_point) #print mask_point gsub("[\\.]0","",mask_point) #print mask_point mask=mask_point-0 for(…