shell之文本过滤(awk) 分类: linux shell脚本学习2012-09-19 15:53 1241人阅读 评论(0) 收藏 举报 shell正则表达式脚本任务语言 如果要格式化报文或从一个大的文本文件中抽取数据包,那么awk可以完成这些任务. 为了获取所需信息,文本必须格式化,也就是说要使用域分隔符来划分抽取域,分隔符可以使任意字符. awk语言的最基本功能是在文件或字符串中基于指定规格浏览和抽取信息.awk抽取信息后,才能进行其他文本操作.awk脚本通常用来格式化文本文件中的信息…

shell编程之awk命令详解 a:focus { outline: thin dotted #333; outline: 5px auto -webkit-focus-ring-color; outline-offset: -2px; } a:hover { outline: 0; } a:active { outline: 0; } a:hover { color: #005580 !important; text-decoration: underline !important; } bl…

shell之文本过滤(正则表达式) 分类: linux shell脚本学习2012-09-14 12:59 213人阅读 评论(0) 收藏 举报 当从一个文件或命令输出中抽取或过滤文本时,可以使用正则表达式(R E) ,正则表达式是一些特殊或不很特殊的字符串模式的集合. ^ 只只匹配行首$ 只只匹配行尾* 只一个单字符后紧跟*,匹配0个或多个此单字符[ ] 只匹配[ ] 内字符.可以是一个单字符,也可以是字符序列.可以使用 -表示[ ]内字符序列范围,如用 [ 1 - 5 ]代替[ 1 2 3…

shell之文本过滤(grep) 分类: linux shell脚本学习2012-09-14 14:17 588人阅读 评论(0) 收藏 举报 shell正则表达式扩展工具存储 grep(全局正则表达式版本)允许对文本文件进行模式查找.如果找到匹配模式, grep打印包含模式的所有行.grep支持基本正则表达式,也支持其扩展集. g r e p一般格式为: grep [选项]基本正则表达式[文件] 这里基本正则表达式可为字符串.如果是字符串的时候请加上“”号,否则容易出错. 常用的g r e p…

from here 小用法,使用awk来对文件随机抽取n行 awk 'BEGIN{srand()} {print rand()"\t"$0}' input_file | sort -nk 1 | head -n line_num | awk -F "\t" '{print $2}' 简介 awk是一个强大的文本分析工具,相对于grep的查找,sed的编辑,awk在其对数据分析并生成报告时,显得尤为强大.简单来说awk就是把文件逐行的读入,以空格为默认分隔符将每行切片…

转自:实例手册 https://github.com/liquanzhou/ops_doc/blob/master/shell%E5%AE%9E%E4%BE%8B%E6%89%8B%E5%86%8C.sh#L2925awk{ # 默认是执行打印全部 print $0 # 1为真 打印$0 # 0为假 不打印 -F # 改变FS值(分隔符) ~ # 域匹配 == # 变量匹配 !~ # 匹配不包含 = # 赋值 != # 不等于 += # 叠加 \b # 退格 \f # 换页 \n # 换行 \r…

awk 是shell 里的常用命令,非常强大!…

awk是一种用于处理数据和生成报告的编程语言 awk可以在命令行中进行一些简单的操作,也可以被写成脚本来处理较大的应用问题 awk与grep.sed结合使用,将使shell编程更加容易 awk工作模式: awk逐行扫描输入(可以是文件与管道),按给定的模式查找出匹配的行,然后对这些执行awk命令指定的操作 与sed一样,awk不会修改输入文件的内容.awk多了一个对列的处理,如果要处理列,awk是一个好的选择.可以使用重定向将awk的输出保存到文件中. 一.awk简单用法 awk   [opti…

cat ./daily_uv/daily_uv_20140104 | awk '{fr[$1]+=$3; k=$1 "_" $2; av[k]+=$3;} END{for (k in fr) {print k,fr[k]} for (k in av) {print k,av[k]}}' 1. 最基本的用法 awk '{print $1}' ./daily_messageEnter_uv/daily_messageEnter_uv_20131226 即 awk '{*****}' fil…

对于一个sougou文本文件,解压后大概4G,要求在其基础上切出第一列时间年月日时分秒增加在列中,作为hive的一个索引.先将文件head一下展示格式: [root@Master date]# head -n sogou.full.utf8 57375476989eea12893c0c3811607bcf 奇艺高清 http://www.qiyi.com/ 66c5bb7774e31d0a22278249b26bc83a 凡人修仙传 http://www.booksky.org/BookDeta…