[1]sed工具(Stream Editor)--流编辑器 sed 本身也是一个管线(管道)命令,可以分析 standard input 的啦! 而且 sed 还可以将数据进行取代.删除.新增.截取特定行等等的功能呢! 1.1)以行为单位的新增/删除功能 [玩玩荔枝呢] [输出不是输出是 删除,删除] 1.2)以行为单位的取代与显示功能 1.3) 部分数据的搜索并取代的功能(g=global) [Attention]上表中特殊字体的部分为关键词,请记下来!至于三个斜线分成两栏就是新旧字符串的替换…

awk 本身所提供的功能完备,已经是一个很好用的程序语言了.以后会好好地介绍该语言的精髓.虽然 awk 能做的事很多,但它主要的设计是要在 Shell脚本中发挥所长:做一些简单的文本处理,例如取出字段并重新编排这一类.接下来将介绍 awk 的基本概念,随后你看到这样的“单命令行程序(one-liners)”就会比较了解了.…

awk能取出文本字段重新编排 1 awk的用法 awk ‘program’ [file] 2 其中program 可以写成 ‘parrtern {action}’    pattern 或 action可以只写一个, 只写一个action的 ‘{print 0}’ 就执行action 只写一个pattern  根据pattern结果,做if判断, 成立就打印数据, NF是当前行数. 3设置分割字段 -F 后跟的就是分割符, 这里用的是: 输出分割后的第一列数据 awk -F: '{print $…

通常: sed 处理列  awk处理行 比较方便 Sed是一个基本的查找替换程序     sed -i   "s/^@//g"     文件  #原地操作原文件,进行替换 cat my.txt|sed s/a/A/ >n.txt    (不指定列数,默认是包含a的第一列)将1.txt文件中包含a的第一列中的a替换为A,并将结果写入n.txt文件中.该语句也可以在shell脚本中使用 cat my.txt|sed s/a/A/2 >n.txt   指定第二列,将1.txt文件…

$ cat file 1234567890 $ awk -vFIELDWIDTHS="1 2 3 4 5" -vOFS="|" 'NF=NF' file 1|23|456|7890| [解析] FIELDWIDTHS 字段宽度列表(用空格键分隔).比较冷门少见. echo "20101018000000"|awk -vFIELDWIDTHS="4 2 2 2 2 2" 'NF=NF{print mktime($0)}' [解析…

cat label_movie2|grep BBD252CC0A4FE7D10C990261D5CEACB5|awk -F "," '{for(i=2;i<NF;i++) print $i}'|wc -l 在label_movie2文件中按照某个ID查找,然后按照分隔符“,”分割,最后统计结果 cat label_movie2|awk '$1 ~/^BBD/'| 查找文件开头以BBD字母为首的字段. mongodb result集合查询:db.getCollection('lab…

在一行中,查找字段包含exe的: ###########awk.awk######## { for(i=1;i<NF;i++) { if($i ~ /exe/) { print $i } } } test_to_process是要处理的文件,执行如下命令: awk -f awk.awk text_to_process…

工作中遇到要根据文件中某个字段分割成多行文本的处理,想到用awk处理,这里记录下: 问题: 原文件:假设一共2个字段,用"|"分割,其中第二个字段用"#"分割,但该字段中也有不含"#"的值和空值 要求:根据第二个字段,若含#,将这条数据根据#分割成多条数据,无#和无值的行不变 202143108500|#0_1000_VOICE#0_1000_VOICE#0_1000_VOICE#0_TRAFFIC#0_TRAFFIC#0_TRAFFIC 202…

#!/bin/bash #好多地方可以优化,先记录下,便于以后使用 dir="/logs/$1"file="/logs/$1/requests.log"if [ $1 ];then if [[ ! -d $dir && ! -f $file ]];then echo "$dir is not exist" else #过滤指定内容到文件,便于以后使用 cat $file | grep '"game_id":&q…

Shell脚本学习指南 作者:Danbo 2015-8-3 脚本编程语言与编译型语言的差异 许多中型.大型的程序都是用编译型语言写的,例如:C.C+.Java等.这类程序只要从源代码(Source Code)转换成目标代码(object code),便能直接通过计算机来执行. 编译型语言的好处是高效,缺点是:他们多半运作于底层,所处理的是字节.整数.浮点数或是其他机器层级的对象.而脚本语言Shell通常是解析型(interpreted)的.这类程序的执行,是由解析器(interpreter)读入…