awk 有时确实比较省事,做些简单的文本处理,还是很方便的,在这介绍下两个文件的join的操作. 原始文本 bb.txt a 10 b 12 cc.txt a 11 b 13 c 15 awk join主要是用到连个内置的变量 NR,FNR,先看这的区别 awk '{print NR,FNR,$0}' bb.txt cc.txt 1 1 a 10 2 2 b 12 3 1 a 11 4 2 b 13 5 3 c 15 NR是读取所有的行号 FNR读取每个文件的行号索引号,当文件发生变化时,FNR…

grep 从数据文件中查询/提取出含有特定关键字的行. sed 主要用于对数据文件中特定字符串的替换处理. cut 按照指定的分隔符(-d)剪下选定的列(-f num)或者字符(-c)的内容. awk 常用于只显示特定字段,或重新安排行内字段顺序. join 用来结合记录中具有共同键值的字段的文件. ---------------------------------------------------------------我是分割线-------------------------------…

导读 本文为博文linux —— shell 编程(整体框架与基础笔记)的第4小点的拓展.(本文所有语句的测试均在 Ubuntu 16.04 LTS 上进行) 目录 基本文本处理 流编辑器sed awk模式扫描与处理语言 1.基本文本处理 sort :用于排序,常用参数 -t 指定一行的分隔符 -k 指定具体排序的规则 -d 按字典序排列  -f 忽略大小写  -u (unique)丢弃相同指定字段的记录 unique:报告或删除文件中重复的行. -c 在输出行前加上出现的次数    -d  (…

dos2unix * for i in `ls` do :}` awk '{print tolower($0)}' "${i}"|grep -Eiw "from"|awk -F 'from' '{print $NF}'|grep -v "("|awk -F'.' '{print $NF}'|awk -v id=${id} '{print id"|"$1}' awk '{print tolower($0)}' "${i…

[1]sed工具(Stream Editor)--流编辑器 sed 本身也是一个管线(管道)命令,可以分析 standard input 的啦! 而且 sed 还可以将数据进行取代.删除.新增.截取特定行等等的功能呢! 1.1)以行为单位的新增/删除功能 [玩玩荔枝呢] [输出不是输出是 删除,删除] 1.2)以行为单位的取代与显示功能 1.3) 部分数据的搜索并取代的功能(g=global) [Attention]上表中特殊字体的部分为关键词,请记下来!至于三个斜线分成两栏就是新旧字符串的替换…

1.grep 1.1 grep [-invc] [--color=auto] '搜寻字符串' filename选项与参数:-i :忽略大小写的不同-n :顺便输出行号-v :显示没有 '搜寻字符串' 的行--color=auto :将找到的部分加上颜 -c :统计比配的行数 -w : 仅完全匹配字词 -o : 只输出匹配的内容 -A2:匹配的行以及其下面的2行 -B2:匹配的行以及其上面的2行 -C2:匹配的行以及其上下面的2行 例1:less file1 |cut -f 1 |xargs -i…

AWK高级编程 转载 转载自:http://blog.csdn.net/wzhwho/article/details/5513791 1. 程序元素 一个awk 程序是一对以模式(pattern) 与大括号框起来的操作(action) 组合而成的,或许,还会加上实现操作细节的函数(function ) .针对每个匹配于输人数据的模式,操作会被执行,且所有模式都会针对每条输人记录而检查.模式或操作可省略其中一个.如果模式省略,则操作将被应用到每条输人记录; 如果操作省略,则默认操作为打印匹配之记录…

使用中常用到Perl,Python,AWK,R, 虽然Java,C,C++,Vala也学过但是就是不喜欢,你说怎么办. 看来一辈子脚本的命. Perl @rray = split /PATTERN/, STRING, LIMIT 可以看出split由2部分(STRING,PATTERN)和可选的LIMIT部分构成,反正split么,万变不离其宗,都要有 你要split的String,split的界定,split的保存,其他的可以外加 我们举一个简单的例子: > cat test.txt (为了对…

Linux上文本处理工具虽不少,像cut,tr,join,split,paste,sort,uniq,sed,awk这些经典工具让人眼花缭乱,而且都太老了,使用方法都不太人性化,尤其awk,语法简直反人类:所以perl,python,ruby等脚本语言相当热火,我倾向用python,但处理一些简单任务python写的还是比较麻烦,无法一行命令解决,直到我发现了它-Pyp! Pyp(Pyed piper)–一个python写的类似sed,awk的文本处理工具,简单优雅而强大~ 安装: ubuntu…

1. cut命令 cut命令用于从文件或者标准输入中读取内容并截取每一行的特定部分并送到标准输出. 截取的方式有三种:一是按照字符位置,二是按照字节位置,三是使用一个分隔符将一行分割成多个field,并提取指定的fields. cut命令有5个参数,其中-c,-b,-f分别表示"character", "byte"以及"field"截取方式.当采用field模式截取时,需要用"-d"参数指定一个分隔符,分割符只能为单个字符.另…