《linux 文本处理》- sed/awk】的更多相关文章

http://blog.csdn.net/a81895898/article/details/8482387 Sed是什么 <sed and awk>一书中(1.2 A Stream Editor)是这样解释的: Sed is a "non-interactive" stream-oriented editor. It is stream-oriented because, like many UNIXprograms, input flows through the pr…
[root@room9pc01 ~]# seq 5 1 2 3 4 5 [root@room9pc01 ~]# seq 2 5 2 3 4 5 seq 1 2 10 1 3 5 7 9 [root@desktop0 ~]# seq 10 -2 1 10 8 6 4 2 /etc/profile #定义的系统变量文件…
1.Sed | Awk | Grep | Find 可以参考的文档链接 CentOS7 查看 当前机器 已经启动的端口的Shell命令: netstat -lntup | awk -F' ' {'print $4'} | awk -F':' {'print $2'}…
Sed是什么 <sed and awk>一书中(1.2 A Stream Editor)是这样解释的: Sed is a "non-interactive" stream-oriented editor. It is stream-oriented because, like many UNIXprograms, input flows through the program and is directed to standard output. Sed本质上是一个编辑器,…
企业实战: 过滤ip 过滤出第二行的 192.168.2.11. eth0: flags=4163<UP,BROADCAST,RUNNING,MULTICAST> mtu 1500 inet 192.168.2.11 netmask 255.255.255.0 broadcast 192.168.2.255 ether 00:0c:29:41:85:df txqueuelen 1000 (Ethernet) RX packets 17934 bytes 9131091 (8.7 MiB) RX…
最好先学习正则表达式的基本用法,以及正则表达式BREs,EREs,PREs的区别 此坑待填 grep sed awk…
grep/sed/awk被称为linux的“三剑客” grep更适合单纯的查找或匹配文本: sed更适合编辑匹配到的文本: awk更适合格式化文本,对文本进行较复杂各式处理: Grep --color=auto 或者 --color:表示对匹配到的文本着色显示 -i:在搜索的时候忽略大小写 -n:显示结果所在行号 -c:统计匹配到的行数,注意,是匹配到的总行数,不是匹配到的次数 -o:只显示符合条件的字符串,但是不整行显示,每个符合条件的字符串单独显示一行 -v:输出不带关键字的行(反向查询,反…
vim/sed/awk/grep等文件批处理总结 https://www.cnblogs.com/cangqiongbingchen/p/9760544.html Vim相关操作 1.基础 * 和 # 对对当前光标所在的单词进行搜索 %匹配括号移动,包括 (, {, [ K 查看man手册 ga 查看ascii值 g CTRL-G 统计字数,使用Visual模式选取统计部分 q: 打开历史记录窗口 :marks 打开编辑标记窗口, `0 准确回到上一次退出vim的位置 gf 打开光标下的指定文件…
概述 一般情况下,从grep到sed和awk的学习过程是很自然的.sed和awk是一般用户.程序员和系统管理员们处理文本文件的有力工具. sed的名字来源于其功能,它是个字符流编辑器(stream editor),可以很好地完成对多个文件的一系列编辑工作. awk的名字来源于它的开发人Aho.Weinberger和Kernighan,它是一种程序设计语言,非常适合结构化数据的处理和格式化报表的生成. sed 与 awk 共性 它们都使用相似的语法来调用.它们都是面向字符流的,都是从文本文件中一次…
sed的常用用法: awk的常用用法: grep的常用用法: 除了列出符合行之外,并且列出后10行. grep -A 10 Exception kzfinance-front.log 除了列出符合行之外,并且列出前10行. grep -B 10 Exception kzfinance-front.log 除了列出符合行之外,并且列出前后10行. grep -C 10 Exception kzfinance-front.log 详情参考: http://blog.csdn.net/xiaokang…
sed [options] '[action]' filename options: -n:一般sed命令会把所有数据都输出到屏幕,如果加入此选项,则只会把经过sed命令处理的行输出到屏幕. -e:允许对输入数据应用多条sed命令编辑. -i:用sed的修改结果直接修改读取数据的文件,而不是由屏幕输出. actions: -a:追加,在当前行后添加一行或多行 -c:行替换,用c后面的字符串替换原数据行. -i:插入,在当前行前插入一行或多行. -d:删除,删除指定的行. -p:打印,输出指定的行…
1:grep//显示行 # grep 'main' /home/myhome/a.c//将a.c含有main的行显示出来 # grep -v 'main' /home/myhome/a.c //显示除了main那行的所有行 # grep -n 'the' a.c//显示a.c含有the的行 # grep -vn 'the' a.c//显示没有the的行 # grep -in 'the' a.c//不考虑大小写 # grep -n t[ae]st a.c//[]只算一个字符,搜到含有test和ta…
#This script is to parse data file: fun0() { ## [INFO1]a=1   b=2 c=3 [INFO2]a=7 b=8 c=9 [INFO3] a=x b=y c=z } #! /bin/bash read Info Abc#echo $Info if [ "$Info" != "INFO1" -a "$Info" != "INFO2" -a "$Info"…
这几个工具是shell中非常好用的文本流处理工具,可以进行查找,编辑或者分析等工作,它们都支持正则表达式,也支持使用shell内置的变量 grep grep是一个字符串比较工具,用于从文件中提取满足条件的行,条件的部分可以使用正则表达式 $grep [-ABrn] [str] FilePathOrDirPath VS $find [路径] [选项] [参数] -A [n] #除了该行之外,也列出后续的n行 -B [n] #除了该行之外,也列出之前的n行 -n #显示行号 -r #递归查找所有的目…
sed:  s----substitute(替换) 1. 文本替换(使用-i选项,可以将结果应用于原文件) many people在进行替换之后,借助重定向来保存文件(未使用-i选项): $ sed  's/text/replace_text/' file > newfile $ mv newfile file landen@landen-Lenovo:~/文档$ cat apacheLog.txt125.226.150.44 – - [21/Jul/2012:01:12:56 +0800] &qu…
http://blog.csdn.net/a81895898/article/details/8482333 Awk是什么 Awk.sed与grep,俗称Linux下的三剑客,它们之间有很多相似点,但是同样也各有各的特色,相似的地方是它们都可以匹配文本,其中sed和awk还可以用于文本编辑,而grep则不具备这个功用.sed是一种非交互式且面向字符流的编辑器(a "non-interactive" stream-oriented editor),而awk则是一门模式匹配的编程语言,因为…
SED   1.sed是流编辑器(stream editor)缩写,作用主要是文本替换 命令格式:sed ‘s/pattern/replace_string/' file或者cat file | sed 's/pattern/replace_string/'   2.默认情况下sed只会打印替换后的文本,如果需要在替换的同时保存更改,可以使用-i选项,可以将替换结果应用于源文件,很多用户在进行替换后会使用重定向来保存文件: sed  ‘s/pattern/replace_string/' fil…
awk awk是一种程序语言,对文档资料的处理具有很强的功能.awk擅长从格式化报文或从一个大的文本文件中抽取数据. awk的命令格式为: awk [-F filed-separator] “commands” input-file(s) awk [-F filed-separator] “commands” input-file(s) 每一个命令(commands)都由两部分组成:一个模式(pattern)和一个相应的动作 (action) /pattern1/{action1} /patte…
实现数据库批量更新与回滚 create database awktest; use awktest create table user(    id int unsigned not null unique auto_increment primary key,    name varchar(40) not null,    value int unsigned not null)ENGINE=InnoDB DEFAULT CHARSET=utf8 comment='user表'; inser…
Sedsed 是个精简的.非交互式的编辑器.他能执行和编辑vi和emacs相同的编辑任务.sed编辑器不提供交互使用方式:只能在命令行输入编辑命令.指定文件名,然后在屏幕上察看输出.sed编辑器没有破坏性.他不会修改文件,除非用shell重定向来保存输出结果.缺省情况下,所以的输出都被打印到屏幕上.sed 编辑器在shell脚本中非常有用,因为在shell脚本中使用像vi或emacs这类交互式编辑器,需求脚本用户精通该编辑器,而且还会导致用户对打开 的 文件做出不必的修改.如果需要执行多项编辑任…
find :查找文件系统中指定的文件.可以按文件名(-name)  权限(-perm) 归属人 查找. find   要查找文件的路径   表达式 *通配符  可以添加在文件名的任意位置 常用的例子(具体可参照 find --help): find . -name 1.txt             在当前目录以及子目录下查找文件 1.txt find /tmp -name 1.txt       在/tmp目录以及子目录下查找文件 1.txt find /bin/ -perm 4755 | x…
应同事需求自行编写了第一个脚本,中间遇到一些坑. 需求,要求抓取设备"show ip interface brief"信息和"show interface des"描述信息.并且要求VLAN与描述信息在一个文件中显示出来.其实抓取工作很简单,难点在于字符处理中遇到时很多坑,比如关键字"More"抓取之后会有类似于"^[[7m--More--^[[m^M"的多余字符,是因为系统版本原因产生的.要用sed将其处理为awk可以匹配的…
正则表达式元字符 正则表达式中有两种基本元素: 以字面值或变量表示的值(如.代表任意单个字符). 操作符(如*代表将前面的字符重复任意次). 元字符汇总 特殊字符 用途 . 匹配除换行符以外的任意单个字符.在awk中,句点也能匹配换行符. * 匹配任意一个(包括零个)在它面前的字符(包括由正则表达式指定的字符) […] 匹配方括号中的字符类中的任意一个.如果方括号中第一个字符为脱字符号(^),则表示否定匹配,即匹配出了换行符和类中列出的哪些字符以外的所有字符.在awk中,也匹配换行符.连字符(-…
1. POSIX标准对正则表达式字符和操作符的含义进行了形式化.这种标准定义了两类正则表达式:基本的正则表达式(BRE),grep和sed使用这种正则表达式;扩展的表达式,egrep和awk使用这种正则表达式.P54 2. 有用的正则表达式:P72 匹配空行: ^$ 匹配整个行: ^.*$ 匹配一个或多个空格:空格空格* 匹配含有空格的空行: ^空格*$…
[root@nhserver1 02]# cat listJohn Daggett, 341 King Road, Plymouth MAAlice Ford, 22 East Broadday, Richmond VAOrville Thomas, 11345 Oak Brideg Road, Tulsa OKTerry Kalkas, 402 Lans Road, Beaver Falls PAEric Adams, 20 Post Raod, Sudbury MAHubert Sims,…
Linux字符串&文本处理工具 因为用linux的时候主要用到的还是字符交互界面,所以对字符串的处理变得十分重要.这篇介绍三个常用的字符串处理工具,包括grep,sed和awk ■ grep grep已经用得够多了不需要再特别地说明用法,就罗列一下几个不太熟悉的参数: -v 反选 比如常用ps -ef | grep -v grep来把grep本身的那条进程去掉 -E 跟一个扩展正则表达式以增强grep的匹配功能. -i 忽略大小写地匹配 -q (常用于脚本)进行一个grep的判断,如果找到了返回…
下面是简单学习之后做得练习题,如果有不对的或者说解题思路不好的,请交流啊. Grep 练习 文件名grepfile Steve Blenheim:238-923-7366:95 Latham Lane, Easton, PA 83755:11/12/56:20300 Betty Boop:245-836-8357:635 Cutesy Lane, Hollywood, CA 91464:6/23/23:14500 Igor Chevsky:385-375-8395:3567 Populus Pl…
在学习Linux命令中,发现3个有关于文件内容操作的命令grep,sed和awk,在这里简单汇总这3个命令主要作用,在实际中找到最合适的情景应用,详细用法可以参考其他文章. 1.grep命令 主要作用:用于搜索文件中特定字符串,并输出整行内行 命令格式:grep [选项参数] "搜索内容" 文件(选项参数-r时为目录) 选项参数:-v 反选:-i忽略大小写:-r 递归:-n显示匹配位于第几行及内容:-c统计有多少行被匹配:-A之前多少行内容:-B之后多少行内容:-C前后多少行内容 例子…
sed -n 's/,*$//g;s/,\+/,/g;/,/p' test.csv 去除行尾逗号,将多个连续逗号合并,过滤没有逗号的行 awk -F, 'NF>5 split($1,a,".") {print a[1]"."a[2]"."a[3]"\","$6}' test.csv 打印第一列已"."分隔的前三个子列和第六列,过滤小于6列的行…
四剑客简介 相信接触过linux的大家应该都学过或者听过四剑客,即sed,grep,find,awk,有人对其望而生畏,有人对其爱不释手.参数太多,变化形式太多,使用超级灵活,让一部分人难以适从继而望而生畏,浅尝辄止即罢.有人熟练掌握,使其四剑客为己所用,在分析日志,分析文本,统计,批量修改中游刃有余,大大提高了工作效率.本篇博文将详细讲解四剑客的参数选项,以及使用案例,相信认真读完本篇博文你也可以使得四剑客真正为己所用. 四剑客之grep 1.几个概念 正则表达式:Regular Expres…