linux之sed的使用

基本介绍

sed是stream editor的缩写，一种流编辑器，它一次处理一行内容。处理时，把当前处理的行存储在临时缓冲区中，称为“模式空间”（pattern space），接着用sed命令处理缓冲区中的内容，处理完成后，把缓冲区的内容送往屏幕。接着处理下一行，这样不断重复，直到文件末尾。文件内容并没有改变，除非你使用重定向存储输出。sed主要用来自动编辑一个或多个文件，简化对文件的反复操作，编写转换程序等。

工作原理

sed在处理文本文件的时候，会在内存上创建一个模式空间，然后把这个文件的每一行调入模式空间用相应的命令处理，处理完输出；接着处理下一行，直到最后。

与vim的区别

vim需要通知处理文件的哪几行才会去处理，sed默认会处理文件的所有行，除非你告诉它不处理哪几行。

特点

• 比较适合处理大文件
• 一般只是将处理后的内容输出到屏幕上并不对原文件进行改动，除非使用-i命令选项才会将更改的内容存储到文件中
• 替换语句：sed 's/aa/AA/' test.txt中‘/’分隔符并不是固定的，也可以写成sed 's#aa#AA#' test.txt。总之，s后面得字符就是分隔符。

表达式

sed  [选项]   [命令]   [输入文件]

使用场景

• 编辑相对于交互式文本编辑器而言太大的场合

• 编辑命令太复杂，在交互式文本编辑器中难以输入的情况

• 对文件扫描一遍，但是需要执行多个编辑函数的情况

常用选项和命令

• 常用选项：

-n∶取消默认的输出,使用安静(silent)模式。在一般 sed 的用法中，所有来自 STDIN的资料一般都会被列出到屏幕上。但如果加上 -n 参数后，则只有经过sed 特殊处理的那一行(或者动作)才会被列出来
     -e∶进行多项编辑，即对输入行应用多条sed命令时使用. 直接在指令列模式上进行 sed 的动作编辑
     -f∶指定sed脚本的文件名. 直接将 sed 的动作写在一个档案内， -f filename 则可以执行 filename 内的sed 动作
     -r∶sed 的动作支援的是延伸型正则表达式的语法。(预设是基础正则表达式语法)
     -i∶直接修改读取的文件内容，而不是由屏幕输出

• 常用命令：

a ∶ 新增， a 的后面可以接字串，而这些字串会在新的一行出现(目前的下一行)
     c ∶ 取代， c 的后面可以接字串，这些字串可以取代 n1,n2 之间的行
     d ∶ 删除，因为是删除，所以 d 后面通常不接任何内容
     i ∶ 插入， i 的后面可以接字串，而这些字串会在新的一行出现(目前的上一行)
     p∶ 列印，亦即将某个选择的资料印出。通常 p 会与参数 sed -n 一起用
     s∶ 取代，可以直接进行替换的工作。通常这个 s 的动作可以搭配正则表达式。例如 1,20s/old/new/g

 正则中得元字符

　　$ 表示行尾 
　　^ 表示行首
　　[a-z0-9]表示字符范围
　　[^]表示除了字符集中的字符以外的字符 
　　sed的正则中  \(\)  和 \{m,n\} 需要转义 
　　. 表示任意字符  
　　* 表示零个或者多个  
　　\+ 一次或多次　　
　　\? 零次或一次    
　　\| 表示或语法

常用用法

删除行

//test.txt 内容如下：
　　11 aa
　　22 bb
　　33 cc
　　23 dd
　　55 2e

sed '1,2d' test.xx 

　　输出：
　　33 cc
　　23 dd
　　55 2e

　　其中1,2d中的d表示删除，而d前面的表示删除的行的地址，而1,2表示一个地址范围，也就是删除第1行和第2行。地址范围的表示一般是  m,n 表示对m和n行之间的所有行进行操作，也包含第m行和第n行。sed的地址寻址中可以使用$表示最后一行，例如 m,$ 表示对m行以及其后面的所有行进行操作，包括最后一样。m,$d就是删除m行以及其后面的所有行内容。当然我们还可以对某一行进行操作，例如2d表示仅仅删除第2行。除了使用数字范围 m,n 表示多行区间，以及m表示单行以外，我们还可以使用正则表达式选出符合条件的行，并对这些行进行操作，同样的是上面的文件：

sed '/2/d' test.txt

　　输出：
　　11 aa
　　33 cc

　　上面的命令中　/2/ 是一个正则表达式，在sed中正则表达式是写在 /.../ 两个斜杠中间的，这个正则的意思是寻找所有包含2的行，执行相应的操作，也就是删除所有包含2的行，如果我们只想删除以2开头的行呢，只需要修改一下正则表达式就可以了：

sed '/^2/d' test.txt

　　输出：
　　11 aa
　　33 cc
　　55 2e

新增行

sed '1a hello world' test.txt

　　输出：
　　11 aa
　　hello world
　　22 bb
　　33 cc
　　23 dd
　　55 2e

　　其中a命令表示在指定行的后面附加一行，1a则是在第一行的后面添加一行，添加的内容就是a后面的内容，如果a的前面没有地址限定则在所有行的后面都会添加指定的字符串

sed '1i hello world' test.txt

输出：
　　hello world
　　11 aa
　　22 bb
　　33 cc
　　23 dd
　　55 2e

　　命令i表示在指定的行的前面插入一行，插入的内容为其后面的字符串

替换行

sed '1c hello world' test.txt

　　输出：
　　hello world
　　22 bb
　　33 cc
　　23 dd
　　55 2e

　　命令c会替换指定的行的所有内容，替换成其后面的字符串，所有的新增，删除，替换行，这些命令前面的地址修饰都可以指定地址空间，也都可以使用正则表达式，命令会应用在选出的符合地址条件的所有行上面，例如：

sed '/^2/c hello world' test.txt

　　输出：
　　11 aa
　　hello world
　　33 cc
　　hello world
　　55 2e

　　替换以2开头的行，其内容是c命令后面的字符串

替换部分字符串而不是整行

　　sed中除了上面的命令是针对整行进行操作的之外，还提供一个替换命令，该命令对某一行中的部分字符串进行操作，下面举一个简单的例子，还是同样的文本内容，执行下面的命令：

sed 's/aa/AA/' test.txt

　　输出：
　　11 AA
　　22 bb
　　33 cc
　　23 dd
　　55 2e

　　我们这里说的就是s命令，执行的结果是我们文件中的 aa 被替换成 AA ，我们看一下s命令后面接的是3个斜杠分隔的两串字符串，其含义是   s/待替换的字符串/新字符串/ 也就是说使用后面的 AA 替换文件中出现的前面的 aa 。实际上这里的替换仅仅替换每一行遇到的第一个aa，我们修改一下文件的内容：

//test.txt
　　11 aa
　　22 bb
　　33 cc
　　23 dd
　　55 2e
　　66 aaff ccaa
　　zz ggaa

sed 's/aa/AA/' test.txt

　　输出：
　　11 AA
　　22 bb
　　33 cc
　　23 dd
　　55 2e
　　66 AAff ccaa
　　zz ggAA

　　可以看到第6行的ccaa中的aa是没有被替换的，也就是说此时仅仅替换了每一行搜索到的第一个aa字符串进行操作，那么如果要对一行里面的所有的符合条件的字符串都做替换操作呢，我们可以使用参数g，例如修改命令如下：

sed 's/aa/AA/g' test.txt

　　输出：
　　11 AA
　　22 bb
　　33 cc
　　23 dd
　　55 2e
　　66 AAff ccAA
　　zz ggAA

　　在最后一个斜杠后面加上g选项之后，表示进行全局替换，也就是说一行中所有符合条件的旧字符串都会被替换成新字符串，而不仅仅是第一个。与其他针对行的操作一样，s命令也可以进行地址选择，其地址使用方法与我们之前的一样，也就是在s的前面加上地址空间限定，例如：

sed '1s/aa/AA/g' test.txt

输出：
11 AA
22 bb
33 cc
23 dd
55 2e
66 aaff ccaa
zz ggaa

　　可以看到仅仅对第一行进行了替换操作，其他的地址限定方法同样也是可以使用的，我们可以使用m,n的限定，例如：

sed '5,$s/aa/AA/g' test.txt

输出：
11 aa
22 bb
33 cc
23 dd
55 2e
66 AAff ccAA
zz ggAA

　　表示对第5行直到文件末尾的所有行进行搜索替换操作，同样s命令的地址限定也支持使用正则表达式限定符合条件的行，然后在这些行中进行字符串的搜索替换操作，例如：

sed '/^[0-9]/s/aa/AA/g' test.txt

输出：
11 AA
22 bb
33 cc
23 dd
55 2e
66 AAff ccAA
zz ggaa

　　我们在s命令前面添加了 /^[0-9]/ 这个修饰，该正则表达式表示对所有以数字开头的行，执行s操作

另外一个要说明的是  s/待替换的字符串/新字符串/ 这种格式中 / 作为分隔符并不是一定的，当使用s命令时候，我们可以使用别的分隔符，实际上s后面紧接着的字符就是分隔符，所以不一定是 / 符号。例如：

echo 'aabbccaadd' | sed s#aa#AA#g

输出：
　　AAbbccAAdd

这里s命令后面跟着的#符号被当作分隔符了

搜索并输出行内容

sed还提供一个p命令用于搜索符合条件的行，并输出该行的内容，而不做其他的任何修改，例如：

//test.txt
11 aa
22 bb
33 cc
23 dd

sed '2p' test.txt

输出：
11 aa
22 bb
22 bb
33 cc
23 dd

　　可以看到第二行被输出来了，但是sed好像将文件的所有内容输出了一遍，而第2行则多输出了一次，实际上sed默认情况下是会将所有标准输入的数据又重新输出到标准输出的，我们可以加上 -n 选项让sed仅仅是输出经过处理之后的那些行，而不是输出之前从标准输入中获取到的所有行内容，例如：

sed -n '2p' test.txt

输出：
22 bb

查看一段时间内的日志

sed -n '/2019-01-15 09:25:55/,/2019-01-15 11:48:55/'p /alidata1/admin/za-athena-insure-mics/logs/insf-ss_micro_app_athenainsuremics_lt_all.log

说明：当然后面还可以用grep来更精确的过滤，同时也可以使用>符号，将得到的日志输出到文件中

另外几种情况：

sed -n '1,3p ' /data　　　　　　 查询从x到y行

sed -n '/pattern/p' /data        查询包含pattern的行

sed -n '/pn1/,/pn2/p'  /data     查询包含pattern 1或pattern 2的行

sed -n '/pn/，5p'  /data         查询从包含pattern的行到x行

sed -n '5,/pn/p'  /data　　　　　查询从x到包含pattern的行

sed -n '5,8!p'  /data　　　　　　查询不包含指定行号x和y的行

这样仅仅会输出p命令的处理结果了，-n 选项一般是与p命令联合使用的，其他的增加，删除，替换行的命令是不需要 -n 选项的

数据的搜寻并替换

/test/test.txt | grep 'inet addr' | sed 's/^.*addr://g' | sed 's/Bcast.*$//g'

将修改应用到文件中

我们之前做的所有实验，实际上都没有修改test.txt文件的内容，也就是说我们看到的修改结果仅仅输出到控制台上，而文件test.txt的内容是没有修改的，我们可以使用 -i 选项告诉sed直接修改文件的内容，而不是将修改结果输出到终端上，例如：

sed -i '2d' test.txt 

命令运行之后，我们发现test.txt的第2行没有了

批量替换

如果我们要对很多文件中某个字符串进行修改，要是一个个文件得改显然不太现实，这时我们就需要对这些文件进行批量得替换

• 通过find命令：find -name 'pom.xml' | xargs perl -pi -e 's|http://repo1.maven.org/maven2|http://localhost:8081/nexus/content/groups/public|g'
• 直接使用sed命令:sed -i "s/oldString/newString/g"  `grep oldString -rl /path`  注意：在`grep oldString -rl /path`中的` 为键盘上1前边的翻引号`，而不是键盘上enter 前的 '

　　　　但是这个命令对多个文件的处理可能不生效，需要使用xargs：grep oldString -rl /path | xargs sed -i "s/oldString/newString/g"

• 第三种方式：grep "abc" * -R | awk -F: '{print $1}' | sort | uniq | xargs sed -i 's/abc/abcde/g'