sed命令使用

• 创建模板文件

# cat >> example.txt <<"EOF"
TeSt
Test
test
EOF

测试过程中均不使用-i参数避免模板文件内容被修改，注意单双引号的使用

• 精确匹配

sed 's/TeSt/test/g' example.txt

• 忽略大小写

sed 's/TeSt/test/ig' example.txt

• 模糊匹配

sed 's/.*/test/g' example.txt

• 使用命令或参数

sed "s/TeSt/`whoami`/g" example.txt
PARAM=`whoami`
sed "s/TeSt/$PARAM/g" example.txt

• 匹配并追加内容(&保存搜索字符)

sed "s/TeSt/&`whoami`/g" example.txt

• 匹配并追加新行

sed -e "/Test/a\newline" example.txt

• 匹配并插入新行

sed -e "/Test/i\newline" example.txt

• 修改第N次匹配到的内容

sed ':a;N;$!ba;s/TeSt/&test/i3' example.txt

• 修改匹配最后一次的内容

sed ':a;N;$!ba;s/.*test/&test/i' example.txt

• 引用第N次匹配

# 使用()表示元组
echo '1x23456' | sed -e 's/\([0-9]\)/\1f/'

• 过滤以#和[字符开头的行

# sed -n '/^[^#\[]/p' example.txt

• 删除匹配行

# sed '/test/'d example.txt

• 删除指定行

# sed '1'd example.txt
# sed '1,2'd example.txt

• 行首行尾添加字符

# sed -e 's/^/# /g' example.txt
# sed -e 's/$/ #/g' example.txt

• 删除空行

# sed '/^$/d' example.txt
# sed 's/^[[:space:]]*$//g' example.txt

• 删除匹配行的换行符

# cat >> example.txt <<"EOF"
- name
  i
  am
  fwd
- place
  jiangsu
  nanjing
EOF

### :lab设置标签，b lab表示跳转到标签;N表示同时读取当前行下一行的内容进行匹配（这样就可以将下一行开头的空行加入匹配中，比如此处的[[:blank:]]\+，表示匹配多个空格或制表符）;P表示打印第一个换行符之前的内容（例如例子中的"- name"和"- place"）；D表示删除第一个换行符之前的内容并重新开始循环；即第一次匹配会匹配["-name","- place")之间的内容，然后删除内容里面的换行符
# sed ':lab;N;/\n[[:blank:]]\+/{s/\n[[:blank:]]\+/ /;b lab};P;D' example.txt

元字符	描述
\	将下一个字符标记符、或一个向后引用、或一个八进制转义符.例如,"\n"匹配\n."\n"匹配换行符.序列"\"匹配""而"("则匹配"(".即相当于多种编程语言中都有的"转义字符"的概念.
^	匹配输入字符串的开始位置.如果设置了RegExp对象的Multiline属性,^也匹配"\n"或"\r"之后的位置.
$	匹配输入字符串的结束位置.如果设置了RegExp对象的Multiline属性,$也匹配"\n"或"\r"之前的位置.
*	匹配前面的子表达式任意次.例如,zo*能匹配"z",也能匹配"zo"以及"zoo".
+	匹配前面的子表达式一次或多次(大于等于1次).例如,"zo+"能匹配"zo"以及"zoo",但不能匹配"z".+等价于{1,}.
?	匹配前面的子表达式零次或一次.例如,"do(es)?"可以匹配"do"或"does"中的"do".?等价于{0,1}.
{n}	n是一个非负整数.匹配确定的n次.例如,"o{2}"不能匹配"Bob"中的"o",但是能匹配"food"中的两个o.
{n,}	n是一个非负整数.至少匹配n次.例如,"o{2,}"不能匹配"Bob"中的"o",但能匹配"foooood"中的所有o."o{1,}"等价于"o+"."o{0,}"则等价于"o*".
{n,m}	m和n均为非负整数,其中n<=m.最少匹配n次且最多匹配m次.例如,"o{1,3}"将匹配"fooooood"中的前三个o."o{0,1}"等价于"o?".请注意在逗号和两个数之间不能有空格.
?	当该字符紧跟在任何一个其他限制符（*,+,?,{n},{n,},{n,m})后面时,匹配模式是非贪婪的.非贪婪模式尽可能少的匹配所搜索的字符串,而默认的贪婪模式则尽可能多的匹配所搜索的字符串.例如,对于字符串"oooo","o+?"将匹配每个"o"即4次匹配,而"o+"将只匹配1次即匹配"oooo".
.点	匹配除"\r\n"之外的任何单个字符.要匹配包括"\r\n"在内的任何字符,请使用像"[\s\S]"的模式.
(pattern)	匹配pattern并获取这一匹配.所获取的匹配可以从产生的Matches集合得到,在VBScript中使用SubMatches集合,在JScript中则使用$0…$9属性.要匹配圆括号字符,请使用"("或")".
(?:pattern)	非获取匹配,匹配pattern但不获取匹配结果,不进行存储供以后使用.
(?=pattern)	非获取匹配,正向肯定预查,在任何匹配pattern的字符串开始处匹配查找字符串,该匹配不需要获取供以后使用.例如,"Windows(?=2000)"能匹配"Windows2000"中的"Windows",但不能匹配"Windows3.1"中的"Windows".预查不消耗字符,也就是说,在一个匹配发生后,在最后一次匹配之后立即开始下一次匹配的搜索,而不是从包含预查的字符之后开始.
(?!pattern)	非获取匹配,正向否定预查,在任何不匹配pattern的字符串开始处匹配查找字符串,该匹配不需要获取供以后使用.例如"Windows(?!2000)"能匹配"Windows3.1"中的"Windows",但不能匹配"Windows2000"中的"Windows".
(?<=pattern)	非获取匹配,反向肯定预查,与正向肯定预查类似,只是方向相反.例如,"(?<=2000)Windows"能匹配"2000Windows"中的"Windows",但不能匹配"3.1Windows"中的"Windows".
(?<!pattern)	非获取匹配,反向否定预查,与正向否定预查类似,只是方向相反.例如"(?<!2000)Windows"能匹配"3.1Windows"中的"Windows",但不能匹配"2000Windows"中的"Windows".此处用或任意一项都不能超过2位,单独使用则无限制
[xyz]	字符集合.匹配所包含的任意一个字符.例如,"[abc]"可以匹配"plain"中的"a".
[^xyz]	负值字符集合.匹配未包含的任意字符.例如,"[^abc]"可以匹配"plain"中的"plin".
[a-z]	字符范围.匹配指定范围内的任意字符.例如,"[a-z]"可以匹配"a"到"z"范围内的任意小写字母字符注意:只有连字符在字符组内部时,并且出现在两个字符之间时,才能表示字符的范围; 如果出字符组的开头,则只能表示连字符本身.
[^a-z]	负值字符范围.匹配任何不在指定范围内的任意字符.例如,"[^a-z]"可以匹配任何不在"a"到"z"范围内的任意字符.
\b	匹配一个单词边界,也就是指单词和空格间的位置（即正则表达式的"匹配"有两种概念,一种是匹配字符,一种是匹配位置,这里的\b就是匹配位置的).例如,"er\b"可以匹配"never"中的"er",但不能匹配"verb"中的"er".
\B	匹配非单词边界."er\B"能匹配"verb"中的"er",但不能匹配"never"中的"er".
\cx	匹配由x指明的控制字符.例如,\cM匹配一个Control-M或回车符.x的值必须为A-Z或a-z之一.否则,将c视为一个原义的"c"字符.
\d	匹配一个数字字符.等价于[0-9].grep 要加上-P,perl正则支持
\D	匹配一个非数字字符.等价于[^0-9].grep要加上-Pperl正则支持
\f	匹配一个换页符.等价于\x0c和\cL.
\n	匹配一个换行符.等价于\x0a和\cJ.
\r	匹配一个回车符.等价于\x0d和\cM.
\s	匹配任何不可见字符,包括空格、制表符、换页符等等.等价于[ \f\n\r\t\v].
\S	匹配任何可见字符.等价于[^ \f\n\r\t\v].
\t	匹配一个制表符.等价于\x09和\cI.
\v	匹配一个垂直制表符.等价于\x0b和\cK.
\w	匹配包括下划线的任何单词字符.类似但不等价于"[A-Za-z0-9_]",这里的"单词"字符使用Unicode字符集.
\W	匹配任何非单词字符.等价于"[^A-Za-z0-9_]".
\xn	匹配n,其中n为十六进制转义值.十六进制转义值必须为确定的两个数字长.例如,"\x41"匹配"A"."\x041"则等价于"\x04&1".正则表达式中可以使用ASCII编码.
\num	匹配num,其中num是一个正整数.对所获取的匹配的引用.例如,"(.)\1"匹配两个连续的相同字符.
\n	标识一个八进制转义值或一个向后引用.如果\n之前至少n个获取的子表达式,则n为向后引用.否则,如果n为八进制数字（0-7),则n为一个八进制转义值.
\nm	标识一个八进制转义值或一个向后引用.如果\nm之前至少有nm个获得子表达式,则nm为向后引用.如果\nm之前至少有n个获?騨为一个后跟文字m的向后引用.如果前面的条件都不满足,若n和m均为八进制数字（0-7),则\nm将匹配八进制转义值nm.
\nml	如果n为八进制数字（0-7),且m和l均为八进制数字（0-7),则匹配八进制转义值nml.
\un	匹配n,其中n是一个用四个十六进制数字表示的Unicode字符.例如,\u00A9匹配版权符号（©).
\p{P}	小写 p 是 property 的意思,表示 Unicode 属性,用于 Unicode 正表达式的前缀.中括号内的"P"表示Unicode字符集七个字符属性之一: 标点字符. 其他六个属性: L: 字母； M: 标记符号（一般不会单独出现)； Z: 分隔符（比如空格、换行等)； S: 符号（比如数学符号、货币符号等)； N: 数字（比如阿拉伯数字、罗马数字等)； C: 其他字符. *注: 此语法部分语言不支持,例: javascript.
< >	匹配词（word)的开始（<)和结束（>).例如正则表达式能够匹配字符串"for the wise"中的"the",但是不能匹配字符串"otherwise"中的"the".注意: 这个元字符不是所有的软件都支持的.
( )	将( 和 ) 之间的表达式定义为"组"（group),并且将匹配这个表达式的字符保存到一个临时区域（一个正则表达式中最多可以保存9个),它们可以用 \1 到\9 的符号来引用.
+	匹配1或多个正好在它之前的那个字符.例如正则表达式9+匹配9、99、999等.注意: 这个元字符不是所有的软件都支持的.
?	匹配0或1个正好在它之前的那个字符.注意: 这个元字符不是所有的软件都支持的.
{i} {i,j}	匹配指定数目的字符,这些字符是在它之前的表达式定义的.例如正则表达式A[0-9]{3} 能够匹配字符"A"后面跟着正好3个数字字符的串,例如A123、A348等,但是不匹配A1234.而正则表达式[0-9]{4,6} 匹配连续的任意4个、5个或者6个数字

参考资料

sed命令匹配符详解

sed之修改匹配的第N个内容

Sed and awk 笔记之 sed 篇：基础命令

sed命令用法小结