shell复习笔记----查找与替换

查找文档

以grep 程序查找文本(匹配文本 matching text)相当方便.传统上有三种程序可以用来查找整个文本文件.

• grep 最早的文本匹配程序.其最简单的方式就是使用固定字符串

  $ who |grep -F austen     //范例中使用- F 选项,以查找固定字符串 austen.
  

  事实上,只要匹配的模式里未含有正则表达式的 meta 字符(metacharacter),则 grep 默认行为模式就等同于使用了-F.

  $ who |grep austen
  

• egrep 扩展式 grep.这个程序使用扩展正则表达式--这是一套功能更强大的正则表达式,使用它的代价是好屌更多的运算资源.
• fgrep 快速 grep(Fast grep).这个版本匹配固定字符串而非正则表达式,它使用优化的算法,能更有效匹配固定字符串.

grep
语法:
    grep [ options ...] pattern - spec [ files ...]

用途:
     现实匹配一个或者多个模式的文本行.时常会作为管道(pipeline)的第一步,以便于对匹配的数据做进一步处理.

主要选项:
      - E 使用扩展正则表达式进行匹配. grep -E可以取代传统的 egrep.
      - F 使用固定字符串进行匹配. frep -F可取代传统的 fgrep 命令
      - e  pat-list 通常,第一个非选项的参数会指定要匹配的模式
      - f  pat -file 从 pat -file 文件读取模式作匹配.
      - i  模式匹配时忽略大小写差异.
      - l  流出匹配模式的文件名称,而不是打印匹配的行.
      - q  静默地.摸过模式匹配成功则 grep 会成功地离开,而不将匹配的行写入标准输出;否则即使不成功.
      - s  不显示错误信息,通常与- q 并用.
      - v  显示不匹配模式的行

行为模式:
      读取命令行上知名的每个文件.如果匹配查找模式的行时,将它显示出来.档知名多个文件时, grep 会在每一行前面加上文件名与一个冒号.默认使用 BRE.

警告:
     你可以使用多个-d 与 -f 选项,建立要查找的模式列表.

正则表达式

正则表达式是一种表示方式,让你可以查找匹配特定准则的文本.此表示法让你可以写一个表达式,选定或匹配多个数据字符串.从根本上看,正则表达式是由两个基本组成部分所建立:一般字符与特殊字符.一般字符指的是任何没有特殊意义的字符;某些情况下,特殊字符也可以视为一般字符,特殊字符常称为元字符(metacharacter,简称 meta).

除了传统的 UNIX 正则表达式之外, POSIX 正则表达式还可以做到:

• 编写正则表达式,它表示特定于 locale 的字符序列顺序和等价字符
• 编写正则表达式,而不必关心系统底层的字符集是什么.

POSIX 的正则表达式有两种:基本正则表达式(BRE)以及扩展正则表达式(ERE).通常 ERE 比 BRE 功能更强大,不过不见得任何情况下都是这样.正则表达式对程序执行时的 locale 环境相当敏感;方括号表达式里的范围应避免使用,改用字符集,例如[[: alnum:]]较佳.另外许多 GNU 程序都有额外的 meta 字符.

字符	BRE/ERE	模式含义
\	两者都可	通常用以关闭后续字符的特殊意义.有时则是相反地打开后续字符的特殊意义,例如\(...\)与\{...\}
.	两者都可	匹配任何单个的字符,但 NUL 除外.独立程序也可以不允许匹配换行字符.
*	两者都可	匹配在他之前的任何数目(或没有)的单个字符.以 ERE 而言,此前置字符可以使正则表达式,例如:因为.(点号)表示任一字符,所以.*代表"匹配任意字符的任一长度".以 BRE 来说,*若至于正则表达式的第一个字符,不具任何特殊意义.
^	两者都可	匹配紧接着的正则表达式,在行或字符串的起始处. BRE: 仅在正则表达式的开头处具有此特殊含义; ERE:至于任何位置都具特殊含义
$	两者都可	匹配前面的正则表达式,在字符串或行结尾处. BRE: 仅在正则表达式结尾处具特殊含义. ERE:至于任何位置都具有特殊含义.
[...]	两者都可	方括号表达式(bracket  expression),匹配方括号内的任意字符.连字符(-)指的是连续字符的范围(注意:范围会因 locale 而有所不同,因此不具可移植性).^符号置于方括号里第一个字符则有反向含义:指的是匹配不在列表内(方括号内)的任何字符.作为首字母的一个连字符或是结束方括号(]),则被视为列表的一部分.所有其他的 meta 字符也列为列表的一部分(也就是:根据其字面上的意义).方括号表达式里可能会含有排序符号
\{n\m}	BRE	区间表达式(interval expression),匹配在它前面的单个字符重现(occurrences)的次数区间.
\( \)	BRE	将\( 与\)间的模式存储在特殊的"保留空间(holding space)".最多可以将9个独立的子模式(subpattern)存储在单个模式中.匹配与子模式的文本,可通过转义序列\1至\9,被重复使用在相同模式里.例如:\( ab\).*1,指的是匹配与 ab 组合的两次重现,中建科存在任何数目的字符.
\n	BRE	重复在\(与\)方括号内第 n 个子模式至此点的模式. n 为1至9的数字,1为由左开始.
{n,m}	ERE	与先前提及的 BRE 的\{n\m}一样,只不过方括号前没有反斜杠.
+	ERE	匹配前面正则表达式的零个或多个实例
?	ERE	匹配前面正则表达式的零个或一个实例
|	ERE	匹配于|符号前或后的正则表达式
()	ERE	匹配于方括号括起来的正则表达式群.

扩展正则表达式

正则表达式的扩展

程序与正则表达式

在文本文件里进行替换

很多 shell 脚本的工作都从通过 grep 或 egrep取出所需的文本开始.正则表达式最初结果,往往就成了要拿来做进一步处理的"原始数据(raw data)".通常文本替换(text substitution)至少需要做一件事,就是将一些字以另一些字代替,或者是删除匹配航的某个部分.

一般来说,执行文本替换的正确程序应该是 sed---流编辑器(Stream Editor).sed 的设计就是用来以批处理的方式而不是用交互的方式将来编辑文件. sed 存在的目的就在这里.虽然你也可以使用 ed 或者 ex 编辑脚本,但用他们处理会比较麻烦,通常用户不会记得要存储原来的文件.

sed 是处理简单字符串替换的主要工具,大部分的 Shell脚本在使用 sed 时几乎都是用来做替换的操作."从左边开始,扩展至最长(longest leftmost)"这个法则描述了匹配的文本在何处匹配以及匹配扩展到多长.

sed
语法:
      sed [ -n ] 'edition command' [file ...]
      sed [ -n ] -e 'editing command'... [ file ...]
      sed [ -n ] -f script -file ... [file ...]
用途:
     为了编辑它的输入流,将结果生成到标准输出,而非以交互式编辑器的方式拉编辑文件.虽然 sed 命令很多,能做很复杂的工作,但它常用的还是处理数据流的文本替换,通常作为管道的一部分.

主要选项:
     -e 'editing command'
     将 editing command 使用在输入数据上.当有多个命令需应用时,就必须使用-e 了.

      -f script -file
      自  script -file 中读取编辑命令.当有多个命令需要执行时,该选项相当有用.

       -n
      不是每个最后已修改结果都正常打印,而是现实以 p 指定(处理过的)行.
行为模式:
      读取每个输入文件的每一行,加入没有文件的话,则是标准输入.以每一行来说, sed 会执行每一个应用到输入航的 editing command.结果会写到标准输出(默认状态下,或是现实以 p 命令及-n 选项).若无-e 或- f 选项,则 sed 会把第一个参数看作是要使用的 editing command.

find /home/tolstoy -type d -print   |  寻找所有目录
sed 's;/home/tolstoy/;/home/lt/;'  |  修改名称:注意这里使用分号作为定界符
sed 's/^/mkdir /'                          |  插入mkdir 命令
sh -x                                              以 shell 跟踪模式执行

上述脚本是讲/ home/tolstoy 目录结构建立一份副本在/home/lt 下(可能是为备份而做的准备).