[^ ] 跟 [! ] 差在哪？-- Shell十三问<第十四问>

[^ ] 跟 [! ] 差在哪？-- Shell十三问<第十四问>

这道题目说穿了, 就是要探讨 Wildcard(通配符)与 Regular Expression(正则表达式)的差别的.这也是许多初学 shell 的朋友很容易混乱的地方.

首先, 让我们回到十三问之第 2 问, 再一次将我们提到的 command line format 温习一次:

[code]command_name options arguments[/code]

同时, 也再来理解一下我在第 5 问所提到的变量替换的特性:

[code]先替换, 再重组 command lline![/code]

有了这两道基础后, 才让我们来看看 wildcard(统配符)是甚么回事吧.

Part-I: Wildcard(通配符)

首先, wildcard 也是属于 command line 的处理工序, 作用于 argument 里的 path 之上.

没错, 它不用在 command_name 也不用在 options 上.而且, 若 argument 不是 path 的话, 那也与 wildcard 无关.换句更为精确的定义来讲, wildcard 是一种命令行的路径扩展(path expansion)功能.

提到这个扩展, 那就不要忘记了 command line 的"重组"特性了!

是的, 这与变量替换(variable substitution)及命令替换(command substitution)的重组特性是一样的!也就是在 wildcard 进行扩展后, 命令行会先完成重组才会交给 shell 来处理.

了解了 wildcard 的扩展与重组特性后, 接下来, 让我们了解一些常见的 wildcard 吧:

*     : 匹配 0 或多个字符
?     : 匹配任意单一字符
[list]: 匹配 list 中的任意单一字符(注一)
[!list]              : 匹配不在 list 中的任意单一字符
{string1,string2,...}: 匹配 sring1 或 string2 (或更多)其一字符串
(注一: list 可以为指定的个别字符, 如 abcd; 也可以为一段 ASCII 字符的起止范围, 如:
a-d .)

例:
a*b: a 与 b 之间可以有任意长度的任意字符, 也可以一个也没有, 如: aabcb, axyzb, a012b,
ab 等.
a?b: a 与 b 之间必须也只能有一个字符, 可以是任意字符, 如: aab, abb, acb, a0b 等.
a[xyz]b: a 与 b 之间必须也只能有一个字符, 但只能是 x 或 y 或 z, 如: axb, ayb, azb 这
三个.
a[!0-9]b: a 与 b 之间必须也只能有一个字符, 但不能是阿拉伯数字, 如: axb, aab, a-b 等.
a{abc,xyz,123}b: a 与 b 之间只能是 abc 或 xyz 或 123 这三个字符串之一, 如 aabcb,
axyzb, a123b 这三个.

注意:

1. [! ] 中的 ! 只有放在第一顺位时, 才有排除之功. 举例说:[!a]* 表示当前目录下所有不以 a 开首的路径名称. /tmp/[a\!]* 表示 /tmp 目录下以 a 或 ! 开首的路径名称. (思考: 为何 ! 前面要加 \ 呢? 提示: 十三问之 4 )

2. [ -] 中的 - 左右两边均有字符时, 才表示一段范围, 否则仅作 "-"(减号) 字符来处理. 举例说: /tmp/[-z]/[a-zA-Z] 表示 /tmp 目录下所有以 z 或 - 结尾的子目录下以英文字母(不分大小写)开首的路径名称.

3. 以 * 或 ? 开首的 wildcard 不能匹配隐藏文件(即以 . 开首的文件). 举例说: *.txt 并不能匹配 .txt 但可匹配 1.txt 这样的路径名称.

但 1*txt 及 1?txt 均可匹配 1.txt 这样的路径名称. 基本上, 要掌握 wildcard 并不难, 只要多加练习, 再勤于思考, 就能熟加运用了. 再次提醒: 别忘了"扩充+重组"这个重要特性, 而且只作用在 argument 的 path 上. 比方说, 假设当前目录下有 a.txt b.txt c.txt 1.txt 2.txt 3.txt 这几份文件. 当我们在命令行中下达 ls -l [0-9].txt 的命令行时, 因为 wildcard 处于 argument 的位置上, 于是根据其匹配的路径, 扩展为 1.txt 2.txt 3.txt , 再重组出 ls -l 1.txt 2.txt 3.txt 这样的命令行.

因此, 你在命令行上敲 ls -l [0-9].txt 与 ls -l 1.txt 2.txt 3.txt 都是同样的结果, 其原因正是于此了...

Part-II: Regular Expression

接下来的 Regular Expression(RE) 可是个大题目, 要讲的很多, 我这里当然不可能讲得很完全.只希望带给大家一个基本的入门概念, 就很是足够了.

先来考一下英文好了: What is expression? 简单来说, 就是"表达", 也就是人们在沟通时所要陈述的内容. 然而, 生活中, 表达方要清楚的将意思描述清楚而让接收方完整且无误的领会, 可不是件容易的事情. 因而才会出现那么多的"误会", 真可叹句"表达不易"啊....

同样的情形也发生在计算机的数据处理过程中, 尤其是当我们在描术一段"文字内容"的时候. 那么, 我们不禁要问: 有何方法可以让大家的误会降至最低程度而让表达的精确度达到最高程度呢?

答案就是"标准化"了, 亦就是我们这里要谈的 Regular Expression 啦..

然而, 在进入 RE 介绍之前, 不防先让我们温习一下 shell 十三问第 4 问, 也就是关于quoting 的部份.

关键是要能够区分 shell command line 上的 meta 与 literal 这两种不同的字符类别.

然后, 我这里才跟你讲:

RE 表达式里的字符也是分为 meta 与 literal 这两种!

呵, 不知亲爱的读者是否被我搞混乱了呢? .

这也难怪啦, 因为这的确是最容易混乱的地方, 刚学 RE 的朋友很多时候都死在这里! 因此请特别小心理解哦...

简单而言, 除非你将 RE 写在特定程序使用的脚本里,否则, 我们的 RE 也是透过 command line 输入的. 然而, 不少 RE 所始用的 meta 字符, 跟 shell meta 字符是冲突的.

比方说, * 这个字符, 在 RE 里是一个 modifier(后述), 在 command line 上, 却是个 wildcard !

那么, 我们该如何解决这样的冲突呢? 关键就是看你对十三问第 4 问所提的 quoting 是否够理解了!

若你明白到 shell quoting 就是在 command line 上关闭 shell meta 这一基本原理,那你就能很轻松的解决 RE meta 与 shell meta 的冲突问题了:

用 shell quoting 关掉 shell meta 就是了!

再以刚提到的 * 字符为例, 若在 command line 中没有 quoting 处理的话, 如 abc* ,那就会被作为 wildcard expansion 来扩充及重组了.若将之置于 quoting 中, 如 "abc*", 则可避免 wildcard expansion 的处理.

好了, 说了大半天, 还没进入正式的 RE 介绍呢...

大家别急, 因为我的教学风格就是要先建立基础, 循序渐进的.

因此, 我这里还要在啰唆一个观念, 才会到 RE 的说明啦... (哈... 别打我....)

当我们在谈到 RE 时, 千万别跟 wildcard 搞混在一起!

尤其在 command line 的位置里, wildcard 只作用于 argument 的 path 上. 但是 RE 却只用于"字符串处理"的程序之中, 这与路径名称一点关系也没有! RE 所处理的字符串通常是指纯文档或透过 stdin 读进的内容.

现在, 就让我门登堂入室, 撩开 RE 的神秘面纱吧, 这样可以放过我了吧? 哈哈.

在 RE 的表达式里, 主要分两种字符(character): literal 与 meta. 所谓 literal 就是在 RE 里不具特殊功能的字符, 如 abc, 123 这些;

而 meta 在 RE 里具有特殊的功能, 要关闭之需在 meta 前面使用 escape( \ )字符. 然而, 在介绍 meta 之前, 先让我们来认识一下字符组合(character set)会更好些.

所谓的 char. set 就是将多个连续的字符作一个集合, 比方说:

abc  : 表示 abc 三个连续的字符, 但彼此独立而非集合. (可简单视为三个 char. set)
(abc): 表示 abc 这三个连续字符的集合. (可简单视为一个 char. set)
abc|xyz: 表示或 abc 或 xyz 这两个 char. set 之一.
[abc] : 表示单一字符, 可为 a 或 b 或 c . (与 wildcard 之 [abc] 原理相同)
[^abc]: 表示单一字符, 不为 a 或 b 或 c 即可. (与 wildcard 之 [!abc] 原理相同)
.     : 表示任意单一字符. (与 wildcard 之 ? 原理相同)

在认识了 char.set 这个概念后, 然后再让我们多认识几个 RE 中常见的 meta 字符:

• 锚点(anchor)用以标识 RE 于句子中的位置所在. 常见有:

• ^: 表示句首. 如 ^abc 表示以 abc 开首的句子.
  $: 表示句尾. 如 abc$ 表示以 abc 结尾的句子.
  \<: 表示词首. 如 \<abc 表示以 abc 开首的词.
  \>: 表示词尾. 如 abc\> 表示以 abc 结尾的词.
  

• 修饰字符(modifier) 独立表示时本身不具意义, 专门用以修改前一个 char. set 的出现次数. 常见有:

  *: 表示前一个 char. set 的出现次数为 0 或多次. 如 ab*c 表示 a 与 c 之间可有 0 或多个 b 存在.
  ?: 表示前一个 char. set 的出现次数为 0 或 1 次. 如 ab?c 表示 a 与 c 之间可有 0 或 1个 b 存在.
  +: 表示前一个 char. set 的出现次数为 1 或多次. 如 ab+c 表示 a 与 c 之间可有 1 或多个 b 存在.
  {n}: 表示前一个 char. set 的出现次数必须为 n 次. 如 ab{3,}c 表示 a 与 c 之间必须有3 个 b 存在.{n,}: 表示前一个 char. set 的出现次数至少为 n 次. 如 ab{3,}c 表示 a 与 c  之间至少有 3 个 b 存在.
  {n,m}: 表示前一个 char. set 的出现次数为 n 到 m 次. 如 ab{3,5}c 表示 a 与 c 之间有3 到 5 个 b 存在.
  

然而, 当我们在识别 modifier 时, 却很容易忽略"边界(boundary)"字符的重要性.以刚提到的 ab{3,5}c 为例, 这里的 a 与 c 就是边界字符了.若没有边界字符的帮忙, 我们很容以作出错误的解读.

比方说: 我们用 ab{3,5} 这个 RE (少了 c 这个边界字符)可以抓到 abbbbbbbbbbc (a 后有10 个 b )这串字吗?

从刚才的 modifier 我们一般会认为我们要的 b 是 3 到 5 个, 若超出了此范围, 就不是我们要表达的.因此, 我们或会很轻率的认为这个 RE 抓不到结果.

然而答案却是可以的! 为甚么呢?

让我们重新解读 ab{3,5} 这个 RE 看看:

我们要表达的是 a 后接 3 到 5 个 b 即可, 但 3 到 5 个 b 后面我们却没规定是甚么,因此在 RE 后面可以是任意的文字, 当然包括 b 也可以啦! (明白了吗?)

同样的, 我们用 b{3,5}c 也同样可以抓到 abbbbbbbbbbc 这串字的. 但我们若使用 ab{3,5}c 这样的 RE 时, 由于同时有 a 与 c 这两个边界字符, 那就截然不同了!

有空再思考一下, 为何我们用下面这些 RE 都可抓到 abc 这串字呢?
x*
ax*, abx*, ax*b
abcx*, abx*c, ax*bc

bx*c, bcx*, x*bc
...(还有更多...)

但, 若我们在这些 RE 前后分别加一个 ^ 与 $ 这样的 anchor, 那又如何呢?刚学 RE 时, 只要能掌握上面这些基本的 meta 大概就可以入门了.

一如前述, RE 是一种规范化的文字表达方式, 主要用于某些文字处理工具之间,如 grep, perl, vi, awk, sed, 等等. 常用以表示一段连续的字符串, 捕获之或替换之.然而, 每种工具对 RE 表达式的具体解读或有一些细微差异, 不过, 基本原则还是一致的.只要能掌握 RE 的基本原理, 那就一理通百理明了, 只是在实作时稍加变通即可.比方以 grep 来说, 在 Linux 上你可找到 grep, egrep, fgrep 这几个程序, 其差异大致如下:

• grep:传统的 grep 程序, 在没有参数的情况下, 只输出符合 RE 字符串之句子.
  
  常见参数如下:

-v: 逆反模示, 只输出"不含" RE 字符串之句子.
-r: 递归模式, 可同时处理所有层级子目录里的文件.
-q: 静默模式, 不输出任何结果(stderr 除外. 常用以获取 return value, 符合为 true, 否则为
false .)
-i: 忽略大小写.
-w: 整词比对, 类似 \<word\> .
-n: 同时输出行号.
-c: 只输出符合比对的行数.
-l: 只输出符合比对的文件名称.
-o: 只输出符合 RE 的字符串. (gnu 新版独有, 不见得所有版本都支持.)
-E: 切换为 egrep .

• egrep: 为 grep 的扩充版本, 改良了许多传统 grep 不能或不便的操作.

比方说:
grep 之下不支持 ? 与 + 这两种 modifier, 但 egrep 则可.
grep 不支持 a|b 或 (abc|xyz) 这类"或一"比对, 但 egrep 则可.
grep 在处理 {n,m} 时, 需用 \{ 与 \} 处理, 但 egrep 则不需.
诸如此类的... 我个人会建议能用 egrep 就不用 grep 啦.

• fgrep:
  
  不作 RE 处理, 表达式仅作一般字符串处理, 所有 meta 均失去功能.好了...
  
  关于 RE 的入门, 我暂时就介绍到这里.