深入入门正则表达式（java）

一.入门基础

1.元字符

很多人对正则表达式的印象就是乱码。。许许多多的符号组合在一起，偶见单词，正则确实是这样的，所以下面我们要看看这些符号都是什么意思

有些符号不是大家看到的字面上的意思：比如“.”、“!”、“?” ……

这些符号就称之为元字符

下面我们逐一说明

“\” ：转义符号，在字符组内依然是元字符。

在检查一行文本时

“^” ：脱字符：表示一行的开始

“$” ：美元符号：表示一行的结束

字符组

“[]” ：一对中括号，里面可以添加任何内容，比如[hate]，括号里面的内容是或者的关系，这个正则的意义是：我想匹配一个字符，这个字符可以是h，可以是a，也可以是t或e。

记住：字符组最终只会匹配一个字符。 即使你的目标字符串是hate，那么一次匹配成功的结果也只是第一个字母h，并不是整个单词，如果我就想匹配hate这个单词怎么办？很容易，正则内容为“hate”，在字符组外面的字符的关系是“和，并且”的意思。

注意：字符组内的元字符和字符组外的元字符并不一样，即使字符一样，表示的意义也未必相同 （*）

我们先学习下一个内容，然后再来给大家解释上面的这句话

“[^]” ：括号里面以“^”开头，是字符组的否定形式 ，比如：[^hate]表示：匹配除了h、a、t、e以外的其他字符，依然只会匹配一个字符

之前刚刚学过“^”表示一行的开始，但是脱字符位于[]内的起始位置则表示否定，这也解释了（*） 的内容

如果脱字符位于括号内其他位置表示什么呢？那它表示它自己，此时并不再是一个元字符

“-” ：减号，可以在字符组内表示区间、范围。比如“[a-z]”，表示匹配a到z直接的任意一个小写字母，如果是“[-z]”，那么“-”只表示它自己，没有任何特殊意义，它在字符组外也没有任何特殊意义。

ps：关于“^”、“$”、“-”的其他用法将在高级基础篇讲述

“.” ：点号，匹配一个任意字符的字符组简便写法。“.”在字符组内没不是元字符

ps：“.”也不是万能的，有些字符无法匹配，之后会详细解释并给出替代方案

“|” ：竖线，表示或者，这个很容易记忆，如果想匹配hate或者like，那么正则为：“hate|like”

注意：如果想匹配I hate you和I like you。那么正则为：“I (hate|like) you”。如果写成“I hate|like you”，那么匹配的结果为“I hate”或者是“like you”了

这里圆括号的作用是控制竖线的作用范围，“()”有很多作用，稍后再说

“\b” ：它的作用是单词分隔符，如果我想匹配like，那么正则为“like”，没错，但是会得到一些我不想要的结果，比如likely也会跑到结果集中，我可不想要这些单词。那么修改正则为：“\blike\b”，这回就只能匹配like这个单词了。

注意：java中的单词分隔符为“\b”，有些语言的单词分隔符为“\<” 和“\>” 。

单词边界是什么呢？其实正则没有那么聪明，它不会识别“Ilikeyou”为“I like you”，它只是找到数字和字母的起始位置和结束位置而已

“\w” ：单词字符。在java中相当于“[a-zA-Z0-9_]”。 但是java中的“\b”却支持Unicode字符。

下面我们来看看正则中的“数字” - 量词

“?” ：表示0个至1个

“*” ：表示0个至任意多个

“+” ：表示至少一个

“{min,max}” ：区间量词。“{2,5}”，表示匹配2到5次。“{2,}”表示至少两次，“{2}”表示只匹配两次。 “{,2}”，正则错误，无意义

举个例子：正如上面的反面教程所说，如果想匹配一个正整数，那么应该如何来做

首先我们需要明确：我不想匹配0123，只想匹配123这样的数字，0不能开头，第二个要求就是除了数字不能有其他字符了

之前我们学过字符组了，“[0-9]”可以表示0至9中任意一个数字，那么根据上面的量词，我们改正则为“[0-9]+”，表示至少有一个数字，至多没有限制。但是0123这样的数字也会满足要求。那么我们再修改一下，首先第一位不能为0，那么这一位可以写为“[1-9]”，表示匹配1到9的任何一个数字，之后呢？后面的数字有没有都无所谓了，有，那就是多位数，没有，那就是一位数。所以正则为“[1-9][0-9]*”。

常见字符范围缩写

贪婪与懒惰

我们再来看一个量词的例子。比如我想匹配一个单词，正则可以这么写“[a-zA-Z]+”，或者“\w+”

 /**
  * 测试 正则表达式
  * @ClassName: regexTest_1
  * @Description:
  * @author xingle
  * @date 2014-4-21 上午11:15:09
  */
 public class regexTest_1 {
     public static void main(String[] args) {
         String input = "there is a book on the desk.";
         // 正则表达式
         String regex = "\\w+";
         Pattern p = Pattern.compile(regex);
         Matcher m = p.matcher(input);
         boolean found = false;
         while (m.find()) {
             found = true;
             System.out.println("输入："+input);
             System.out.printf("匹配的字符： \"%s\" 索引开始为  %d and 结束索引为  %d.%n",
                             m.group(), m.start(), m.end());
             System.out.println();
         }
         if(found==false){
             System.out.println("没有找到匹配字符串！");
         }

     }

 }

执行结果：

输入：there is a book on the desk.
匹配的字符： "there" 索引开始为 0 and 结束索引为 5.

输入：there is a book on the desk.
匹配的字符： "is" 索引开始为 6 and 结束索引为 8.

输入：there is a book on the desk.
匹配的字符： "a" 索引开始为 9 and 结束索引为 10.

输入：there is a book on the desk.
匹配的字符： "book" 索引开始为 11 and 结束索引为 15.

输入：there is a book on the desk.
匹配的字符： "on" 索引开始为 16 and 结束索引为 18.

输入：there is a book on the desk.
匹配的字符： "the" 索引开始为 19 and 结束索引为 22.

输入：there is a book on the desk.
匹配的字符： "desk" 索引开始为 23 and 结束索引为 27.

有个问题就出来了：“\w+”表示至少一个“\w”，那么为什么结果不是“t”、“h”、“e”、“r”、“e”，而是“there”。

上面的量词，除了“{times}”这种指定匹配次数的，其余默认均为贪婪匹配。也就是说尽可能多的匹配。

相对的就有惰性匹配，那么惰性匹配如何使用？

下面修改一下例子：“\w*e”表示以e结尾的单词，现在这里的*还是贪婪匹配。

 public class regexTest_1 {
     public static void main(String[] args) {
         String input = "there is a book on the desk.";
         // 正则表达式
         String regex = "\\w*e";
         Pattern p = Pattern.compile(regex);
         Matcher m = p.matcher(input);
         int c = 0;
         boolean found = false;
         System.out.println("输入："+input);
         while (m.find()) {
             c++;
             found = true;
             System.out.println("第 "+c+"个");
             System.out.printf("匹配的字符： \"%s\" 索引开始为  %d and 结束索引为  %d.%n",
                             m.group(), m.start(), m.end());
             System.out.println();
         }
         if(found==false){
             System.out.println("没有找到匹配字符串！");
         }
     }
 }

执行结果：

输入：there is a book on the desk.
第 1个
匹配的字符： "there" 索引开始为 0 and 结束索引为 5.

第 2个
匹配的字符： "the" 索引开始为 19 and 结束索引为 22.

第 3个
匹配的字符： "de" 索引开始为 23 and 结束索引为 25.

如果我想匹配到单词中的第一个e，那么如何修改呢？

 public class regexTest_1 {
     public static void main(String[] args) {
         String input = "there is a book on the desk.";
         // 正则表达式  匹配到每个单词的第一个e结束
         String regex = "\\b\\w*?e";
         Pattern p = Pattern.compile(regex);
         Matcher m = p.matcher(input);
         int c = 0;
         boolean found = false;
         System.out.println("输入："+input);
         while (m.find()) {
             c++;
             found = true;
             System.out.println("第 "+c+"个");
             System.out.printf("匹配的字符： \"%s\" 索引开始为  %d and 结束索引为  %d.%n",
                             m.group(), m.start(), m.end());
             System.out.println();
         }
         if(found==false){
             System.out.println("没有找到匹配字符串！");
         }
     }
 }

执行结果：

输入：there is a book on the desk.
第 1个
匹配的字符： "the" 索引开始为 0 and 结束索引为 3.

第 2个
匹配的字符： "the" 索引开始为 19 and 结束索引为 22.

第 3个
匹配的字符： "de" 索引开始为 23 and 结束索引为 25.

还是来看there，这回“\w+”只匹配了“th”，并没有匹配到“ther”才停止。

惰性匹配就是尽可能少的匹配，使用方法就是在量词后面加上“?”

如果量词后面没有“?”等其他量词，那么就是默认的贪婪匹配。

要是匹配整个单词，结尾加单词分隔符“\b”

 public class regexTest_1 {
     public static void main(String[] args) {
         String input = "there is a book on the desk.";
         // 正则表达式  匹配到以e结束的整个单词
         String regex = "\\b\\w*?e\\b";
         Pattern p = Pattern.compile(regex);
         Matcher m = p.matcher(input);
         int c = 0;
         boolean found = false;
         System.out.println("输入："+input);
         while (m.find()) {
             c++;
             found = true;
             System.out.println("第 "+c+"个");
             System.out.printf("匹配的字符： \"%s\" 索引开始为  %d and 结束索引为  %d.%n",
                             m.group(), m.start(), m.end());
             System.out.println();
         }
         if(found==false){
             System.out.println("没有找到匹配字符串！");
         }
     }
 }

执行结果：

输入：there is a book on the desk.
第 1个
匹配的字符： "there" 索引开始为 0 and 结束索引为 5.

第 2个
匹配的字符： "the" 索引开始为 19 and 结束索引为 22.

“?”，“*”，“+”：也叫匹配优先量词

“*?”，“+?”，“??”：也叫忽略优先量词

其实还有一种量词：

“?+”，“*+”，“++”：占有优先量词 。 （支持这种量词的正则引擎很少，java支持）

这节不讨论这种类型量词，之后的章节讨论

() ：将括号里面的内容作为一个独立的单元，理解为一组。

二 、正则表达式进阶

1.捕获组

　　捕获组（capturing group）是将多个字符作为单独的单元来对待的一种方式。构建它们可以通过把字符放在一对圆括号中而成为一组。例如，正则表达式(dog)建了单个的组，包括字符“d”“o”和“g”。匹配捕获组输入的字符串部分将会存放于内存中，稍后通过反向引用再次调用。

1.编号方式
　　在 Pattern 的 API 描述中，捕获组通过从左至右计算开始的圆括号进行编号。例如，在表达式((A)(B(C)))中，有下面的四组：
　　1. ((A)(B(C)))
　　2. (A)
　　3. (B(C))
　　4. (C)
　　要找出当前的表达式中有多少组，通过调用 Matcher 对象的 groupCount 方法。groupCount 方法返回 int 类型值，表示当前 Matcher 模式中捕获组的数量。例如，groupCount 返回 4 时，表示模式中包含有 4 个捕获组。
　　有一个特别的组——组 0，它表示整个表达式。这个组不包括在 groupCount 的报告范围内。以(?开始的组是纯粹的非捕获组（non-capturing group），它不捕获文本，也不作为组总数而计数
　　Matcher 中的一些方法，可以指定 int 类型的特定组号作为参数，因此理解组是如何编号的是尤为重要的。
　　public int start(int group)：返回之前的匹配操作期间，给定组所捕获的子序列的初始索引。
　　public int end(int group)：返回之前的匹配操作期间，给定组所捕获子序列的最后字符索引加 1。
　　public String group (int group)：返回之前的匹配操作期间，通过给定组而捕获的输入子序列。

 

 2.非捕获组

一些表达式中，不得不使用( )，但又不需要保存( )中子表达式匹配的内容，这时可以用非捕获组来抵消使用( )带来的副作用。

 

“(?:)” ：非捕获型括号。“(?:desk)”会匹配到desk这个字符串，但是如果你企图使用反向引用“(?:desk) \1”，那么就会出现错误。这样的操作是非法的。

注意：非捕获型括号不影响捕获计数

好处：

1.提高效率，很容易理解，不记住捕获的内容也就不占用内存了

2.结构清晰

3.反向引用

1  概述

捕获组捕获到的内容，不仅可以在正则表达式外部通过程序进行引用，也可以在正则表达式内部进行引用，这种引用方式就是反向引用。

反向引用的作用通常是用来查找或限定重复、查找或限定指定标识配对出现等等。

对于普通捕获组和命名捕获组的引用，语法如下：

普通捕获组反向引用：\k<number>，通常简写为\number

命名捕获组反向引用：\k<name>或者\k'name'

普通捕获组反向引用中number是十进制的数字，即捕获组的编号；命名捕获组反向引用中的name为命名捕获组的组名。

2  反向引用匹配原理

捕获组(Expression)在匹配成功时，会将子表达式匹配到的内容，保存到内存中一个以数字编号的组里，可以简单的认为是对一个局部变量进行了赋值，这时就可以通过反向引用方式，引用这个局部变量的值。一个捕获组(Expression)在匹配成功之前，它的内容可以是不确定的，一旦匹配成功，它的内容就确定了，反向引用的内容也就是确定的了。

反向引用必然要与捕获组一同使用的，如果没有捕获组，而使用了反向引用的语法，不同语言的处理方式不一致，有的语言会抛异常，有的语言会当作普通的转义处理。

2.1  从一个简单例子说起

源字符串：abcdebbcde

正则表达式：([ab])\1

对于正则表达式“([ab])\1”，捕获组中的子表达式“[ab]”虽然可以匹配“a”或者“b”，但是捕获组一旦匹配成功，反向引用的内容也就确定了。如果捕获组匹配到“a”，那么反向引用也就只能匹配“a”，同理，如果捕获组匹配到的是“b”，那么反向引用也就只能匹配“b”。由于后面反向引用“\1”的限制，要求必须是两个相同的字符，在这里也就是“aa”或者“bb”才能匹配成功。

考察一下这个正则表达式的匹配过程，在位置0处，由“([ab])”匹配“a”成功，将捕获的内容保存在编号为1的组中，然后把控制权交给“\1”，由于此时捕获组已记录了捕获内容为“a”，“\1”也就确定只有匹配到“a”才能匹配成功，这里显然不满足，“\1”匹配失败，由于没有可供回溯的状态，整个表达式在位置0处匹配失败。

正则引擎向前传动，在位置5之前，“([ab])”一直匹配失败。传动到位置5处时，，“([ab])”匹配到“b”，匹配成功，将捕获的内容保存在编号为1的组中，然后把控制权交给“\1”，由于此时捕获组已记录了捕获内容为“b”，“\1”也就确定只有匹配到“b”才能匹配成功，满足条件，“\1”匹配成功，整个表达式匹配成功，匹配结果为“bb”，匹配开始位置为5，结束位置为7。

扩展一下，正则表达式“([a-z])\1{2}”也就表达连续三个相同的小写字母。

　　

常用空白字符

“\s” ：表示所有空白字符。

“\t” ：制表符。

“\n” ：换行符。

“\r” ：回车。

一些其他常用的缩略表示

“\S” ：除“\s”之外的任何字符

“\w” ：等同于[a-zA-Z0-9_]

“\W ” ：除“\w”之外的任何字符

“\d” ：等同于[0-9]

“\D” ：除“d”之外的任何字符

有些工具不支持，比如EditPlus v3.10 中的查找就不支持\d等。

环视（零宽断言）

环视分为顺序和逆序，肯定和否定，组合一下一共4种。下面就看看环视到底是什么

“(?=)” ：顺序肯定环视：（从左至右）查看文本，如果能够匹配，就返回匹配成功信息。

“(?<=)” ：逆序肯定环视：（从右至左）查看文本，如果能够匹配，就返回匹配成功信息。

“(?!)” ：顺序否定环视：（从左至右）查看文本，如果不能够匹配，就返回匹配成功信息。

“(?<!)” ：逆序否定环视：（从右至左）查看文本，如果不能够匹配，就返回匹配成功信息。

 

下面看几个简单的实例

例：下面有两句话，加入你只想找到book，不想找到books

there is a book on the desk.
there are some books on the desk.

最简单的办法是：“book\b”，这很容易理解，book后面跟着单词分隔符，book后面如果是s，那么肯定被认为是一个单词，所以这样不会匹配到books。如果用环视，应该如何书写呢

“book(?!\w)”

 public class regexTest_1 {
     public static void main(String[] args) {
         String input = "there is a book on the desk. there are some books on the desk.";
         // 正则表达式  等价于"book\\b"
         String regex = "book(?!\\w)";
         Pattern p = Pattern.compile(regex);
         Matcher m = p.matcher(input);
         int c = 0;
         boolean found = false;
         System.out.println("输入："+input);
         while (m.find()) {
             c++;
             found = true;
             System.out.println("第 "+c+"个");
             System.out.printf("匹配的字符： \"%s\" 索引开始为  %d and 结束索引为  %d.%n",
                             m.group(), m.start(), m.end());
             System.out.println();
         }
         if(found==false){
             System.out.println("没有找到匹配字符串！");
         }
     }
 }

正则中的book很好理解，依次匹配b、o、o、k，然后呢，\w在上面说过等同于[a-zA-Z0-9]，“(?!\w)”是说：我要找这样一个位置，这个位置的后面不能是\w。

第一句话中，在匹配了book后，发现紧跟的是一个空格，恩，不是\w中的内容，匹配成功。

如果想匹配books的book怎么办，很简单“book(?=s)”

注意：环视不会占用字符！环视查找的是字符与字符之间的位置。

环视括号并没有捕获字符的功效，所以不能使用反向引用。

参考资料：

1.正则表达式学习参考

2.正则基础之——反向引用

3.java正则表达--非捕获组详解