!KMP算法完整教程

KMP算法完整教程

全称:                               Knuth_Morris_Pratt Algorithm(KMP算法)

类型:                               高级检索算法

功能:                               字符串匹配查找

提出者:                           D.E.Knuth(克努兹),J.H.Morris(莫瑞斯),V.R.Pratt(普莱特)

所属领域:                        数据结构学

应用场景:                        统计软件

时间复杂度:                    O(m+n)

一。原始匹配字符串方法

以前,我们要肉眼在一个长字符串中寻找一个关键字词,比如在word文档中找一个单词,我们的世界观决定的方法论就是穷举法:挨个搜寻单词的第一个字母,每找到一个就定位然后匹配下一个字母,当匹配错误时就会放弃之前的匹配,沿着刚才的进度继续搜索首字母.

这种方法也叫作”暴力字符匹配”,和早期计算机检索算法共享着同样的思想,其中被检索的字符串数据库叫做”主串”,检索的字符串叫”模式串”.名字很怪异我也没办法.

于是依照这种算法我们可以编写一个程序来实现它:

int Index(SString S,SString T,int pos)

{

i=pos;j=1;

while(i<=S[0]&&j<=T[0])

{

if(S[i]==T[j]){++i;++j;}

else{i=i-j+2;j=1;}//主串指针回溯重新开始下一趟匹配.

}

if(j>T[0])return i-T[0];

else return 0;

}

//返回模式串T在主串S第pos之后部分中的位置，若不存在则函数值为0.

这里要注意i和j的指针回溯问题，注意细节，具体如下图：

然后问题就来了，这种算法在特定的情况下暴露出一些问题，在时间效率上不是很完美，因为它毕竟是一种穷举法，也符合人们的第一感觉，但是并不是最优的解决方案。比如说当在模式串中比较到第5个字符时才发现不匹配，那么之前四个字符都完全匹配，下一步就不需要再把模式串一位一位的向后移，而很可能直接把模式串向后移动四位就可以了，省去了三次比较，比如模式串是“aceddfaa”，主串是“acedabcd”的情况。

二。初代KMP算法

针对上面那个例子，我们可以展开思考，如果模式串匹配到第j个字符不匹配的话，接下来只需要在主串中这个位置从模式串中第f（j）的字符开始比较就行了，而不需要从第一个开始。而且f（j）只与模式串中第j个字符以前的所有字符有关。好了，这个f（j）我们用一个数组来存放，就是next【j】。求出next【j】就是KMP算法的核心。可以看出next【j】的值越小越好，优化的效率越高。

KMP的next数组求法是很不容易搞清楚的一部分，也是最重要的一部分。我这篇文章就以我自己的感悟来慢慢推导一下吧！保证你看完过后是知其然，也知其所以然。

如果你还不知道KMP是什么，请先阅读上面的链接，先搞懂KMP是要干什么。

下面我们就来说说KMP的next数组求法。

KMP的next数组简单来说，假设有两个字符串，一个是待匹配的字符串strText,一个是要查找的关键字strKey。现在我们要在strText中去查找是否包含strKey，用i来表示strText遍历到了哪个字符，用j来表示strKey匹配到了哪个字符。

如果是暴力的查找方法，当strText[i]和strKey[j]匹配失败的时候，i和j都要回退，然后从i-j的下一个字符开始重新匹配。

而KMP就是保证i永远不回退，只回退j来使得匹配效率有所提升。它用的方法就是利用strKey在失配的j为之前的成功匹配的子串的特征来寻找j应该回退的位置。而这个子串的特征就是前后缀的相同程度。

所以next数组其实就是查找strKey中每一位前面的子串的前后缀有多少位匹配，从而决定j失配时应该回退到哪个位置。

我知道上面那段废话很难懂，下面我们看一个彩图：

这个图画的就是strKey这个要查找的关键字字符串。假设我们有一个空的next数组，我们的工作就是要在这个next数组中填值。

下面我们用数学归纳法来解决这个填值的问题。

这里我们借鉴数学归纳法的三个步骤（或者说是动态规划？）：

1、初始状态

2、假设第j位以及第j位之前的我们都填完了

3、推论第j+1位该怎么填

初始状态我们稍后再说，我们这里直接假设第j位以及第j位之前的我们都填完了。也就是说，从上图来看，我们有如下已知条件：

next[j] == k;

next[k] == 绿色色块所在的索引;

next[绿色色块所在的索引] == 黄色色块所在的索引;

这里要做一个说明：图上的色块大小是一样的（没骗我？好吧，请忽略色块大小，色块只是代表数组中的一位）。

我们来看下面一个图，可以得到更多的信息：

1.由"next[j] == k;"这个条件，我们可以得到A1子串 == A2子串（根据next数组的定义，前后缀那个）。

2.由"next[k] == 绿色色块所在的索引;"这个条件，我们可以得到B1子串 == B2子串。

3.由"next[绿色色块所在的索引] == 黄色色块所在的索引;"这个条件，我们可以得到C1子串 == C2子串。

4.由1和2(A1 == A2，B1 == B2)可以得到B1 == B2 == B3。

5.由2和3(B1 == B2， C1 == C2)可以得到C1 == C2 == C3。

6.B2 == B3可以得到C3 == C4 == C1 == C2

上面这个就是很简单的几何数学，仔细看看都能看懂的。我这里用相同颜色的线段表示完全相同的子数组，方便观察。

接下来，我们开始用上面得到的条件来推导如果第j+1位失配时，我们应该填写next[j+1]为多少？

next[j+1]即是找strKey从0到j这个子串的最大前后缀：

#：(#:在这里是个标记，后面会用)我们已知A1 == A2，那么A1和A2分别往后增加一个字符后是否还相等呢？我们得分情况讨论：

(1)如果str[k] == str[j]，很明显，我们的next[j+1]就直接等于k+1。

　　用代码来写就是next[++j] = ++k;

(2)如果str[k] != str[j]，那么我们只能从已知的，除了A1，A2之外，最长的B1，B3这个前后缀来做文章了。

那么B1和B3分别往后增加一个字符后是否还相等呢？

由于next[k] == 绿色色块所在的索引，我们先让k = next[k]，把k挪到绿色色块的位置，这样我们就可以递归调用"#："标记处的逻辑了。

由于j+1位之前的next数组我们都是假设已经求出来了的，因此，上面这个递归总会结束，从而得到next[j+1]的值。

我们唯一欠缺的就是初始条件了：

next[0] = -1,  k = -1, j = 0

另外有个特殊情况是k为-1时，不能继续递归了，此时next[j+1]应该等于0，即把j回退到首位。

即 next[j+1] = 0; 也可以写成next[++j] = ++k;

这里我们用Java来描述：

public static int[] getNext(String ps)

{

char[] strKey = ps.toCharArray();

int[] next = new int[strKey.length];

// 初始条件

int j = 0;

int k = -1;

next[0] = -1;

// 根据已知的前j位推测第j+1位

while (j < strKey.length - 1)

{

if (k == -1 || strKey[j] == strKey[k])

{

next[++j] = ++k;

}

else

{

k = next[k];

}

}

return next;

}

三。KMP算法的优化和改进

KMP算法是可以被进一步优化的。

我们以一个例子来说明。譬如我们给的P字符串是“abcdaabcab”，经过KMP算法，应当得到“特征向量”如下表所示：

但是，如果此时发现p(i) == p(k），那么应当将相应的next[i]的值更改为next[k]的值。经过优化后可以得到下面的表格：

（1）next[0]= -1 意义：任何串的第一个字符的模式值规定为-1。

（2）next[j]= -1 意义：模式串T中下标为j的字符，如果与首字符

相同，且j的前面的1—k个字符与开头的1—k

个字符不等（或者相等但T[k]==T[j]）（1≤k

如：T=”abCabCad” 则 next[6]=-1，因T[3]=T[6]

（3）next[j]=k 意义：模式串T中下标为j的字符，如果j的前面k个

字符与开头的k个字符相等，且T[j] != T[k] （1≤k

即T[0]T[1]T[2]。。。T[k-1]==

T[j-k]T[j-k+1]T[j-k+2]…T[j-1]

且T[j] != T[k].（1≤k

(4) next[j]=0 意义：除（1）（2）（3）的其他情况。

于是乎我们修正的NEXT数组的求法如下：

public static int[] getNext(String ps)

{

char[] strKey = ps.toCharArray();

int[] next = new int[strKey.length];

// 初始条件

int j = 0;

int k = -1;

next[0] = -1;

// 根据已知的前j位推测第j+1位

while (j < strKey.length - 1)

{

if (k == -1 || strKey[j] == strKey[k])

{

// 如果str[j + 1] == str[k + 1]，回退后仍然失配，所以要继续回退

if (str[j + 1] == str[k + 1])

{

next[++j] = next[++k];

}

else

{

next[++j] = ++k;

}

}

else

{

k = next[k];

}

}

return next;

}

好了，以上就是KMP算法的所有内容，我们可以看出，KMP算法的关键就是：利用匹配失败后的信息，利用递归的思想为每一个字符算出一个“特征值”。最后，KMP算法适合在字符种类很稀疏的情况下适用：仅当模式与主串之间存在许多“部分匹配”的情况下才显得比“暴力匹配”快，但是如果模式串中有太多相同的字符，就会略微降低KMP的优化效果。KMP算法还有一个进步特点就是：指示主串的指针不需要回溯，对主串仅需从头至尾扫描一遍。

（如需转载请标明出处）