【NLP】MT中BLEU评分机制

参考博客：https://blog.csdn.net/guolindonggld/article/details/56966200

原著论文：http://www.aclweb.org/anthology/P02-1040.pdf

BLEU是2002年IBM研究人员提出的一种自动评价MT翻译质量的方法。其本质是比对MT给出的结果（称为候选翻译，candidate）和事前知道的比较好的若干个翻译样本（称为参考翻译，reference，通常是人工翻译给出的数据），比较两者之间的相似度。

在计算这个相似度的时候，最基本的策略是从candidate中逐步取出一些内容，考察这些内容，去检查各个参考翻译中是否存在相同的内容。如果相同的内容出现频率越高，说明candidate的翻译越准确。将这个频率量化为某个指标P (这个指标是针对某个内容子集而言的)。当我们把candidate中所有信息都考察完毕，没有漏掉的东西之后，加和所有的指标P，所得到的分数越高，自然翻译就是越准确的。

那么具体取出的是什么内容？ 很自然想到的是单个单个的词。不过单个词的抽出内容（所谓的1-gram词模型）的一个问题是常用词陷阱。比如candidate中含有大量的the，in这类常用词但是翻译质量并不高时，由于是常用词，必然也在所有的reference中也都有出现，反而会导致分数比较高。为了解决这个问题，我们可以做两点改进：

1. 将1-gram升高为N-gram，加强匹配的严格性。不过直接将此模型提升到N-gram，可能会导致太严格，所以可以折中，以一定的权重将1-gram，2-gram... N-gram各个模型得到的值做一个平均作为最终的分数。这个平均一般是加权几何平均。

2. 另一个想法，则是对量化指标这个过程做些调整。之前没有具体说明量化指标的过程是怎么做的，不过可以感到，需要一个机制来统合而不是那么傻乎乎地去计算频率。比如某个词或词组在candidate中出现了好几次该怎么算，不同reference中出现次数又不相同又该怎么办

综合上述考虑，BLEU给出的P_N值的计算公式是min( candidate.count(w), max(reference1.count(w), reference2.count(w)...   referenceN.count(w) ) ) / candidate.count(w) 。也就是说，针对某个从candidate中选出的词或词组w，首先求出各个reference中其出现次数的最大值，然后取这个值与candidate中w出现次数两者中较小的值。然后将这个值除以candidate中w出现次数。首先可以确定，这个值肯定是小于等于1的。

其次，上面这个公式是针对一个要素w的情况，实际上翻译结果中有w1,w2...wn那么多，那么这些结果的所有分子加起来除以所有分母加起来，得到的就是P_N了。

当然不要忘了，之前我们说可以将1,2...N-gram的结果都要拿来用。另外对加权几何平均进行一个对数化处理，于是我们就得到了

这样一个公式了。

由于最外面套了一个exp，而exp里面的玩意儿必然小于0，所以最终产出肯定是一个小于1的正值。

这样看似不错了。不过还有BLEU的第二个陷阱需要解决，即短句陷阱。比如中文中有一句“猫XXXX”的句子，那么英语翻译时几乎必然会出现the cat这个词组。如果MT的翻译结果就是“the cat”，此时candidate长度就只有2，因此也就只能做到1-gram和2-gram的评估。然而不合理的地方在于，即便是漏译了很多内容，在评估模型看来，P1和P2还是有可能会比较高的。因为所有reference中都几乎必然出现the cat这个词组。

换言之，目前模型对于短翻译句的评估还不是很合理，原因是当candidate长度过短时，我们只能做到有限的N-gram模型就不得不作罢。

为了修正这个错误，BLEU提出的解决方案是引入BP（Brevity Penalty）即过短惩罚。相比于上面复杂的计算，BP的计算就要简单很多了，首先从reference中找出长度与candidate最为相近的一条。如果此条长度大于candidate长度，那么定义BP为exp(1 - r/c)。反之，如果candidate长度大于最接近的reference长度，那么直接定义BP为1。

将BP乘以上面算式算出的指标，便可得到一个大于0小于1的BLEU分数了。

总的公式：

一般MT研究中，BLEU作为标杆，有比较重要的意义。各种MT模型的目标都是为了让BLEU上升。