基于熵的方法计算query与docs相似度

一.简单总结

　　其实相似度计算方法也是老生常谈，比如常用的有：

　　1.常规方法

　　　　a.编辑距离

　　　　b.Jaccard

　　　　c.余弦距离

　　　　d.曼哈顿距离

　　　　e.欧氏距离

　　　　f.皮尔逊相关系数

　　2.语义方法

　　　　a.LSA

　　　　b.Doc2Vec

　　　　c.DSSM

　　......

二.利用熵计算相似度

　　关于什么是熵、相对熵、交叉熵的概念，网上有很多，这里就不总结了。本篇主要关注工程方面，即怎么用代码实现，参考的论文来自《Content-based relevance estimation on the web using inter-document similarities》(2012-CIKM)。

　　利用熵计算query与文档相似度并排序的步骤分为召回和重排序，比如先从大规模文档中召回小部分子集再进行重排序。召回部分可以用一些简单的效率高的方法快速确定候选子集，再将这些子集进行重排序。本篇关注如何利用熵重排序相关文档。

　　召回后的排序公式如下：

　　　　

　　说明：

　　（1）.H(d)表示文档d的熵

　　　　

　　　　其中=|w|/|d|，分子是词w个数，分母为文档d中的总词数

　　（2）.文档间的相似度

　　　　

　　　　

　　　　其中表示query的top-k个相关文档；利用交叉熵计算文档间的相似度，这里面的文档去除了query中的词。

　　　　表示语言模型Dirichlet-smoothed，常见的平滑方法如下：

　　　　

　　　　其中Dirichlet 方法：
　　　　a.首先计算最基本的最大的似然估计w|d 单词在单个文档出现的频率（有可能为0，所以就需要平滑，将所有f(w|d1), f(w|d2)....f(w|dn) 的所有频率加总
　　　　b.设定u值，根据实证研究： Dirichlet 方法的u值在100-200之间是最理想 ，但论文中给出的是1000，0为不使用平滑
　　　　c. 计算P(w|C)的概率

　　  （3）.sim(q,d)表示query与doc的相似度，可以使用其它方法计算，也可以使用如(2)中的方法计算

三.程序

　　完整程序https://github.com/jiangnanboy/entropy_sim

　　核心程序：

 /**
      * 结合交叉熵和狄里克雷平滑语言方法计算相关度
      * @param queryTerms
      * @return
      */
     private Map<String, Double> queryDocScore(List<String> queryTerms) {
         //统计查询中的词频
         Map<String, Long> queryTermsCount = queryTerms
                 .stream()
                 .collect(Collectors.groupingBy(Function.identity(), Collectors.counting()));
         //查询中的总词频
         long queryTermsSize = queryTermsCount
                 .values()
                 .stream()
                 .mapToLong(word -> word)
                 .sum();
 
         //文档集中的词频
         Map<String, Long> collectionTermsCount = corpusTerms
                 .stream()
                 .collect(Collectors.groupingBy(Function.identity(), Collectors.counting()));
         //文档集中的总词频
         long collectionTermsSize = collectionTermsCount
                 .values()
                 .stream()
                 .mapToLong(word -> word)
                 .sum();
 
         Map<String, Double> scoredDocument = new HashMap<>();
         documentList.forEach(docTerms -> {
             //文档中的词频
             Map<String, Long> docTermsCount = docTerms
                     .stream()
                     .collect(Collectors.groupingBy(Function.identity(), Collectors.counting()));
             //文档中的总词频
             long docTermsSize = docTermsCount
                     .values()
                     .stream()
                     .mapToLong(word -> word)
                     .sum();
 
             //计算交叉熵(或者相对熵)
             OptionalDouble score = queryTerms
                     .stream()
                     .mapToDouble(queryTerm -> {
                         //queryTerm的似然
                         double queryCE = (double)queryTermsCount.get(queryTerm) / queryTermsSize;
                         //经过Dirichlet smooth的term weight
                         double docCE = (1.0 + docTermsCount.getOrDefault(queryTerm, 0L) +
                                 this.lambda * (collectionTermsCount.getOrDefault(queryTerm, 0L) / collectionTermsSize)) /
                                 (docTermsSize + this.lambda);
                         return queryCE * Math.log(1 / docCE);//交叉熵
                         //return queryCE * Math.log(queryCE / docCE);//相对熵
                     })
                     .reduce(Double::sum);
             String docID = corpusHashMap.get(docTerms);
             scoredDocument.put(docID, Math.exp(-score.getAsDouble()));
         });
         return scoredDocument;
     }