文档内容类似项处理-Shingling

版权声明：本文为博主原创文章，未经博主同意不得转载。

https://blog.csdn.net/jituotianxia2009/article/details/25339807

集合的Jaccard类似度定义：对于两个集合A和B，A和B的Jaccard类似度记为SIM（A，B）=|A∩B|/|A∪B|。

计算文档内容的类似度能够用来检測文档抄袭作弊或者镜像页面等。

为了计算文档内容之间的类似度，首先也将文档进行分词处理。然后计算Jaccard类似度。

shingling用来处理文档内容的分词，须要考虑shingle的大小。

比如，字符串“abcd" , 2个shingle大小的分词结果为：ab，bc，cd。

简单的shingling描写叙述例如以下所看到的：

def get_shingles(file, shingle_size):
    buf = f.read() # read entire file
    for i in range(0, len(buf)-shingle_size+1):
        yield buf[i:i+size]

为了降低分词的存储空间。经常使用最小的哈希组成的摘要来表示。得到最小的哈希签名。