Spark 基于物品的协同过滤算法实现

　　J由于 Spark MLlib 中协同过滤算法只提供了基于模型的协同过滤算法，在网上也没有找到有很好的实现，所以尝试自己实现基于物品的协同过滤算法(使用余弦相似度距离)

　　算法介绍

　　基于物品的协同过滤算法是目前业界应用最多的算法，亚马逊网、Netflix、Hulu、YouTube 都使用该算法作为推荐系统的基础算法。算法核心思想是根据用户对物品的历史行为记录，先计算物品之间的相似度，得到与物品最相似的 TopN 个物品，再利用用户对物品的历史行为，将用户访问过的物品的相似物品推荐给用户。也就是说，算法分为 2 步：

　　计算物品之间的相似度

　　为用户生成推荐列表

　　计算物品之间的相似度

　　计算物品的相似度有很多种算法，如余弦相似度、皮尔森相关度、欧式距离相似度、Tanimoto系数等，这里我们使用的是余弦相似度。

　　假设有向量A(x1,x2,...xn)和向量B(y1,y2,...yn),A、B 之间的余弦相似度为：

　　

　　余弦相似度公式

　　如果物品少这样计算没关系，但设想如有 100W 的物品，需要计算物品间的两两相似度，计算量大概是 100W x 100W，基本无法计算。

　　虽然物品很多，但并不是每两个物品都有被相同的用户访问过， 也就是说，很多物品直接余弦相似度等于0，为了避免这些计算，我们引入倒排表来解决这一问题。

　　假设有物品 Item1、Item2、Item3、Item4，用户 U1、U2、U3、U4：

　　Item1 被 U1、U2 访问，偏好分分别是2、3，转化为向量是(2，3，0，0)

　　Item2 被 U3、U4 访问，偏好分分别是1、4，转化为向量是(0，0，1，4)

　　Item3 被 U2，U3 访问，偏好分分别是2、2，转化为向量是(0，2，2，0)

　　Item4 只被 U3 访问，用户对其的偏好分是5，转化为向量是(0，0，5，0)

　　先计算每个 Item 的模，即上图余弦相似度公式中的分母部分，缓存

　　| Item1 | = √(22 + 32) = √13

　　| Item2 | = √17

　　| Item3 | = √8

　　| Item4 | = 5

　　转化为用户访问物品关系，将相同用户访问过的 Item 列出，即：

　　U1：Item1(2)

　　U2：Item1(3)，Item3(2)

　　U3：Item2(1)，Item3(2)，Item4(5)

　　U4：Item2(5)

　　针对同一用户，计算两两物品之间的相似度，输出物品对，分数，即：

　　U1：输出空

　　U2：输出 (Item1, Item3), 3x2=6

　　U3：输出 (Item2, Item3), 2，(Item2, Item4), 5，(Item3, Item4), 10

　　U4：输出空

　　注意：可以将所有物品对 id 小的放前面，以减少后面一半的计算量

　　将物品对作为 key 聚合，将分数相加，得到每个物品对的分数和，即上图余弦相似度公式中的分子部分。再从缓存中取出分母部分相除，即两两物品的相似度。如 Item2 和 Item4 的余弦相似度=5/(√17 x 5) = 1/√17

　　如果要取物品的 TopK 相似的物品，可将得到的两两相似度结果(其实是半个相似度矩阵)扩展，然后按 key 聚合取 TopK 个。另外，实践表明针对同一物品，如果将相似度进行归一化 similaryi/similarymax 有助于提高最终推荐结果的精度。

　　为用户生成推荐列表

　　现在已经有每个物品的 TopK 个相似的物品信息，结合用户对物品的访问情况，将用户访问过的每个物品的相似物品取出，按相似度加权，排除已经访问过的物品，就可以得到用户的推荐列表，具体计算步骤如下：

　　将物品，相似物品列表 与 物品，访问过该物品的用户列表 join，得到物品，(相似物品列表，访问过该物品的用户列表)

　　交叉遍历相似物品列表和访问过该物品的用户列表，得到很多 用户，(物品，分数)

　　按用户聚合，将相同物品的分数相加，按分数排序，取 TopK，即该用户的推荐列表

　

​