本文以NMF和经典SVD为例,讲一讲矩阵分解在推荐系统中的应用。

数据

item\user Ben Tom John Fred
item 1 5 5 0 5
item 2 5 0 3 4
item 3 3 4 0 3
item 4 0 0 5 3
item 5 5 4 4 5
item 6 5 4 5 5
user\item item 1 item 2 item 3 item 4 item 5 item 6
Ben 5 5 3 0 5 5
Tom 5 0 4 0 4 4
John 0 3 0 5 4 5
Fred 5 4 3 3 5 5

NMF

关于NMF,在浅谈隐语义模型和NMF已经有过介绍。

用户和物品的主题分布

#!/usr/bin/python2.7
# coding: UTF-8
import numpy as np
from sklearn.decomposition import NMF
import matplotlib.pyplot as plt RATE_MATRIX = np.array(
[[5, 5, 3, 0, 5, 5],
[5, 0, 4, 0, 4, 4],
[0, 3, 0, 5, 4, 5],
[5, 4, 3, 3, 5, 5]]
) nmf = NMF(n_components=2) # 设有2个隐主题
user_distribution = nmf.fit_transform(RATE_MATRIX)
item_distribution = nmf.components_ print '用户的主题分布:'
print user_distribution
print '物品的主题分布:'
print item_distribution

运行后输出:

用户的主题分布:
[[ 2.20884275 0.84137492]
[ 2.08253282 -0. ]
[-0. 3.18154406]
[ 1.84992603 1.60839505]]
物品的主题分布:
[[ 2.4129931 1.02524235 1.62258152 0. 1.80111078 1.69591943]
[ 0.0435741 1.13506094 0. 1.54526337 1.21253494 1.48756118]]

可视化物品的主题分布:

#!/usr/bin/python2.7
# coding: UTF-8
import numpy as np
from sklearn.decomposition import NMF
import matplotlib.pyplot as plt RATE_MATRIX = np.array(
[[5, 5, 3, 0, 5, 5],
[5, 0, 4, 0, 4, 4],
[0, 3, 0, 5, 4, 5],
[5, 4, 3, 3, 5, 5]]
) nmf = NMF(n_components=2)
user_distribution = nmf.fit_transform(RATE_MATRIX)
item_distribution = nmf.components_ item_distribution = item_distribution.T
plt.plot(item_distribution[:, 0], item_distribution[:, 1], "b*")
plt.xlim((-1, 3))
plt.ylim((-1, 3)) plt.title(u'the distribution of items (NMF)')
count = 1
for item in item_distribution:
plt.text(item[0], item[1], 'item '+str(count), bbox=dict(facecolor='red', alpha=0.2),)
count += 1 plt.show()

结果:

从距离的角度来看,item 5和item 6比较类似;从余弦相似度角度看,item 2、5、6 比较相似,item 1、3比较相似。

可视化用户的主题分布:

#!/usr/bin/python2.7
# coding: UTF-8
import numpy as np
from sklearn.decomposition import NMF
import matplotlib.pyplot as plt RATE_MATRIX = np.array(
[[5, 5, 3, 0, 5, 5],
[5, 0, 4, 0, 4, 4],
[0, 3, 0, 5, 4, 5],
[5, 4, 3, 3, 5, 5]]
) nmf = NMF(n_components=2)
user_distribution = nmf.fit_transform(RATE_MATRIX)
item_distribution = nmf.components_ users = ['Ben', 'Tom', 'John', 'Fred']
zip_data = zip(users, user_distribution) plt.title(u'the distribution of users (NMF)')
plt.xlim((-1, 3))
plt.ylim((-1, 4))
for item in zip_data:
user_name = item[0]
data = item[1]
plt.plot(data[0], data[1], "b*")
plt.text(data[0], data[1], user_name, bbox=dict(facecolor='red', alpha=0.2),) plt.show()

结果:

从距离的角度来看,Fred、Ben、Tom的口味差不多;从余弦相似度角度看,Fred、Ben、Tom的口味还是差不多。

如何推荐

现在对于用户A,如何向其推荐物品呢?

方法1: 找出与用户A最相似的用户B,将B评分过的、评分较高、A没评分过的的若干物品推荐给A。

方法2: 找出用户A评分较高的若干物品,找出与这些物品相似的、且A没评分的若干物品推荐给A。

方法3: 找出用户A最感兴趣的k个主题,找出最符合这k个主题的、且A没评分的若干物品推荐给A。

方法4: 由NMF得到的两个矩阵,重建评分矩阵。例如:

#!/usr/bin/python2.7
# coding: UTF-8
import numpy as np
from sklearn.decomposition import NMF
import matplotlib.pyplot as plt RATE_MATRIX = np.array(
[[5, 5, 3, 0, 5, 5],
[5, 0, 4, 0, 4, 4],
[0, 3, 0, 5, 4, 5],
[5, 4, 3, 3, 5, 5]]
) RATE_MATRIX[1, 2] = 0 # 对评分矩阵略做修改
print '新评分矩阵:'
print RATE_MATRIX nmf = NMF(n_components=2)
user_distribution = nmf.fit_transform(RATE_MATRIX)
item_distribution = nmf.components_ reconstruct_matrix = np.dot(user_distribution, item_distribution)
filter_matrix = RATE_MATRIX < 1e-6 # 小于0
print '重建矩阵,并过滤掉已经评分的物品:'
print reconstruct_matrix*filter_matrix

运行结果:

新评分矩阵:
[[5 5 3 0 5 5]
[5 0 0 0 4 4]
[0 3 0 5 4 5]
[5 4 3 3 5 5]]
重建矩阵,并过滤掉已经评分的物品:
[[ 0. 0. 0. 0.80443133 0. 0. ]
[ 0. 2.19148602 1.73560797 0. 0. 0. ]
[ 0.02543568 0. 0.48692891 0. 0. 0. ]
[ 0. 0. 0. 0. 0. 0. ]]

对于Tom(评分矩阵的第2行),其未评分过的物品是item 2、item 3、item 4。item 2的推荐值是2.19148602,item 3的推荐值是1.73560797,item 4的推荐值是0,若要推荐一个物品,推荐item 2。

如何处理有评分记录的新用户

NMF是将非负矩阵V分解为两个非负矩阵W和H:

V = W×H

在本文上面的实现中,V对应评分矩阵,W是用户的主题分布,H是物品的主题分布。

对于有评分记录的新用户,如何得到其主题分布?

方法1: 有评分记录的新用户的评分数据放入评分矩阵中,使用NMF处理新的评分矩阵。

方法2: 物品的主题分布矩阵H保持不变,将V更换为新用户的评分组成的行向量,求W即可。

下面尝试一下方法2。

设新用户Bob的评分记录为:

[5,5,0,0,0,5]
#!/usr/bin/python2.7
# coding: UTF-8
import numpy as np
from sklearn.decomposition import NMF
import matplotlib.pyplot as plt RATE_MATRIX = np.array(
[[5, 5, 3, 0, 5, 5],
[5, 0, 4, 0, 4, 4],
[0, 3, 0, 5, 4, 5],
[5, 4, 3, 3, 5, 5]]
) nmf = NMF(n_components=2)
user_distribution = nmf.fit_transform(RATE_MATRIX)
item_distribution = nmf.components_ bob = [5, 5, 0, 0, 0, 5]
print 'Bob的主题分布:'
print nmf.transform(bob)

运行结果是:

Bob的主题分布:
[[ 1.37800534 0.69236738]]

经典SVD

关于SVD的一篇好文章:强大的矩阵奇异值分解(SVD)及其应用

相关分析与上面类似,这里就直接上代码了。

#!/usr/bin/python2.7
# coding: UTF-8
import numpy as np
from scipy.sparse.linalg import svds
from scipy import sparse
import matplotlib.pyplot as plt def vector_to_diagonal(vector):
"""
将向量放在对角矩阵的对角线上
:param vector:
:return:
"""
if (isinstance(vector, np.ndarray) and vector.ndim == 1) or \
isinstance(vector, list):
length = len(vector)
diag_matrix = np.zeros((length, length))
np.fill_diagonal(diag_matrix, vector)
return diag_matrix
return None RATE_MATRIX = np.array(
[[5, 5, 3, 0, 5, 5],
[5, 0, 4, 0, 4, 4],
[0, 3, 0, 5, 4, 5],
[5, 4, 3, 3, 5, 5]]
) RATE_MATRIX = RATE_MATRIX.astype('float')
U, S, VT = svds(sparse.csr_matrix(RATE_MATRIX), k=2, maxiter=200) # 2个隐主题
S = vector_to_diagonal(S) print '用户的主题分布:'
print U
print '奇异值:'
print S
print '物品的主题分布:'
print VT
print '重建评分矩阵,并过滤掉已经评分的物品:'
print np.dot(np.dot(U, S), VT) * (RATE_MATRIX < 1e-6)

运行结果:

用户的主题分布:
[[-0.22279713 0.57098887]
[-0.51723555 0.4274751 ]
[ 0.82462029 0.38459931]
[ 0.05319973 0.58593526]]
奇异值:
[[ 6.39167145 0. ]
[ 0. 17.71392084]]
物品的主题分布:
[[-0.53728743 0.24605053 -0.40329582 0.67004393 0.05969518 0.18870999]
[ 0.44721867 0.35861531 0.29246336 0.20779151 0.50993331 0.53164501]]
重建评分矩阵,并过滤掉已经评分的物品:
[[ 0. 0. 0. 1.14752376 0. 0. ]
[ 0. 1.90208543 0. -0.64171368 0. 0. ]
[ 0.21491237 0. -0.13316888 0. 0. 0. ]
[ 0. 0. 0. 0. 0. 0. ]]

可视化一下:

经典SVD + 协同过滤

0代表没有评分,但是上面的方法(如何推荐这一节的方法4)又确实把0看作了评分,所以最终得到的只是一个推荐值(而且总体都偏小),而无法当作预测的评分。在How do I use the SVD in collaborative filtering?有这方面的讨论。

SVD简要介绍

SVD的目标是将m*n大小的矩阵A分解为三个矩阵的乘积:

A=U∗S∗VTA=U∗S∗VT

U和V都是正交矩阵,大小分别是m*mn*n。S是一个对角矩阵,大小是m*n,对角线存放着奇异值,从左上到右下依次减小,设奇异值的数量是r

kk<<r

取得UU的前k列得到UkUk,SS的前k个奇异值对应的方形矩阵得到SkSk,VTVT的前k行得到VTkVkT,于是有

Ak=Uk∗Sk∗VTkAk=Uk∗Sk∗VkT

AkAk可以认为是AA的近似。

下面的算法将协同过滤和SVD结合了起来。

Item-based Filtering Enhanced by SVD

这个算法来自下面这篇论文:

Vozalis M G, Margaritis K G. Applying SVD on Generalized Item-based Filtering[J]. IJCSA, 2006, 3(3): 27-51.

1、 设评分矩阵为R,大小为m*n,m个用户,n个物品。R中元素rijrij代表着用户uiui对物品ijij的评分。

2、 预处理R,消除掉其中未评分数据(即值为0)的评分。

  • 计算R中每一行的平均值(平均值的计算中不包括值为0的评分),令Rfilled−in=RRfilled−in=R,然后将Rfilled−inRfilled−in中的0设置为该行的平均值。
  • 计算R中每一列的平均值(平均值的计算中不包括值为0的评分)riri,Rfilled−inRfilled−in中的所有元素减去对应的riri,得到正规化的矩阵RnormRnorm。(norm,即normalized)。

3、 对RnormRnorm进行奇异值分解,得到: Rnorm=U∗S∗VTRnorm=U∗S∗VT

4、 设正整数k,取得UU的前k列得到UkUk,SS的前k个奇异值对应的方形矩阵得到SkSk,VTVT的前k行得到VTkVkT,于是有

Rred=Uk∗Sk∗VTkRred=Uk∗Sk∗VkT

red,即dimensionality reduction中的reduction。可以认为k是指最重要的k个主题。定义RredRred中元素rrijrrij用户i对物品j在矩阵RredRred中的值。

5、 Uk∗S12kUk∗Sk12,是用户相关的降维后的数据,其中的每行代表着对应用户在新特征空间下位置。S12k∗VTkSk12∗VkT,是物品相关的降维后的数据,其中的每列代表着对应物品在新特征空间下的位置。

S12k∗VTkSk12∗VkT中的元素mrijmrij代表物品j在新空间下维度i中的值,也可以认为是物品j属于主题i的程度。(共有k个主题)。

6、 获取物品之间相似度。

  • 根据S12k∗VTkSk12∗VkT计算物品之间的相似度,例如使用余弦相似度计算物品j和f的相似度:

  • 相似度计算出来后就可以得到每个物品最相似的若干物品了。

7、 使用下面的公式预测用户a对物品j的评分:这个公式里有些变量的使用和上面的冲突了(例如k)。 ll是指取物品j最相似的ll个物品。 mrijmrij代表物品j在新空间下维度i中的值,也可以认为是物品j属于主题i的程度。 simjksimjk是物品j和物品k的相似度。 RredRred中元素rrakrrak是用户a对物品k在矩阵RredRred中对应的评分。ra¯ra¯是指用户a在评分矩阵RR中评分的平均值(平均值的计算中不包括值为0的评分)。

参考

SVD Recommendation System in Ruby 这篇文章使用的数据来自该链接,里面处理新用户的方法表示没看懂。

How do I use the SVD in collaborative filtering?

Vozalis M G, Margaritis K G. Applying SVD on Generalized Item-based Filtering[J]. IJCSA, 2006, 3(3): 27-51.

NMF和SVD在推荐系统中的应用(实战)的更多相关文章

  1. SVD在推荐系统中的应用详解以及算法推导

    SVD在推荐系统中的应用详解以及算法推导     出处http://blog.csdn.net/zhongkejingwang/article/details/43083603 前面文章SVD原理及推 ...

  2. 多维数组分解----SVD在推荐系统中的应用-

    http://www.janscon.com/multiarray/rs_used_svd.html [声明]本文主要参考自论文<A SINGULAR VALUE DECOMPOSITION A ...

  3. SVD在推荐系统中的应用

    一.奇异值分解SVD 1.SVD原理 SVD将矩阵分为三个矩阵的乘积,公式: 中间矩阵∑为对角阵,对角元素值为Data矩阵特征值λi,且已经从大到小排序,即使去掉特征值小的那些特征,依然可以很好地重构 ...

  4. 从SVD到推荐系统

    最近在学习推荐系统(Recommender System),跟大部分人一样,我也是从<推荐系统实践>学起,同时也想跟学机器学习模型时一样使用几个开源的python库玩玩.于是找到了surp ...

  5. SVD在餐馆菜肴推荐系统中的应用

    SVD在餐馆菜肴推荐系统中的应用 摘要:餐馆可以分为很多类别,比如中式.美式.日式等等.但是这些类别不一定够用,有的人喜欢混合类别.对用户对菜肴的点评数据进行分析,可以提取出区分菜品的真正因素,利用这 ...

  6. SVD++:推荐系统的基于矩阵分解的协同过滤算法的提高

    1.背景知识 在讲SVD++之前,我还是想先回到基于物品相似的协同过滤算法.这个算法基本思想是找出一个用户有过正反馈的物品的相似的物品来给其作为推荐.其公式为:

  7. 使用矩阵分解(SVD)实现推荐系统

    http://ling0322.info/2013/05/07/recommander-system.html 这个学期Web智能与社会计算的大作业就是完成一个推荐系统参加百度电影推荐算法大赛,成绩按 ...

  8. RS:推荐系统中的数据稀疏和冷启动问题

    如何在没有大量用户数据的情况下设计个性化推荐系统并且让用户对推荐结果满意从而愿意使用推荐系统,就是冷启动问题. 冷启动问题主要分为三类: (1) 用户冷启动:如何给新用户做个性化推荐的问题,新用户刚使 ...

  9. 14、RALM: 实时 look-alike 算法在推荐系统中的应用

    转载:https://zhuanlan.zhihu.com/p/71951411 RALM: 实时 look-alike 算法在推荐系统中的应用 0. 导语 本论文题为<Real-time At ...

随机推荐

  1. VS Code C# 插件离线版 1.6.2

    VS Code C# 插件离线版,目前最新稳定版为:1.6.2 . 由于在扩展中下载C#插件总是缓慢,或者容易出现错误,特制作离线版本共享出来. 本离线版本为Windows版本,其他系统请在扩展中下载 ...

  2. datagridview数据绑定操作数据库实现增删改查

    DataSet数据集,数据缓存在客户端内存中,支持断开式连接.DataGridView控件绑定DataSet时,它自动的改变的DS的行的状态,而且在做增删改查的时候,可以借助SqlCommandBui ...

  3. ASP.NET Core中的缓存[1]:如何在一个ASP.NET Core应用中使用缓存

    .NET Core针对缓存提供了很好的支持 ,我们不仅可以选择将数据缓存在应用进程自身的内存中,还可以采用分布式的形式将缓存数据存储在一个“中心数据库”中.对于分布式缓存,.NET Core提供了针对 ...

  4. unity 双面shader

    Shader "Custom/DoubleFace" { Properties {         _Color ("Main Color", Color) = ...

  5. mybatis进阶--一对一查询

    所谓的一对一查询,就是说我们在查询一个表的数据的时候,需要关联查询其他表的数据. 需求 首先说一个使用一对一查询的小需求吧:假设我们在查询某一个订单的信息的时候,需要关联查询出创建这个订单对应的用户信 ...

  6. Sql 知识点小结

    使用数据库的好处: 1.安全 2.支持多用户操作 3.误删数据比较容易恢复 4.存储较大容量的数据MySql: MYsql AB公司开发的数据库, 现在归属Oracle公司,开元的关系型数据库RDBM ...

  7. [solr] - solr5.2.1环境搭建 - 使用tomcat做为容器

    这里忽略solr其他依赖环境的搭建,这里搭建solr5.2.1.使用Java1.7.0_17,tomcat使用6.0.36版本的. 1.下载solr压缩文件 Solr是Apache基金组织在lucen ...

  8. c#模拟js escape方法(转)

    实现URI字符串转化成escape格式的字符 public static string Escape(string s)         {             StringBuilder sb ...

  9. 前端总结·基础篇·CSS(二)视觉

    前端总结系列 前端总结·基础篇·CSS(一)布局 前端总结·基础篇·CSS(二)视觉 前端总结·基础篇·CSS(三)补充 前端总结·基础篇·CSS(四)兼容 目录 一.动画(animation)(IE ...

  10. tornado学习 - TCPClient 实现聊天功能

    之前完成了一个简单的聊天服务器,连接服务器使用的是系统自带nc命令,接下来就是通过自己实现TCPClient. 客户端与服务器功能大致相仿,相对与服务器只是少了转发消息环节. 首先,定义TCPClie ...