ALS数学点滴

其中，$n_{u_i}$表示用户$i$评分的电影数目，$n_{m_j}$表示对电影$j$评分的用户数目。设$I_i$表示用户$i$所评分的电影集合，则$n_{u_i}$是$I_i$的基数，同样的，$I_j$表示对电影$j$评分的用户集合，$n_{m_j}$是$I_j$的基数。这对应于Tikhonov正则化中的$\Gamma_U=diag(n_{u_i})$和$\Gamma_M=diag(n_{m_j})$

设$U=[\mathbf{u}_i]$为用户特征矩阵，$M=[\mathbf{m}_j]$为电影特征矩阵。

我们在$M$给定的情况下来求解$U$。$U$中某一列$u_i$是通过求解一个正则化线性最小二乘问题确定的，该问题的求解需要已知的用户$i$的评分，以及用户$i$参与评分的电影的特征向量$m_j$.

用户特征矩阵的每一列的解$\mathbf{u}_i$如下：
$$\mathbf{u}_i=A_i^{-1}V_i$$
该解对应的原始方程为:$$A_i \mathbf{u}_i=V_i$$

其中，$A_i=M_{I_i}M_{I_i}^T+\lambda n_{u_i}E$ ，$V_i=M_{I_i}R^T(i,I_i)$。$E$是一个$n_f\times n_f$单位矩阵。$M_{I_i}$是电影特征矩阵的一个子矩阵，其中只选取$j\in I_i$的列。$I_i$是用户$i$所评分的电影集合。$R(i,I_i)$是原始user-movie矩阵$R$中第$i$行的向量，该行中只选取$j\in I_i$的列中的元素。

同样的，更新电影特征矩阵$M$的公式为：

$$\mathbf{m}_j=A_j^{-1}V_j,\forall j$$

其中，$A_j=U_{I_j}U_{I_j}^T+\lambda n_{m_j}E$，$V_j=U_{I_j}R(I_j,j)$。$U_{I_j}$是用户特征矩阵$U$的子矩阵，其中只选取$i\in I_j$的列。$I_j$表示对电影$j$评过分的用户集合。$R(I_j,j)$是原始user-movie矩阵$R$的第$j$列向量，该列中只选取$i\in I_j$的行中的元素。

设用户矩阵和电影矩阵的特征数量为$n_f$，对电影$j$评过分的用户有$k$个，则$U_{I_j}$为一个$n_f\times k$的矩阵，$R(I_j,j)$为一个$k\times 1$的列向量。$V_j=U_{I_j}R(I_j,j)$为一个$f\times k \cdot k\times 1=f\times 1$的矩阵。

设用户数量$n_u=3$，电影数量$n_m=4$，用户以及电影的特征维度$n_f=2$。则user-movie评分矩阵$R$(Rating)为：

$$R=\begin{bmatrix}
r_{11} & r_{12} & r_{13} & r_{14} \\
r_{21} & r_{22} & r_{23} & r_{24} \\
r_{31} & r_{32} & r_{33} & r_{34}
\end{bmatrix}$$

若矩阵$R$是稀疏的，那么其形式可能如下：
$$R=\begin{bmatrix}
& r_{12} & r_{13}  & r_{14} \\
r_{21} & & & r_{24} \\
& r_{32} & r_{33} &
\end{bmatrix}$$

用户特征矩阵$U$为：
$$U=\begin{bmatrix}
u_{11} & u_{12} & u_{13} \\
u_{21} & u_{22} & u_{23}
\end{bmatrix}$$

电影特征矩阵$M$为：
$$M=\begin{bmatrix}
m_{11} & m_{12} & m_{13} & m_{14} \\
m_{21} & m_{22} & m_{23} & m_{24}
\end{bmatrix}$$

显然，我们要求解的是用户特征矩阵$U$和电影特征矩阵$M$。

求解用户特征矩阵$U$的时候要固定电影特征矩阵$M$，用求得的$U$再去求$M$，如此迭代，直到$RMSE$在设定范围之内即可，此时$U$和$M$收敛到一个局部最优解。

可将$U$表为$U=[\mathbf{u}_i], i=1,2,3$。即：
$$U=
\begin{bmatrix}
\mathbf{u}_1 & \mathbf{u}_2& \mathbf{u}_3
\end{bmatrix}
$$

调用上面的求解公式$\mathbf{u}_i=A_i^{-1}V_i$，其中$A_i=M_{I_i}M_{I_i}^T+\lambda n_{u_i}E$ ，$V_i=M_{I_i}R^T(i,I_i)$，则：
$$\mathbf{u}_1=A_1^{-1}V_1$$
以上面的稀疏矩阵为例，求解$[\mathbf{u}_i], i=1,2,3$时，$I_1=\{2,3,4\}$，$I_2=\{1,4\}$，$I_3=\{2,3\}$。$n_{u_1}=3$，表示用户$u_1$评过分的电影有3部，设用户$u_i$评过分的电影有$k$部，那么$I_i$的个数为$k$，$M_{I_i}$为一个$n_f \times k$的矩阵，$M_{I_i}M_{I_i}^T$为一个$n_f \times n_f$的矩阵。$R(i,I_i)$为$u_i$所对应的评分向量，该向量的维度为$k$，因为只取了$j \in I_i$中的元素，所以$R(i,I_i)$为$1 \times k$行向量，$R^T(i,I_i)$为$k \times 1$列向量。

例如：
$$
\begin{align*}
A_1 &= M_{I_1}M_{I_1}^T+\lambda n_{u_1}E \\
&= \begin{bmatrix}
m_{12} & m_{13} & m_{14} \\
m_{22} & m_{23} & m_{24}
\end{bmatrix}
\cdot
\begin{bmatrix}
m_{12} & m_{22} \\
m_{13} & m_{23} \\
m_{14} & m_{24}
\end{bmatrix}
+\lambda n_{u_1}
\cdot
\begin{bmatrix}
1 & 0 \\
0 & 1
\end{bmatrix} \\
\\
V_1 &= M_{I_1}R^T(1,I_1) \\
&= \begin{bmatrix}
m_{12} & m_{13} & m_{14} \\
m_{22} & m_{23} & m_{24}
\end{bmatrix}
\cdot
\begin{bmatrix}
r_{12} & r_{13} & r_{14}
\end{bmatrix}^T \\
&= \begin{bmatrix}
m_{12} & m_{13} & m_{14} \\
m_{22} & m_{23} & m_{24}
\end{bmatrix}
\cdot
\begin{bmatrix}
r_{12} \\
r_{13} \\
r_{14}
\end{bmatrix}
\end{align*}
$$

这样即可求出$\mathbf{u}_1$，类似可求出$\mathbf{u}_2, \mathbf{u}_3$

好了，这样就求出了$U$，此时在用$U$去求解$M$，求解公式为：$\mathbf{m}_j=A_j^{-1}V_j,\forall j$。其中，$A_j=U_{I_j}U_{I_j}^T+\lambda n_{m_j}E$，$V_j=U_{I_j}R(I_j,j)$。需要注意的是这里的$I_j$与上面的$I_i$指代的内容有所区别，上面的$I_i$表示用户$u_i$所评分的电影集合，$I_i$中的元素个数小于等于电影的总数，即$size(I_i)\le n_m$，而这里的$I_j$表示对电影$j$评过分的用户个数，所以$I_j$中的元素个数小于等于用户的总数，即$size(I_j)\le n_u$。

这次以求解$\mathbf{m}_3$为例。$I_3=\{1,3\}$，$n_{m_3}=2$表示给电影$m_3$评过分的用户有2个。

$$
\begin{align*}
A_3 &= U_{I_3}U_{I_3}^T+\lambda n_{m_3}E \\
&= \begin{bmatrix}
u_{11} & u_{13} \\
u_{21} & u_{23}
\end{bmatrix}
\cdot
\begin{bmatrix}
u_{11} & u_{13} \\
u_{21} & u_{23}
\end{bmatrix}^T
+\lambda n_{m_3}
\cdot
\begin{bmatrix}
1 & 0 \\
0 & 1
\end{bmatrix}\\
\\
V_3 &=U_{I_j}R(I_j,j) \\
&＝\begin{bmatrix}
u_{11} & u_{13} \\
u_{21} & u_{23}
\end{bmatrix}
\cdot
\begin{bmatrix}
r_{13} \\
r_{33}
\end{bmatrix}
\end{align*}
$$

如此，便可求出$\mathbf{m}_3=A_3^{-1}V_3$。类似可求出$\mathbf{m}_1, \mathbf{m}_2, \mathbf{m}_4$。

原始论文：http://www.grappa.univ-lille3.fr/~mary/cours/stats/centrale/reco/paper/MatrixFactorizationALS.pdf