线性代数之SVD与PCA

[作者：byeyear    Email：east3@163.com    首发www.cnblogs.com    转载请注明]

回忆学校的美好时光，一起来复习下曾经的课程吧。

1. SVD推荐ams上的一篇文章：

http://www.ams.org/samplings/feature-column/fcarc-svd

下面的文字为简短摘要。

我们知道，如果矩阵A有一组特征值λ_k和特征向量v_k，那么下式成立：

Av_k=λv_k

矩阵的奇异值σ满足类似的式子，如下所示：

Av_k=σ_ku_k

各单位向量v_k相互正交；各单位向量u_k也相互正交。

以二阶矩阵为例，它有两个奇异值σ₁，σ₂：

Av₁=σ₁u₁

Av₂=σ₂u₂

v₁和v₂正交，u₁和u₂正交，且均为单位向量。对于R²中的任意向量x，若将其投影到span{v1,v2}，那么：

Ax=A[(v₁·x)v₁+(v₂·x)v₂]

=(v₁·x)Av₁+(v₂·x)Av₂

=(v₁·x)σ₁u₁+(v₂·x)σ₂u₂

=u₁σ₁v₁^Tx+u₂σ₂v₂^Tx                 // 此处利用了m^Tnp=pm^Tn，p，m，n为同阶向量

因此A=u₁σ₁v₁^T+u₂σ₂v₂^T

写成更一般的矩阵形式，就是：

A=UΣV

其中：

A是mxn矩阵

U=[u₁ u₂ ... u_m]，是mxm方阵

Σ是主对角线为σ₁ ... σ_n的mxn准对角矩阵

V=[v₁ v₂ ... vn]，是nxn方阵