统计知识选讲（一）——主成分分析（PCA）的思想

主成分分析的主要目的是希望用较少的变量去解释原来资料中的大部分变异，将我们手中许多相关性很高的变量转化成彼此相互独立或不相关的变量，从而达到降维的目的。在原始数据“预处理”阶段通常要先对它们采用PCA的方法进行降维。本质上讲，PCA就是将高维的数据通过线性变换投影到低维空间上去，但并非随意投影，而是需要遵循一个规则：希望降维后的数据不能失真，也就是说被PCA降掉的那些维度只能是噪声或是冗余的数据。

噪声可以理解为样本数据各维度之间的相关性干扰，冗余可以理解为没有的维度（何为没用？我们PCA处理的基础是保持数据的可区分性，如果该维度上样本数据变异度很小，那么留它何用~~）。

以上是PCA的本质和基本思想。下面我们来具体分析。假设现在有很多个样本，每个样本都是多维的，他们自然都可以在多维坐标系上表示出来。现在我们第一步是要进行维度的变换，实际上就是通过旋转形成新的坐标系直线（此时还没有降维）。将各样本数据投影在这些直线上，其投影的长度是在新坐标系下的样本各维度值。通过计算各直线上投影的方差值，我们可以进行排序。方差值大说明这个新维度区分能力强，我们应该留下；反之则该去掉（降维去冗余）。

现在通过以上思想你应该可以推到出PCA的具体公式了。至于具体的公式，本讲决定直接跳过（留给下一讲），现在我可以直接告诉你大概运用什么样的方法怎样来进行PCA。完成PCA的关键是——协方差矩阵！！协方差矩阵度量的是维度与维度之间的关系，而非样本与样本之间，所以我们直接对协方差矩阵进行某种变化，是不是就可以到达降噪和去冗余的目的呢？

Absolutely!!这种变化就是矩阵的对角化（对角化实际上还没有降维，只是同维度的变换）。对角化之后非对角上的元素都是0，这就到达了去噪声的目的。而对角线上的元素是新维度的方差（你应该明白对角化的矩阵依然是协方差矩阵吧），所以我们只需要在这些方差中挑选较大的一些，舍去较小的，这样就去冗余了。通过这两步工作PCA最主要的工作就完成了。