降维是机器学习中十分重要的部分,降维就是通过一个特定的映射(可以是线性的或非线性的)将高维数据转换为低维数据,从而达到一些特定的效果,所以降维算法最重要的就是找到这一个映射.主成分分析(Principal Component Analysis, PCA)是一种最经典,也是最简单的降维算法.PCA可以保证降维之后,重构回原数据的效果最好,因此广泛用于对高维数据的预处理. 1. 一个投影的PCA求解 设样本矩阵为\(X=[x_1,x_2,\cdots,x_n]\in \mathbb R^{m\tim…