Python数据科学手册-机器学习: 主成分分析

PCA principal component analysis

主成分分析是一个快速灵活的数据降维无监督方法，

可视化一个包含200个数据点的二维数据集

x 和 y有线性关系，无监督学习希望探索x值和y值之间的相关性

在主成分分析中。一种量化俩变量之间关系的方法 是在数据中找到一组主轴，并用这些主轴来描述 数据集。

利用PCA评估器

该拟合从数据中心学习到了一些指标，其中最重要的是 “成分” 和 “可解释差异”

在数据图上将这些指标以向量形式画出来。

成分 定义向量的方向。

可解释差异 作为向量的平方长度。

这些向量表示数据主轴，箭头长度表示输入数据中各个轴的 重要程度，衡量了数据投影到主轴上的方差的大小。

每个数据点在主轴上的投影就是数据 的主成分

这种从数据的坐标轴变换到主轴的编号 是一个 仿射变换，

仿射变换包含 平移 translation 旋转 rotation 均匀缩放 uniform scaling

用PCA降维

用PCA降为意味着去除一个 或 多个 最小主成分，从而得到一个更低维度且保留最大数据方差的数据投影。

PCA降维示例：

变换的数据投影到一个单一维度。

把降维的数据进行逆变换 ，来和原始数据对比

可以看出，沿着最不重要的主轴的信息都被去除了，仅留下了含有最高方差值得数据成分。

这种降维后的数据集在某种程度上足以体现数据中最主要的关系

用PCA作数据可视化：手写数字

降维的有用之处在俩个维度时不明显。 当数据维度很高是，价值就有所体现。

导入数据：



该数据包含 8* 8 像素的图像。是64维的。 将这些数据投影到一个可操作的维度。 二维

画出每个点的前俩个主成分，

成分的含义：

消减的维度有什么含义？

每幅图像 由一组 64像素值 的 集合定义。将其称为 向量x

x=[x1,x2,x3⋯x64]

为了构建一幅图像，将向量的每个元素与对应描述的像素（单位列向量）相乘，然后将这些结果加和就是这幅图像

image(x)=x1⋅(pixel 1)+x2⋅(pixel 2)+x3⋅(pixel 3)⋯x64⋅(pixel 64)

我们可以将降维理解为删除绝大部分元素，保留少量元素的基向量，basis vector .

仅使用前8个像素，我们会得到数据的8维投影，但是它并不能反映整幅图像。

上面一行是单独的像素信息，下面一行是这些像素值的累加，累加值最终构成这幅图像。

但是逐像素表示方法并不是选择基向量的唯一方式，我们可以使用其他基函数，这些基函数包含预定义的每个像素的贡献。

PCA可以被认为 是选择最优基函数的过程，这样将这些基函数中前几个加起来就足以重构数据中 的大部分元素。

用低维形式表现数据的主成分，

用均值加上前8个PCA基函数重构数字的效果。