$\bf{X} \bf{X}^T$和$ \bf{X}^T \bf{X}$的非零特征值和特征向量之间的关系

设\(\lambda_i\)为\(\bf{X} \bf{X}^T\)的特征值，对应的特征向量为\(\mathbf{\alpha}_i\)，则

\[\bf{X} \bf{X}^T \mathbf{\alpha}_i=\lambda_i\mathbf{\alpha}_i
\tag{1}
\]

\((1)\)式两边同时左乘\(\bf{X}^T\)，有

\[\bf{X}^T \bf{X} \bf{X}^T \mathbf{\alpha}_i=\bf{X}^T \lambda_i\mathbf{\alpha}_i
\]

即

\[(\bf{X}^T \bf{X}) (\bf{X}^T \mathbf{\alpha}_i)=\lambda_i(\bf{X}^T \mathbf{\alpha}_i)
\tag{2}
\]

\((2)\)式意味着\(\lambda_i\)是矩阵\(\bf{X}^T \bf{X}\)的特征值，其对应的一个特征向量为\(\bf{X}^T \mathbf{\alpha}_i\)。

注意到

\[\text{rank} (\bf{X} \bf{X}^T)=\text{rank} (\bf{X}^T\bf{X})=\text{rank} (\bf{X})=\text{rank}(\bf{X})
\tag{3}
\]

\((2)\)式和\((3)\)式说明，\(\bf{X} \bf{X}^T\)和\(\bf{X}^T\bf{X}\)的非零特征根是一样的，非零特征根对应的特征向量具有如下关系：

• 若\(\mathbf{\alpha}_i\)是\(\bf{X} \bf{X}^T\)的一个特征向量，那么\(\bf{X}^T \mathbf{\alpha}_i\)为\(\bf{X}^T\bf{X}\)的一个特征向量，二者分别对应同一个非零特征值
• 若\(\mathbf{\beta}_i\)是\(\bf{X}^T\bf{X}\)的一个特征向量，那么\(\bf{X} \mathbf{\beta}_i\)为\(\bf{X}\bf{X}^T\)的一个特征向量，二者分别对应同一个非零特征值（证法类似，此处略去）

这一结论的具体应用如下：

假如样本矩阵\(\bf{X}\)有100个观测，1000个变量，其维度\(n\times p=100 \times 1000\)，现在要计算\(\bf{X}^T\bf{X}\)的特征向量。注意到，一方面\(\bf{X}^T\bf{X}\)的维度为\(1000 \times 1000\)，维度很大，直接输进软件里求解的话会耗费大量时间；另一方面，\(\bf{X}\bf{X}^T\)的维度为\(100 \times 100\)，维度适中，直接输进软件里求解的话较快。因此，可以先求得\(\bf{X}\bf{X}^T\)的非零特征根对应的特征向量，然后分别再左乘矩阵\(\bf{X}^T\)即可解决问题。