[Scikit-learn] 2.5 Dimensionality reduction - Probabilistic PCA & Factor Analysis

2.5.4. Factor Analysis

---

PPCA的基本性质以及人肉推导：

以上假设z是标准正态分布的情况。以下是对z的分布的扩展，为general normal distribution。

From: http://cs.brown.edu/courses/cs195-5/spring2012/lectures/2012-04-24_factorEM.pdf

PPCA可以选择input data，保持不变性；FA不能这么搞。

但它俩都可以选择latent variables。

From: https://www.cs.ubc.ca/~schmidtm/Courses/540-W16/L12.pdf

此处可见对x的分布的估计。

主成分分析和因子分析十大不同

一般情况下主成分用于探索性分析，很少单独使用，用主成分来分析数据，可以让我们对数据有一个大致的了解。

几个常用组合：

• 主成分分析+判别分析，适用于变量多而记录数不多的情况；
• 主成分分析+多元回归分析，主成分分析可以帮助判断是否存在共线性，并用于处理共线性问题；
• 主成分分析+聚类分析，不过这种组合因子分析可以更好的发挥优势。

因子分析：

• 首先，因子分析+多元回归分析，可以利用因子分析解决共线性问题；
• 其次，可以利用因子分析，寻找变量之间的潜在结构；
• 再次，因子分析+聚类分析，可以通过因子分析寻找聚类变量，从而简化聚类变量；
• 此外，因子分析还可以用于内在结构证实

Model selection with Probabilistic PCA and Factor Analysis (FA)

http://scikit-learn.org/stable/auto_examples/decomposition/plot_pca_vs_fa_model_selection.html