EM算法及其应用： K-means 与 高斯混合模型

EM算法及其应用（一）

EM算法及其应用（二）： K-means 与 高斯混合模型

上一篇阐述了EM算法的主要原理，这一篇来看其两大应用 —— K-means 与 高斯混合模型，主要由EM算法的观点出发。

K-means

---

K-means的目标是将样本集划分为K个簇，使得同一个簇内样本的距离尽可能小，不同簇之间的样本距离尽可能大，即最小化每个簇中样本与质心的距离。K-means属于原型聚类(prototype-based clustering)，原型聚类指聚类结构能通过一组原型刻画，而原型即为样本空间中具有代表性的点。在K-means中，这个原型就是每个簇的质心 \(\boldsymbol{\mu}\) 。


从EM算法的观点来看，K-means的参数就是每个簇的质心 \(\boldsymbol{\mu}\)，隐变量为每个样本的所属簇。如果事先已知每个样本属于哪个簇，则直接求平均即可得到 \(\boldsymbol{\mu}\) 。但现实中不知道的情况下，则需要运用EM的思想：


假设要k个簇，先随机选定k个点作为质心\(\{\boldsymbol{\mu_1}, \boldsymbol{\mu_2} \cdots \boldsymbol{\mu_k}\}\)：

1. 固定\(\boldsymbol{\mu_k}\)，将样本划分到距离最近的\(\boldsymbol{\mu_k}\)所属的簇中。若用\(r_{nk}\)表示第n个样本所属的簇，则
   \[
   r_{nk} = \left. \begin{cases} 1 \,\, & \text{if} \;\;\;k = \mathop{argmin}_j ||\mathbf{x}_n - \boldsymbol{\mu}_j||^2 \\
   0 \,\, & \text{otherwise} \end{cases} \right.
   \]

2. 固定\(r_{nk}\)，根据上一步的划分结果重新计算每个簇的质心。由于我们的目标是最小化每个簇中样本与质心的距离，可将目标函数表示为 \(J = \sum\limits_{n=1}^N r_{nk} ||\mathbf{x}_n - \boldsymbol{\mu}_k||^2\)，要最小化\(J\)则对\(\boldsymbol{\mu}_k\)求导得 \(2\sum\limits_{n=1}^N r_{nk}(\mathbf{x}_n - \boldsymbol{\mu}_k) = 0\)，则
   \[
   \boldsymbol{\mu}_k = \frac{\sum_nr_{nk} \mathbf{x}_n}{\sum_n r_{nk}}
   \]
   即簇中每个样本的均值向量。

   ​

上面两步分别更新\(r_{nk}\)和\(\boldsymbol{\mu_k}\)就对应了EM算法中的E步和M步。和EM算法一样，K-means每一步都最小化目标函数 \(J\)，因而可以保证收敛到局部最优值，但在非凸目标函数的情况下不能保证收敛到全局最优值。另外，K-means对每个样本进行“硬分配(hard assignment)”，即只归类为一个簇，然而某些样本可能处于簇与簇的边界处，将这些样本强行分到其中一个簇可能并不能反映确信度。后文的高斯混合模型可进行“软分配(soft assignment)”， 即对每个样本所划分的簇进行概率估计。

最后总结一下K-means算法的优缺点：

优点：

1. 可解释性比较强。
2. 调参的参数仅为簇数k。
3. 相对于高斯混合模型而言收敛速度快，因而常用于高斯混合模型的初始值选择。K-means 的时间复杂度为 \(\mathcal{O}(N\cdot K \cdot I)\) ，簇数 \(K\) 和 迭代次数 \(I\) 通常远小于\(N\)，所以可优化为 \(\mathcal{O}(N)\) ，效率较高。

缺点：

1. 对离群点敏感。

2. K值难以事先选取，交叉验证不大适合，因为簇越多，目标函数 \(\sum\limits_{n=1}^N r_{nk} ||\mathbf{x}_n - \boldsymbol{\mu}_k||^2\) 就越小。常采用的方法有：一、“拐点法”，如下图 K=3 就是一个拐点。

   

   二、 加上正则化系数 \(\lambda\) ，使得 \(\sum\limits_{n=1}^N \left(r_{nk} ||\mathbf{x}_n - \boldsymbol{\mu}_k||^2\right) + \lambda K\) 最小。

3. 无法保证收敛到全局最优值，常使用不同的初始值进行多次试验。也可以通过 K-means++ 算法优化，核心思想是选取与已有质心距离较远的点作为初始值。

4. 只能发现球状的簇。

5. 由于采用欧氏距离，无法直接计算类别型变量。

高斯混合模型

---

高斯混合模型同样多用于聚类，与K-means不同的是其采用概率模型来表达聚类原型。
首先回顾一下高斯分布(Gaussian Distribution)：对于随机变量\(x\)，其概率密度函数可表示为：
\[
\mathcal{N}(x|\mu, \sigma^2) = \frac{1}{\sqrt{2\pi\sigma^2}}e^{-\frac{(x-\mu)^2}{2\sigma^2}}
\]
若\(\mathbf{x}\)为n维随机向量，则多元高斯分布(Multivariate Gaussian Distribution)为：
\[
\mathcal{N}(\mathbf{x}| \boldsymbol{\mu},\mathbf{\Sigma}) = \frac{1}{(2\pi)^{\frac{n}{2}}|\Sigma|^\frac12}\,e^{-\frac12(\mathbf{x}-\boldsymbol{\mu})^T\mathbf{\Sigma}^{-1}(\mathbf{x}-\boldsymbol{\mu})}
\]
其中\(\boldsymbol{\mu}\)为n维均值向量，\(\mathbf{\Sigma}\)为\(n\times n\)的协方差矩阵，\(|\mathbf{\Sigma}|\)为\(\mathbf{\Sigma}\)的行列式。

很多时候我们发现单个高斯分布无法很好地描述数据的性质，如下图数据分成了两个簇，如果使用两个高斯分布明显能更好地描述其结构。

因此沿着这个思路就诞生了高斯混合模型(Mixture of Gaussians)，本质上是k个高斯分布的线性组合，这样灵活性大增，能描述更多样的分布：
\[
p(\mathbf{x}) = \sum\limits_{k=1}^{K}\pi_k\mathcal{N}(\mathbf{x}|\boldsymbol{\mu}_k,\mathbf{\Sigma}_k) \qquad \tag{1.1}
\]
其中\(0 \leqslant\pi_k\leqslant 1\)为混合系数(mixing coefficients)，满足\(\sum\limits_{k=1}^{K} \pi_k= 1\) 。

由于本文的主角是EM算法，所以下面以EM算法的角度来看待高斯混合模型。

回忆EM算法是一种对含有隐变量的概率模型参数的极大似然估计。通常隐变量\(\mathbf{Z}\)未知，而实际知晓的只有观测数据\(\mathbf{X}\)。而对于高斯混合模型来说，观测数据是这样产生的：先依照\(\pi_k\)选择第k个高斯分模型，然后依照其概率密度函数进行采样生成相应的样本。

可以看到在经过上述过程后我们拿到手的只有采样得来的样本，却不知道每个样本来自于哪个分模型，但这样就表示我们获得了高斯混合模型的隐变量。

这里定义K维随机向量 \(\mathbf{z} = \begin{bmatrix} z_1 \\ z_2 \\ \vdots \\ z_k \\ \end{bmatrix}\)，\(\mathbf{z}\)中只有一个\(z_k\)为1，其余元素为0，即\(z_k = \left. \begin{cases}1\,, & \text{数据来自第k个分模型} \\ 0\,, & \text{否则} \end{cases} \right.\)，


这样\(z_k\)即为高斯混合模型的隐变量，表示样本来自于第k个分模型。


由于\(p(\mathbf{x}) = \sum\limits_zp(\mathbf{x},\mathbf{z}) = \sum\limits_{z}p(\mathbf{z})\,p(\mathbf{x}|\mathbf{z})\)，对比\((1.1)\)式中高斯混合模型的定义，可将\(\pi_k\)视为选择第k个分模型的先验概率，即\(\pi_k = p(z_k = 1)\)；而对应的\(\mathcal{N}(\mathbf{x}|\mathbf{\mu}_k, \mathbf{\Sigma}_k) = p(\mathbf{x}|z_k = 1)\)。另外在得到观测数据\(\{\mathbf{x}_1, \mathbf{x}_2 \cdots \mathbf{x}_n\}\)后，每个\(\mathbf{x}_n\)都对应一个隐变量\(z_{nk}\)，则运用贝叶斯定理，\(\mathbf{x}_n\)属于第k个分模型的后验概率 (记作\(\gamma(z_{nk})\))为：
\[
\begin{align*}
\gamma(z_{nk}) = p(z_{nk} = 1|\mathbf{x}_n) & = \frac{p(z_{nk} = 1)\,p(\mathbf{x}_n|z_{nk} = 1)}{\sum\limits_{j=1}^Kp(z_{nj}=1)\,p(\mathbf{x}_n|z_{nj} = 1)} \\
& = \frac{\pi_k\,\mathcal{N}(\mathbf{x}_n|\mathbf{\mu}_k,\mathbf{\Sigma}_k)}{\sum\limits_{j=1}^K \pi_j\,\mathcal{N}(\mathbf{x}_n|\mathbf{\mu}_j,\mathbf{\Sigma}_j)} \tag{1.2}
\end{align*}
\]


下图显示了\(\gamma(z_{nk})\)的作用，图a是依照完全数据的联合分布\(p(\mathbf{x},\mathbf{z})\)作图，每个点依照其所属的第k个分模型标记颜色，这类似于“硬分配”； 图b则不考虑隐变量\(\mathbf{z}\)，仅依照不完全数据\(\mathbf{x}\)直接作图； 图c则考虑了每个样本来自于各个分模型的后验概率\(\gamma(z_{nk})\)，这样一些在簇中间的点的颜色是红蓝绿三种颜色的混合，表明这些点来自于每个簇的概率比较接近，这即为“软分配”。

为了估计参数，如果直接采用极大似然法，则
\[
\begin{align*}
L(\mathbf{\theta}) = ln\,p(\mathbf{X}|\mathbf{\theta}) = ln\,p(\mathbf{X}|\mathbf{\pi},\boldsymbol{\mu},\mathbf{\Sigma}) & = ln\left[\prod\limits_{n=1}^N\left(\sum\limits_{k=1}^K\,\pi_k \mathcal{N}(\mathbf{x}_n|\boldsymbol{\mu}_k,\mathbf{\Sigma}_k)\right) \right] \\[2ex]
& = \sum\limits_{n=1}^N ln\left(\sum\limits_{k=1}^K \pi_k \frac{1}{(2\pi)^{\frac{n}{2}}|\Sigma|^\frac12}\,e^{-\frac12(\mathbf{x}-\boldsymbol{\mu})^T\mathbf{\Sigma}^{-1}(\mathbf{x}-\boldsymbol{\mu})} \right)
\end{align*}
\]
上式直接求导比较复杂，因为存在“和的对数” \(ln (\sum_{k=1}^K\pi_k\,\mathcal{N} \cdot)\) ，而如果使用EM算法则会方便很多。


先依照上一篇EM算法的流程，写出含Q函数：
\[
\mathcal{Q}(\mathbf{\theta}, \mathbf{\theta}^{(t)}) = \sum\limits_{n=1}^N\sum\limits_{\mathbf{z}}p(\mathbf{z}|\mathbf{x}_n,\mathbf{\pi}^{(t)},\boldsymbol{\mu}^{(t)},\mathbf{\Sigma}^{(t)})\,ln(\mathbf{x}_n,\mathbf{z}|\pi,\boldsymbol{\mu},\mathbf{\Sigma}) \tag{1.3}
\]
由\((1.2)\)式可知，\((1.3)\)中第一项 \(p(z_{nk} = 1|\mathbf{x}_n,\pi^{(t)},\boldsymbol{\mu}^{(t)},\mathbf{\Sigma}^{(t)}) = \gamma(z_{nk})\)，表示当前参数下每个样本\(\mathbf{x}_n\)属于第k个分模型的后验概率。而第二项为完全数据的对数似然函数：
\[
\begin{align*}
ln(\mathbf{x}_n,\mathbf{z}|\pi,\mathbf{\mu},\mathbf{\Sigma}) & = ln\prod\limits_{k=1}^K \left[\pi_k\mathcal{N}(\mathbf{x}_n|\boldsymbol{\mu}_k,\mathbf{\Sigma_k}) \right]^{z_{nk}} \\
& = \sum\limits_{k=1}^Kz_{nk} \left[ln \pi_k + ln\,\mathcal{N}(\mathbf{x_n}|\boldsymbol{\mu}_k,\mathbf{\Sigma}_k)\right]
\end{align*}
\]
由此\((1.3)\)式变为：
\[
\begin{align*}
& \sum\limits_{n=1}^N\sum\limits_{k=1}^K \gamma (z_{nk}) \left[ln \pi_k + ln\,\mathcal{N}(\mathbf{x_n}|\boldsymbol{\mu}_k,\mathbf{\Sigma}_k)\right] \\
= \;& \sum\limits_{n=1}^N\sum\limits_{k=1}^K \gamma (z_{nk}) \left[ln\,\pi_k + ln\left(\frac{1}{(2\pi)^\frac{n}{2}|\mathbf{\Sigma|^\frac{1}{2}}}\,e^{-\frac12 (\mathbf{x}_n - \boldsymbol{\mu}_k)^T\mathbf{\Sigma}_k^{-1}(\mathbf{x}_n-\boldsymbol{\mu}_k)} \right) \right] \tag{1.4}
\end{align*}
\]
可以看到上式括号中变成了“对数的和”，这使得求导方便了很多，且求解时式中\(ln(\cdot)\)和\(e^{(\cdot)}\)可以相互抵消。

\((1.4)\)式分别对\(\boldsymbol{\mu}_k\)，\(\boldsymbol{\Sigma}_k\)求导得：
\[
\boldsymbol{\mu}_k = \frac{\sum\limits_{n=1}^N\gamma(z_{nk}) \cdot \mathbf{x}_n}{\sum\limits_{n=1}^N\gamma(z_{nk})}\qquad,\qquad
\boldsymbol{\Sigma}_k = \frac{\sum\limits_{n=1}^N \gamma(z_{nk})\cdot (\mathbf{x}_n - \boldsymbol{\mu}_k)\cdot(\mathbf{x}_n-\boldsymbol{\mu}_k)^T}{\sum\limits_{n=1}^N \gamma(z_{nk})}
\]
可以看到分模型k的\(\boldsymbol{\mu}_k\)和\(\boldsymbol{\Sigma}_k\)是所有样本的加权平均，其中每个样本的权重为该样本属于分模型k的后验概率\(\gamma(z_{nk})\) 。对比上文中K-means的 \(\boldsymbol{\mu}_k = \frac{\sum_nr_{nk} \cdot \mathbf{x}_n}{\sum_nr_{nk}}\)，二者形式类似，区别为K-means中的\(r_{nk} \in \{0,1\}\)，而高斯混合模型中\(\gamma(z_{nk})\)为概率估计。

对于混合系数\(\pi_k\)，因为有限制条件\(\sum_{k=1}^K \pi_k = 1\)，因此需要使用拉格朗日乘子法转化为无约束优化问题：
\[
\sum\limits_{n=1}^N\sum\limits_{k=1}^K \gamma (z_{nk}) \left[ln\,\pi_k + ln\left(\frac{1}{(2\pi)^\frac{n}{2}|\mathbf{\Sigma|^\frac{1}{2}}}\,e^{-\frac12 (\mathbf{x}_n - \boldsymbol{\mu}_k)^T\mathbf{\Sigma}_k^{-1}(\mathbf{x}_n-\boldsymbol{\mu}_k)} \right) \right] + \lambda(\sum\limits_{k=1}^K \pi_k - 1)
\]
对\(\pi_k\)求导得，
\[
\begin{align*}
& \sum\limits_{n=1}^N\frac{\gamma(z_{nk})}{\pi_k} + \lambda = 0 \qquad \Longrightarrow \qquad \pi_k = \frac{\sum\limits_{n=1}^N \gamma(z_{nk})}{-\lambda} \tag{1.5} \\
& \\
& \text{由于$\sum_{k=1}^K\pi_k = 1\;，\qquad$ 则} \;\;\sum_{k=1}^K \;\frac{\sum_{n=1}^N \gamma (z_{nk})}{-\lambda} = 1 \;, \;\lambda = -N \quad 代入(1.5) \;,\\
& \\
& \text{得}\; \pi_k = \frac{\sum_{n=1}^N\gamma(z_{nk})}{N}
\end{align*}
\]
即每个分模型k的混合系数是属于k的样本的平均后验概率，由此运用EM算法能大大简化高斯混合模型的参数估计过程，在中间步只需计算\(\gamma(z_{nk})\)就行了。

高斯混合模型的算法流程

输入： 样本集 \(\mathbf{X} = \{\mathbf{x}_1, \mathbf{x}_2 \cdots \mathbf{x}_n\}\)

输出： 高斯混合模型参数 \(\pi, \boldsymbol{\mu}, \boldsymbol{\Sigma}\)

1. 初始化各个分模型参数 \(\pi_k, \boldsymbol{\mu}_k, \boldsymbol{\Sigma}_k\)
2. E步： 依照当前模型参数，计算观测数据\(\mathbf{x}_n\)属于分模型k的后验概率：
   \[
   \begin{align*}
   \gamma(z_{nk}) = p(z_{nk} = 1|\mathbf{x}_n) = \frac{\pi_k\,\mathcal{N}(\mathbf{x}_n|\mathbf{\mu}_k,\mathbf{\Sigma}_k)}{\sum\limits_{j=1}^K \pi_j\,\mathcal{N}(\mathbf{x}_n|\mathbf{\mu}_j,\mathbf{\Sigma}_j)}
   \end{align*}
   \]
3. M步： 根据 \(\gamma(z_{nk})\)计算新一轮参数：
   \[
   \boldsymbol{\mu}_k^{new} = \frac{\sum\limits_{n=1}^N\gamma(z_{nk}) \cdot \mathbf{x}_n}{\sum\limits_{n=1}^N\gamma(z_{nk})}
   \]
   \[
   \boldsymbol{\Sigma}_k^{new} = \frac{\sum\limits_{n=1}^N \gamma(z_{nk})\cdot (\mathbf{x}_n - \boldsymbol{\mu}_k^{new})\cdot(\mathbf{x}_n-\boldsymbol{\mu}_k^{new})^T}{\sum\limits_{n=1}^N \gamma(z_{nk})}
   \]
   \[
   \pi_k^{new} = \frac{\sum_{n=1}^N\gamma(z_{nk})}{N}
   \]
4. 重复2. 和3. 步直至收敛。

最后总结一下高斯混合模型的优缺点：

优点：

1. 相比于K-means更具一般性，能形成各种不同大小和形状的簇。K-means可视为高斯混合聚类中每个样本仅指派给一个混合成分的特例，且各混合成分协方差相等，均为对角矩阵\(\sigma^2\mathbf{I}\)。
2. 仅使用少量的参数就能较好地描述数据的特性。

缺点：

1. 高斯混合模型的计算量较大收敛慢。因此常先对样本集跑k-means，依据得到的各个簇来定高斯混合模型的初始值。其中质心即为均值向量，协方差矩阵为每个簇中样本的协方差矩阵，混合系数为每个簇中样本占总体样本的比例。
2. 分模型数量难以预先选择，但可以通过划分验证集来比较。
3. 对异常点敏感。
4. 数据量少时效果不好。

EM算法在半监督学习上的应用

在现实的分类问题中常遇到数据集中只有少量样本是带有标签的，而大部分样本的标签缺失。如果直接将无标签的样本丢弃，则会容易造成大量的有用信息被浪费。而如果使用EM算法，将缺失标签视为隐变量，很多时候能达到利用所有数据进行训练的目的。流程如下：

1. 仅用带标签样本训练学习器，得到初始参数\(\theta\)。
2. E步： 利用训练好的学习器预测无标签样本，将其分类到概率最大的类别，这样所有样本就都有标签了。
3. M步： 用所有样本重新训练学习器，得到参数\(\theta^t\)。
4. 重复2. 和 3. 步直至收敛，得到最终模型。

/