EM算法的直观描述

解决含有隐变量的问题有三种方法，其中第三种方法就是通常所说的em算法。下面以统计学习方法中给出的三硬币问题为例来分别描述这三种方法。（a，b，c三硬币抛出来为正的概率分别为pai，p，q，每轮抛硬币先抛a硬币，a为正则抛b硬币，a为反则抛c硬币。把b硬币或者c硬币的结果（正或反）作为最终结果，即样观测值。）

第一种方法：

现在我们只知道样本的观测值集合，我们可以以每一个样本观测值（例如y1=1）为一个单位单独考察。在这种方法之下，我们并不关注pai的值是多少，即抛出a为正的概率，只关注与该样本观测值相对应的抛的那次a硬币的结果究竟是正还是反，只要知道了它的正反，我们就可以知道本次的观测值究竟是b抛出来的还是c抛出来的。使用的方法也可以算是最大似然估计，就是我分别假设a抛出的是正面或反面，然后分别计算在a是正面和a是反面的时候有多大的可能性会抛出该观测值。如果假定a是正面时出现当前观测值的概率更大，我们就把该次的a认定为正面，反之则认定为反面。使用这种方法可以分别定义每个样本观测值对应的a是正面还是反面。计算出a为正面时对应的观测值中有多少为正有多少为反，例如4正6反，就能根据最大似然估计得出p=0.4作为新的p值，同样的办法也能算出新的q的值。算出新值后即可进行新一轮的迭代。

第二种方法：

也就是统计学习方法p156页用到的方法。该方法第一个方法的相同点就是都是以每一个观测值作为一个单元单独考察，不同就在于首先分别通过假设的方法给出pai、p、q的初值。这样就可以通过贝叶斯公式计算出p(z|y)。（即统计学习方法p156页9.5）也就是说在当前观测值对应的a为正和a为反的概率都能求出来。那么对于每一个观测值，我们就只需要看一下它对应的a为正的概率高还是a为反的概率高，如果a为正的概率高我们就假设本次a抛的结果为正，否则就假设其为反。然后分别使用统计学习方法156页的9.6~9.8三个公式就能计算出新一轮的pai，p，q的值。就可以进行新一轮的迭代。

第三种方法（EM）：

先列出整个样本集合的观测值共同出现的概率的计算公式，然后把这个计算公式前面加上log，转化为对数最大似然估计估计函数。

（以上是e步）

然后：

（1）固定p、q，把pai作为未知数对最大似然函数求极值，该极值对应的pai即为新一轮的pai（在第一轮刚好知道知道p，q，不知道pai）。

（2）固定pai，q，以p作为最大似然函数的未知数求极值，得到新一轮的p。

（3）固定pai，p，以q作为最大似然函数的未知数求极值，得到新一轮的q。

（以上是m步）

之后不断重复上面的(1)，(2)，(3)（m步），直到收敛为止。

注：在我看来，所谓的e步只有第一轮迭代的时候需要列出对数最大似然函数并将p，q的值带入。后面就不需要e步了，如果非要保留e步这个环节，也只能把将新的q带入最大似然函数算作是e步的环节。

附：对数似然函数的推导（见下图）