Variational Inference

作者：孙九爷
链接：https://www.zhihu.com/question/41765860/answer/101915528
来源：知乎
著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。

变分推断其实就是一句话：用简单的分布q去近似复杂的分布p。
首先，为什么要选择用变分推断？
因为，大多数情况下后验分布很难求啊。如果后验概率好求解的话我们直接EM就搞出来了。

当后验分布难于求解的时候我们就希望选择一些简单的分布来近似这些复杂的后验分布，至于这种简单的分布怎么选，有很多方法比如：Bethe自由能，平均场定理。而应用最广泛的要数平均场定理。为什么？
因为它假设各个变量之间相互独立砍断了所有变量之间的依赖关系。这又有什么好处呢？我们拿一个不太恰当的例子来形象的说明一下：用古代十字军东征来作为例子说明一下mean field。十字军组成以骑兵为主步兵为辅，开战之前骑兵手持重标枪首先冲击敌阵步兵手持刀斧跟随，一旦接战就成了单对单的决斗。那么在每个人的战斗力基本相似的情况下某个人的战斗力可以由其他人的均值代替这是平均场的思想。这样在整个军队没有什么战术配合的情况下军队的战斗力可以由这些单兵的战斗力来近似这是变分的思想。
当求解Inference问题的时候相当于积分掉无关变量求边际分布，如果变量维度过高，积分就会变得非常困难，而且你积分的分布p又可能非常复杂因此就彻底将这条路堵死了。采用平均场就是将这种复杂的多元积分变成简单的多个一元积分，而且我们选择的q是指数族内的分布，更易于积分求解。如果变量间的依赖关系很强怎么办？那就是structured mean field解决的问题了。

说到这里我们就知道了为什么要用变分，那么怎么用？

过程很简单，推导很复杂。
整个过程只需要：
1、根据图模型写出联合分布
2、写出mean filed 的形式（给出变分参数及其生成隐变量的分布）
3、写出ELBO（为什么是ELBO？优化它跟优化KL divergence等价，KL divergence因为含有后验分布不好优化）
4、求偏导进行变分参数学习

这样就搞定了！

要点都有了，具体怎么推怎么理解还得多看亲自推一遍。