在这篇文章中,我引用Bishop书中的一个例子,来简单介绍一下Variational Methods的应用.想要更详细地理解这个例子,可以参考Bishop的书Pattern Recongnition and Machine Learning的第十章. 这个例子应用于一个混合高斯分布,我们先来看一看这个混合高斯分布的图模型,见图3,从而可以进一步退出其概率表达式. ‍ 现在我们有了这个图,我们就不难写下一个完整的概率式来表示整个联合分布: ‍ 现在,我们来定义一些分布.首先,我们已经说过,这是一个…

从之前的文章中,我们已经得到了所有需要求解的参数的优化分布的形式,分别为: ‍ 但是,我们从这些分布的表达式中(参见之前的文章),可以发现这些式子并不能够直接求解.这是因为各个参数之间相互耦合,从而导致得到的不是一个直接可以得到的解,所以我们需要进行迭代求解,正如我们在之前所描述的一样.我们观察这三组参数的表达形式,我们会发现,Z的求解依赖于r这个变量,而r这个变量的求解依赖于其余的所有参数.我们再看其他的参数,这些参数的求解依赖于r.从而我们得到了这个求解过程中的耦合部分.所以我们可以得到一个…

我们现在已经得到了关于潜在变量Z的优化分布的表达形式: ‍ 其中: ‍ 所以现在我们可以得到Z的期望: ‍ 另外对于Z还值得一提的是,我们从其优化分布的表达式中可以看出,各个Z的组成部分之间还是相互耦合的,所以需要一个迭代的求解方式. 解决了关于Z的一些遗留的问题,我们可以继续讨论如何求解余下的参数.同样的,我们的基本想法,还是将其带入我们之前所求到的公式中去,从而,我们有: ‍ 现在,我们回头去观察一下这个混合高斯分布的图模型,我们会发现,在控制变量中,本身存在一个独立性,即: ‍ 从而,在近…

此文为David M. Blei所写的<Introduction to Probabilistic Topic Models>的译文,供大家参考. 摘要:概率主题模型是一系列旨在发现隐藏在大规模文档中的主题结构的算法.本文首先回顾了这一领域的主要思想,接着调研了当前的研究水平,最后展望某些有所希望的方向.从最简单的主题模型——潜在狄立克雷分配(Latent Dirichlet Allocation,LDA)出发,讨论了其与概率建模的联系,描述了用于主题发现的两种算法.主题模型日新月异,被扩展和…

概率主题模型简介 Introduction to Probabilistic Topic Models      转:http://www.cnblogs.com/siegfang/archive/2013/01/30/2882391.html   此文为David M. Blei所写的<Introduction to Probabilistic Topic Models>的译文,供大家参考. 摘要:概率主题模型是一系列旨在发现隐藏在大规模文档中的主题结构的算法.本文首先回顾了这一领域的主要思…

主讲人 戴玮 (新浪微博: @戴玮_CASIA) Wilbur_中博(1954123) 20:02:04 我们在前面看到,概率推断的核心任务就是计算某分布下的某个函数的期望.或者计算边缘概率分布.条件概率分布等等. 比如前面在第九章尼采兄讲EM时,我们就计算了对数似然函数在隐变量后验分布下的期望.这些任务往往需要积分或求和操作. 但在很多情况下,计算这些东西往往不那么容易.因为首先,我们积分中涉及的分布可能有很复杂的形式,这样就无法直接得到解析解,而我们当然希望分布是类似指数族分布这样具有共轭分…

从13年11月初开始接触DL,奈何boss忙or 各种问题,对DL理解没有CSDN大神 比如 zouxy09等 深刻,主要是自己觉得没啥进展,感觉荒废时日(丢脸啊,这么久....)开始开文,即为记录自己是怎么一步一个逗比的走过的路的,也为了自己思维更有条理.请看客,轻拍,(如果有错,我会立马改正,谢谢大家的指正.==!其实有人看没人看都是个问题.哈哈) 推荐 tornadomeet 的博客园学习资料 http://www.cnblogs.com/tornadomeet/category/4976…

自己根据Jordan大神的资料写的(算翻译?完全不记得了,这是半年前整理的,反正不记得了,如果大神有看到部分重合,那肯定是我借鉴了人家的,本来是一个群里的人大家兴致高说写DL的书(所以这一章并不是书的重点,只是为了引出DBN而已,所以才不需要PGM的大神参合),我算负责这一章,这是初稿,也就是先和对应的章节审稿人定框架结构,然后在改,所以这节粗糙是一定的,只是本以为等着审稿人的意见,然后大改特改的,结果就没有然后了,完全没有下文啊,想想还不如发出来当作学习笔记好了!),PGM菜鸟试水级别理解,喷…

Active Learning Two Faces of Active Learning, Dasgupta, 2011 Active Learning Literature Survey, Settles, 2010 Applications A Survey of Emerging Approaches to Spam Filtering, Caruana, 2012 Ambient Intelligence: A Survey, Sadri, 2011 A Survey of Online…

Research in General How to write a great research paper Basics of machine learning http://www.iro.umontreal.ca/~bengioy/DLbook/math.html http://www.iro.umontreal.ca/~bengioy/DLbook/ml.html Basics of deep learning http://www.iro.umontreal.ca/~bengioy/…