狄利克雷过程(dirichlet process )的五种理解  原文:http://blog.csdn.net/xianlingmao/article/details/7342837   无参数贝叶斯方法: Nonparametric Bayesian methods (Dirichlet processes)   狄利克雷过程(dirichlet process )是目前变参数学习(non parameter)非常流行的一个理论,很多的工作都是基于这个理论来进行的,如HDP(hierarch…

0. 引入 现观察得到两个样本 θ1,θ2,来推测它们可能来自的分布: 假设来自于连续型概率密度函数, θ1,θ2∼H(θ) 则 θ1,θ2 相等的概率为 0,p(θ1=θ2)=0 概率为 0,不代表不可能发生,仍有发生的可能,只不过概率的测度为 0:(详见测度论相关知识) 纵然二者仍有可能相等,但因其概率测度为 0,实际上我们也只能视二者为不同的值: 假设来自于一种离散型概率质量函数,我们仍希望其具有与连续型分布函数相类似的形式,记此时的离散分布为 G,想要其与连续型概率密度函数形式相近,又不…

来源:http://hi.baidu.com/vyfrcemnsnbgxyd/item/2f10ecc3fc35597dced4f88b Dirichlet Process(DP)是一个很重要的统计模型,其可以看做是Dirichlet分布的一种在连续空间的推广过程.在统计学习中,DP尤其是其变形有很多 重要应用,是非参贝叶斯学习的重要方法.不过目前缺乏对于这样一个模型的入门级的介绍,本文将会介绍如何从Dirichlet分布演变到 Dirichlet Process,从而帮助大家更容易地踏入这个领…

Notes on the Dirichlet Distribution and Dirichlet Process In [3]: %matplotlib inline   Note: I wrote this post in an IPython notebook. It might be rendered better on NBViewer. Dirichlet Distribution The symmetric Dirichlet distribution (DD) can be co…

Dirichlet Process 和 Dirichlet Process Mixture模型 [本文链接:http://www.cnblogs.com/breezedeus/archive/2012/11/05/2754940.html,转载请注明出处.] Dirichlet Process (DP)被称为分布的分布.从DP抽取出的每个样本(一个函数)都可以被认为是一个离散随机变量的分布函数,这个随机变量以非零概率值在可数无穷个离散点上取值.比较有意思的是,从DP可以推导出几个非常著名的问题:…

http://www.cnblogs.com/zhangbojiangfeng/p/5962039.html [各种函数推导]…

[综述](MIT博士)林达华老师-"概率模型与计算机视觉” 距上一次邀请中国科学院的樊彬老师为我们撰写图像特征描述符方面的综述(http://www.sigvc.org/bbs/thread-165-1-1.html)之后,这次我们荣幸地邀请到美国麻省理工学院(MIT)博士林达华老师为我们撰写“概率模型与计算机视觉”的最新综述.这次我们特别增设了一个问答环节,林老师针对论坛师生提出的许多问题(如概率图模型与目前很热的深度神经网络的联系和区别)一一做了详细解答,并附在综述的后面. 林达华老师博士毕…

http://blog.csdn.net/pipisorry/article/details/51461878 概率图模型Graphical Models简介 完全通过代数计算来对更加复杂的模型进行建模和求解.然而,我们会发现,使用概率分布的图形表示进行分析很有好处.这种概率分布的图形表示被称为概率图模型( probabilistic graphical models ).这些模型提供了几个有用的性质:• 它们提供了一种简单的方式将概率模型的结构可视化,可以用于设计新的模型.• 通过观察图形,我…

声明:本文转载自http://www.sigvc.org/bbs/thread-728-1-1.html,个人感觉是很好的PGM理论综述,高屋建瓴的总结了PGM的主要分支和发展趋势,特收藏于此. “概率模型与计算机视觉”林达华美国麻省理工学院(MIT)博士   上世纪60年代, Marvin Minsky 在MIT让他的本科学生 Gerald Jay Sussman用一个暑假的时间完成一个有趣的Project: “link a camera to a computer and get the c…

The Dirichlet Distribution 狄利克雷分布 (PRML 2.2.1) Dirichlet分布可以看做是分布之上的分布.如何理解这句话,我们可以先举个例子:假设我们有一个骰子,其有六面,分别为{1,2,3,4,5,6}.现在我们做了10000次投掷的实验,得到的实验结果是六面分别出现了{2000,2000,2000,2000,1000,1000}次,如果用每一面出现的次数与试验总数的比值估计这个面出现的概率,则我们得到六面出现的概率,分别为{0.2,0.2,0.2,0.2,…