主讲人 戴玮 (新浪微博: @戴玮_CASIA) Wilbur_中博(1954123) 20:02:04 我们在前面看到,概率推断的核心任务就是计算某分布下的某个函数的期望.或者计算边缘概率分布.条件概率分布等等. 比如前面在第九章尼采兄讲EM时,我们就计算了对数似然函数在隐变量后验分布下的期望.这些任务往往需要积分或求和操作. 但在很多情况下,计算这些东西往往不那么容易.因为首先,我们积分中涉及的分布可能有很复杂的形式,这样就无法直接得到解析解,而我们当然希望分布是类似指数族分布这样具有共轭分…

图模型(Graphical Models)是一个用来表示概率模型的工具.所谓概率模型,也就是在刻画一组随机变量之间的相互关系.图模型就是用来显式地刻画这些变量之间关系的.在 图模型中,每个变量由图中的一个结点表示,而每一条边则代表其所连接的两个变量之间有相互依赖关系.根据图的结构可以方便地判断变量之间的独立性.条件独 立性等关系,并且可以指导我们做一些inference的工作.   图模型有两种,用无向图表示的称为马尔可夫随机场(Markov Random Field,MRF),有向图表示的称为…

1.  Approximation    Probabilistic model  中的一个 central task :给定一组observation X 后,计算latent variables Z 的后验概率P( Z | X).以及一些expectation with respect to P(Z| X).很多情况下P( Z | X)是analytically  intractable 的.这就需要有approximation 方法.    Latent variable :只要没有观察到…

1.变分推断(Variational Inference) 1.1.分解概率分布(Factorized distributions) 1.2.分解近似的性质(Properties of factorized approximations) 1.3.例子:一元高斯分布(Example: The univariate Gaussian) 1.4.模型比较(Model comparition) 2.例子:高斯的变分混合(Illustration Variational Mixture of Gauss…

引入 统计推断的核心任务,是观察到一些X(可见变量戒可观察变量)之后计算隐变量Z的后验分布p(Z|X),以及在这个后验分布下计算我们所需要的函数的期望.比如,讲EM时,我们曾计算过对数似然函数在隐变量后验分布下的期望(公式9.30),作为EM中的E步. 但我们都知道,求期望要用到求和戒积分运算,很多情况下,计算它们往往不那么简单. 首先,我们积分所涉及的分布可能很复杂,不像混合高斯做EM时每步迭代都有解析解:其次,我们要积分的变量空间可能维度很高,这样就把我们做数值积分的路给堵死了.因为这两个原…

牛人主页(主页有很多论文代码) Serge Belongie at UC San Diego Antonio Torralba at MIT Alexei Ffros at CMU Ce Liu at Microsoft Research New England Vittorio Ferrari at Univ.of Edinburgh Kristen Grauman at UT Austin Devi Parikh at  TTI-Chicago (Marr Prize at ICCV2011…

Cognition math based on Factor Space Wang P Z1, Ouyang H2, Zhong Y X3, He H C4 1Intelligence Engineering and Math Institute, Liaoning Technical Univ. Fuxin, Liaoning, 123000, China 2Jie Macroelectronics co. Ltd, Shanghai, 200000, China 3 I & CE Colle…

Generative Adversarial Nets NIPS 2014  摘要:本文通过对抗过程,提出了一种新的框架来预测产生式模型,我们同时训练两个模型:一个产生式模型 G,该模型可以抓住数据分布:还有一个判别式模型 D 可以预测来自训练样本 而不是 G 的样本的概率．训练 G 的目的是让 D 尽可能的犯错误,让其无法判断一个图像是产生的,还是来自训练样本．这个框架对应了一个 minimax two-player game. 也就是,一方得势,必然对应另一方失势,不存在两方共赢的局面,这个…

      ICCV 2015:21篇最火爆研究论文 ICCV 2015: Twenty one hottest research papers   “Geometry vs Recognition” becomes ConvNet-for-X Computer Vision used to be cleanly separated into two schools: geometry and recognition. Geometric methods like structure from…

[综述](MIT博士)林达华老师-"概率模型与计算机视觉” 距上一次邀请中国科学院的樊彬老师为我们撰写图像特征描述符方面的综述(http://www.sigvc.org/bbs/thread-165-1-1.html)之后,这次我们荣幸地邀请到美国麻省理工学院(MIT)博士林达华老师为我们撰写“概率模型与计算机视觉”的最新综述.这次我们特别增设了一个问答环节,林老师针对论坛师生提出的许多问题(如概率图模型与目前很热的深度神经网络的联系和区别)一一做了详细解答,并附在综述的后面. 林达华老师博士毕…

A Statistical View of Deep Learning (II): Auto-encoders and Free Energy With the success of discriminative modelling using deep feedforward neural networks (or using an alternative statistical lens, recursive generalised linear models) in numerous in…

典型的浅层学习结构: 传统隐马尔可夫模型(HMM).条件随机场 (CRFs).最大熵模型(Maxent).支持向量机(SVM).核回归及仅含单隐层的多层感知器(MLP)等. 局部表示,分布式表示和稀疏表示:局部表示聚类算法,最近邻算法的输入空间切割局部之间互斥,分布式表达ICA.PCA和RBM,器所使用的特征较少,PCA和ICA能获取主要分量信息,但输出信号数目小于输入信号数目,不能很好地解决欠定问题. Learning multiple layers of representation  Ge…

http://blog.csdn.net/pipisorry/article/details/51461878 概率图模型Graphical Models简介 完全通过代数计算来对更加复杂的模型进行建模和求解.然而,我们会发现,使用概率分布的图形表示进行分析很有好处.这种概率分布的图形表示被称为概率图模型( probabilistic graphical models ).这些模型提供了几个有用的性质:• 它们提供了一种简单的方式将概率模型的结构可视化,可以用于设计新的模型.• 通过观察图形,我…

Preface 模式识别这个词,以前一直不懂是什么意思,直到今年初,才开始打算读这本广为推荐的书,初步了解到,它的大致意思是从数据中发现特征,规律,属于机器学习的一个分支. 在前言中,阐述了什么是模式识别之后,立刻就提到了贝叶斯方法,感觉贝叶斯方法在模式识别中有一个特别重要的位置.至于为什么,我现在还没体会到. 随后又提到了几个术语:approximate inference algorithms.variational Bayes.expectation propagation,以及model…

这部分讨论在有数据缺失情况下的 learning 问题,这里仍然假定了图结构是已知的. 首先需要讨论的是为什么会缺失,很多情况下缺失并不是“随机”的:有的缺失是人为的,那么某些情况下缺失的可以直接补上,而某些情况下我们需要使用额外的随机变量对缺失进行 modeling:有的缺失是随机的,有的是因为的确存在“解释”或者人为赋予了随机性(如 Bayesian 里面对参数假定了分布),这些时候我们会引入所谓的隐变量.这种情况下,我们 learning 的目标是最大化观测到的的数据的 likelihoo…

这部分开始,我们将讨论 learning 相关的内容.PGM 为 frequentist 与 Bayesian 系的 model 提供了同一种语言,对前者来说 learning 就是确定一种对“未知但是却是常值”的参数的估计,使得某种“准则”得到满足:对后者来说参数不存在“估计”问题,参数由于成为了随机变量,也成为了 PGM 的一部分,这使得后者的参数推断变成了一般的 inference 问题,事实上个人觉得后者的 learning 其实是对 hyper-parameter 的 tuning,因…

作为 inference 部分的小结,我们这里对 machine learning 里面常见的三个 model 的 inference 问题进行整理,当然很幸运的是他们都存在 tractable 的算法是的我们避免了烦人的 approximate inference. HMM 常意所说的 HMM 是对离散状态.离散观测情形下的一种 generative model,它包括 状态的先验分布 (在下面的推导中我们可以将其藏在转移概率中) 转移状态 ,这是对 的分布 发射概率 ,这是对 的分布 这个模…

中文版:https://zhuanlan.zhihu.com/p/27440393 原文版:https://www.oreilly.com/learning/generative-adversarial-networks-for-beginners “熟练tensorflow后,需研读实践的文章” 自从两年前蒙特利尔大学的Ian Goodfellow等人提出生成式对抗网络(Generative Adversarial Networks,GAN)的概念以来,GAN呈现出井喷式发展. // 竟然是G…

RNN models for image generation MARCH 3, 2017   Today we’re looking at the remaining papers from the unsupervised learning and generative networks section of the ‘top 100 awesome deep learning papers‘ collection. These are: DRAW: A recurrent neural n…

有个比较有意思的想法是编码理论的反问题是 machine learning,这也是这部分学习的一个收获.这个其实很奇怪,编码理论其实是有 ground truth 的,然后通过编码产生“冗余”,这样才能通过含有噪声的信道后仍然能够被正确的解码(比较好的是相关的理论上界和最优编码已经非常接近了),这个问题的本质其实也是 inference.那为什么我说 machine learning 是它的反问题呢?我们通常会假定数据本身具有“结构”,尽管我们看到的数据是来自某个高维的空间,但是往往有某些内在的…

和 Koller 的 video 最大的不同莫过于书上讲 LBP 的角度不是 procedural 的,而是原理性的.我们先看个 procedural 的,在一般的 cluster graph 上的 BP 改进版即 loopy belief propagation 先将所有的 message 初始化为 1,然后依照原先的策略进行消息传递,直到收敛为止.这里面收敛很可能不是所有的消息都能收敛,同时传递消息的顺序一般比较 tricky,过去认为有效的同步传递方式已经被搞清楚很多情况下不能收敛到合理的…

<Deep Learning>(深度学习)中文版开放下载   <Deep Learning>(深度学习)是一本皆在帮助学生和从业人员进入机器学习领域的教科书,以开源的形式免费在网络上提供, 这本书是由学界领军人物 Ian Goodfellow.Yoshua Bengio 和 Aaron Courville 合力打造. 书籍原版英文目录: Deep Learning Table of Contents Acknowledgements Notation 1 Introduction…

声明:本文转载自http://www.sigvc.org/bbs/thread-728-1-1.html,个人感觉是很好的PGM理论综述,高屋建瓴的总结了PGM的主要分支和发展趋势,特收藏于此. “概率模型与计算机视觉”林达华美国麻省理工学院(MIT)博士   上世纪60年代, Marvin Minsky 在MIT让他的本科学生 Gerald Jay Sussman用一个暑假的时间完成一个有趣的Project: “link a camera to a computer and get the c…

Machine Learning Trick of the Day (2): Gaussian Integral Trick Today's trick, the Gaussian integral trick, is one that allows us to re-express a (potentially troublesome) function in an alternative form, in particular, as an integral of a Gaussian ag…

ICLR 2014 International Conference on Learning Representations Apr 14 - 16, 2014, Banff, Canada Workshop Track Submitted Papers Stochastic Gradient Estimate Variance in Contrastive Divergence and Persistent Contrastive Divergence Mathias Berglund, Ta…

论文提出了一种联合细胞分割和跟踪方法,利用细胞segmentation proposals创建有向无环图,然后在该图中迭代地找到最短路径,为单个细胞提供分割,跟踪和事件. 3. PROPOSAL GENERATION 论文的方法的第一个阶段是proposal generation,目标是生成大量的segmentation proposals,使其具有较高的recall.segmentation proposals生成的主要步骤:首先,从背景中分割单元:第二,blob detection用于检测单…

Problems[show] Classification Clustering Regression Anomaly detection Association rules Reinforcement learning Structured prediction Feature engineering Feature learning Online learning Semi-supervised learning Unsupervised learning Learning to rank…

看到Max Welling教授主页上有不少学习notes,收藏一下吧,其最近出版了一本书呢还,还没看过. http://www.ics.uci.edu/~welling/classnotes/classnotes.html Statistical Estimation [ps]- bayesian estimation- maximum a posteriori (MAP) estimation- maximum likelihood (ML) estimation- Bias/Variance…

Deep Learning第一篇书籍最终问世了.站点链接: http://www.deeplearningbook.org/ Bengio大神的<Deep Learning>全书电子版在百度网盘下载: 链接: http://pan.baidu.com/s/1dFyiqBZ password: 63sg 另附Opencv的学习视频资料文档的分享链接: 链接: http://pan.baidu.com/s/1kVdDsoR password: s4cr 全书文件夹例如以下: Table of Co…

原文链接(系列):http://blog.csdn.net/yangliuy/article/details/8067261 概率图模型(Probabilistic Graphical Model)系列来自Stanford公开课Probabilistic Graphical Model中Daphne Koller 老师的讲解.(https://class.coursera.org/pgm-2012-002/class/index) 主要内容包括(转载请注明原始出处http://blog.csdn…