一.PGM用来做什么 1.  医学诊断:从各种病症分析病人得了什么病,该用什么手段治疗 2.  图像分割:从一张百万像素级的图片中分析每个像素点对应的是什么东西 两个共同点:(1)有非常多不同的输入变量:(2)对于算法而言,结果都是不确定的 二.PGM各代表什么 1.  Models 2.  Probabilistic (1)概率:设计model即是为了分析一些不确定的东西(uncertainty) (2)Uncertainty的来源: (3)概率在模型表达上的优势 3.  Graphical…

一.什么是factors? 类似于function,将一个自变量空间投影到新空间.这个自变量空间叫做scope. 二.例子 如概率论中的联合分布,就是将不同变量值的组合映射到一个概率,概率和为1. 三.几种操作(factor operation)的介绍 1.乘积 2.边缘化 3.缩减 四.总结(为何引入factor?) 1.对于定义高维空间的分布具有关键意义: 2.包括了概率分布的基本操作.…

一.How to construct the dependency? 1.首字母即随机变量名称 2.I->G是更加复杂的模型,但Bayes里不考虑,因为Bayes只是无环图. 3.CPD = conditional probability distribution.图中的每一个点都是一个CPD,这里5个点,就有五个CPD. 二.Chain Rule for Bayesian Neatworks 将整个Bayes网络的所有节点所构成的联合概率(Joint probability)利用链式法则(ch…

目录 Probabilistic Graphical Models Statistical and Algorithmic Foundations of Deep Learning 01 An overview of DL components Historical remarks: early days of neural networks Reverse-mode automatic differentiation (aka backpropagation) Modern building…

http://innopac.lib.tsinghua.edu.cn/search~S1*chx?/YProbabilistic+Graphical+Models&searchscope=1&SORT=DZ/YProbabilistic+Graphical+Models&searchscope=1&SORT=DZ&SUBKEY=Probabilistic+Graphical+Models/1,143,143,B/frameset&FF=YProbabilis…

ON THE EVOLUTION OF MACHINE LEARNING: FROM LINEAR MODELS TO NEURAL NETWORKS We recently interviewed Reza Zadeh (@Reza_Zadeh). Reza is a Consulting Professor in the Institute for Computational and Mathematical Engineering at Stanford University and a…

本篇博客是Daphne Koller课程Probabilistic Graphical Models(PGM)的学习笔记. 概率图模型是一类用图形模式表达基于概率相关关系的模型的总称.概率图模型共分为三个部分,分别为表示理论,推理理论和学习理论.基本的概率图模型包括贝叶斯网络.马尔科夫网络和隐马尔科夫网络. Student Example 一个学生,拥有成绩.课程难度.智力.SAT的分.推荐信等变量. 通过一张图可以把这些变量的关系表示出来,可以想象成绩由课程难度和智力决定,SAT成绩由智力决定…

Machine Learning Algorithms Study Notes 高雪松 @雪松Cedro Microsoft MVP 目 录 1    Introduction    1 1.1    What is Machine Learning    1 1.2    学习心得和笔记的框架    1 2    Supervised Learning    3 2.1    Perceptron Learning Algorithm (PLA)    3 2.1.1    PLA -- "知…

Software for drawing bayesian networks (graphical models) 这里需要调用 latex 中的绘图库:TikZ and PGF. 注意,下述 tex 代码使用 pdflatex (不是 pdflex)进行编译. \documentclass[11pt]{report} \usepackage{tikz} \usetikzlibrary{fit,positioning} \begin{document} \begin{figure} \cente…

昨天总结了深度学习的资料,今天把机器学习的资料也总结一下(友情提示:有些网站需要"科学上网"^_^) 推荐几本好书: 1.Pattern Recognition and Machine Learning (by Hastie, Tibshirani, and Friedman's ) 2.Elements of Statistical Learning(by Bishop's) 这两本是英文的,但是非常全,第一本需要有一定的数学基础,第可以先看第二本.如果看英文觉得吃力,推荐看一下下面…