一.How to construct the dependency? 1.首字母即随机变量名称 2.I->G是更加复杂的模型,但Bayes里不考虑,因为Bayes只是无环图. 3.CPD = conditional probability distribution.图中的每一个点都是一个CPD,这里5个点,就有五个CPD. 二.Chain Rule for Bayesian Neatworks 将整个Bayes网络的所有节点所构成的联合概率(Joint probability)利用链式法则(ch…

一.PGM用来做什么 1.  医学诊断:从各种病症分析病人得了什么病,该用什么手段治疗 2.  图像分割:从一张百万像素级的图片中分析每个像素点对应的是什么东西 两个共同点:(1)有非常多不同的输入变量:(2)对于算法而言,结果都是不确定的 二.PGM各代表什么 1.  Models 2.  Probabilistic (1)概率:设计model即是为了分析一些不确定的东西(uncertainty) (2)Uncertainty的来源: (3)概率在模型表达上的优势 3.  Graphical…

一.什么是factors? 类似于function,将一个自变量空间投影到新空间.这个自变量空间叫做scope. 二.例子 如概率论中的联合分布,就是将不同变量值的组合映射到一个概率,概率和为1. 三.几种操作(factor operation)的介绍 1.乘积 2.边缘化 3.缩减 四.总结(为何引入factor?) 1.对于定义高维空间的分布具有关键意义: 2.包括了概率分布的基本操作.…

目录 Probabilistic Graphical Models Statistical and Algorithmic Foundations of Deep Learning 01 An overview of DL components Historical remarks: early days of neural networks Reverse-mode automatic differentiation (aka backpropagation) Modern building…

ON THE EVOLUTION OF MACHINE LEARNING: FROM LINEAR MODELS TO NEURAL NETWORKS We recently interviewed Reza Zadeh (@Reza_Zadeh). Reza is a Consulting Professor in the Institute for Computational and Mathematical Engineering at Stanford University and a…

http://innopac.lib.tsinghua.edu.cn/search~S1*chx?/YProbabilistic+Graphical+Models&searchscope=1&SORT=DZ/YProbabilistic+Graphical+Models&searchscope=1&SORT=DZ&SUBKEY=Probabilistic+Graphical+Models/1,143,143,B/frameset&FF=YProbabilis…

本篇博客是Daphne Koller课程Probabilistic Graphical Models(PGM)的学习笔记. 概率图模型是一类用图形模式表达基于概率相关关系的模型的总称.概率图模型共分为三个部分,分别为表示理论,推理理论和学习理论.基本的概率图模型包括贝叶斯网络.马尔科夫网络和隐马尔科夫网络. Student Example 一个学生,拥有成绩.课程难度.智力.SAT的分.推荐信等变量. 通过一张图可以把这些变量的关系表示出来,可以想象成绩由课程难度和智力决定,SAT成绩由智力决定…

Software for drawing bayesian networks (graphical models) 这里需要调用 latex 中的绘图库:TikZ and PGF. 注意,下述 tex 代码使用 pdflatex (不是 pdflex)进行编译. \documentclass[11pt]{report} \usepackage{tikz} \usetikzlibrary{fit,positioning} \begin{document} \begin{figure} \cente…

在实际应用中,一般会选择将数据集划分为训练集(training set).验证集(validation set)和测试集(testing set).其中,训练集用于训练模型,验证集用于调参.算法选择等,而测试集则在最后用于模型的整体性能评估. 1. 留出法 (Hold-out) 将数据集D划分为2个互斥子集,其中一个作为训练集S,另一个作为测试集T,即有: D = S ∪ T, S ∩ T = ∅ 用训练集S训练模型,再用测试集T评估误差,作为泛化误差估计. 特点:单次使用留出法得到的估计结果往…

回归任务 多变量线性回归 公式 h为假设,theta为模型参数(代表了特征的权重),x为特征的值 参数更新 梯度下降算法 影响梯度下降算法的因素 (1)加速梯度下降:通过让每一个输入值大致在相同的范围可以加速梯度下降,因为theta在x的范围比较小的时候收敛更快, x的范围不平整时收敛慢且会发生震荡.即对变量进行标准化处理,方法为减均值,除标准差 (2)学习速率:alpha太小,能收敛但速度太慢:alpha太大不能保证每一步都会使代价函数下降,且可能会导致不收敛 改善特征和假设函数的方法--多项…