概率分布(Distributions) 如图1所看到的,这是最简单的联合分布案例,姑且称之为学生模型. 图1 当中包括3个变量.各自是:I(学生智力,有0和1两个状态).D(试卷难度,有0和1两个状态).G(成绩等级,有1.2.3三个状态). 表中就是概率的联合分布了,表中随便去掉全部包括某个值的行.就能对分布表进行缩减. 比如能够去掉全部G不为1的行.这样就仅仅剩下了1.4.7.10行,这样他们的概率之和就不为1了,所以能够又一次标准化(Renormalization).如图2所看到的. wa…

原文链接(系列):http://blog.csdn.net/yangliuy/article/details/8067261 概率图模型(Probabilistic Graphical Model)系列来自Stanford公开课Probabilistic Graphical Model中Daphne Koller 老师的讲解.(https://class.coursera.org/pgm-2012-002/class/index) 主要内容包括(转载请注明原始出处http://blog.csdn…

[ML学习笔记] 朴素贝叶斯算法(Naive Bayesian) 贝叶斯公式 \[P(A\mid B) = \frac{P(B\mid A)P(A)}{P(B)}\] 我们把P(A)称为"先验概率"(Prior probability),即在B事件发生之前,对A事件概率的一个判断.P(A|B)称为"后验概率"(Posterior probability),即在B事件发生之后,对A事件概率的重新评估.P(B|A)/P(B)称为"可能性函数"(Lik…

一.一些概念 互信息: 两个随机变量x和Y的互信息,定义X, Y的联合分布和独立分布乘积的相对熵. 贝叶斯公式: 贝叶斯带来的思考: 给定某些样本D,在这些样本中计算某结论出现的概率,即 给定样本D 所以可以推出,再假定p(Ai)相等,可以推出,这个就是最大似然估计做的事情,看下取哪个参数的时候,D出现的概率最大,最大似然估计其实假定了任何参数被取到的概率都是一样的. 二.贝叶斯网络 随机变量之间并不是独立,而是存在复杂的网络关系.贝叶斯网络又称为有向无环图模型,是一个概率图模型(PGM),根据…

贝叶斯决决策论       在所有相关概率都理想的情况下,贝叶斯决策论考虑基于这些概率和误判损失来选择最优标记,基本思想如下: (1)已知先验概率和类条件概率密度(似然) (2)利用贝叶斯转化为后验概率 (3)根据后验概率的大小进行决策分类 1.风险最小化 风险:根据后验概率可以获得将样本分为某类所产生的期望损失,即在该样本上的“条件风险”. 目的:寻找最小化总体风险,只需在每个样本上选择能使条件风险最小的类标记 2.决策风险最小化---后验概率最大化 获得后验概率有两种方法,机器学习也因为这两…

之前忘记强调了一个重要差别:条件概率链式法则和贝叶斯网络链式法则的差别 条件概率链式法则 贝叶斯网络链式法则,如图1 图1 乍一看非常easy认为贝叶斯网络链式法则不就是大家曾经学的链式法则么,事实上不然,后面详述. 上一讲谈到了概率分布的因式分解 \begin{array}{l}P\left({X,Y\left| Z \right.} \right) = P\left( {X\left| Z \right.} \right)P\left({Y\left| Z \right.} \right)\…

之前忘记强调重要的差异:链式法则的条件概率和贝叶斯网络的链式法则之间的差异 条件概率链式法则 P\left({D,I,G,S,L} \right) = P\left( D \right)P\left( {I\left| D \right.}\right)P\left( {G\left| {D,I} \right.} \right)P\left( {S\left| {D,I,G} \right.}\right)P\left( {L\left| {D,I,G,S} \right.} \right)"…

前言: 这是coursera课程:Probabilistic Graphical Models上的第二个实验,主要是用贝叶斯网络对基因遗传问题进行一些计算.具体实验内容可参考实验指导教材:bayes network for genetic inheritance. 大家可以去上面的链接去下载实验材料和stard code,如实验内容有难以理解的地方,欢迎私底下讨论.下面是随便写的一些笔记. 完成该实验需要了解一些遗传方面的简单知识,可参考:Introduction to heredity(基因遗…

概率图模型是图论与概率方法的结合产物.Probabilistic graphical models are a joint probability distribution defined over a graph,概率图模型是定义在一副图上的联合概率分布(joint probability distribution). 图模型分为两种: 有向图(directed graphs):bayesian networks 无向图(undirected graphs):Markov random fie…

废话:和上一次的文章确实隔了太久,希望趁暑期打酱油的时间,将之前学习的东西深入理解一下,同时尝试用Python写相关的机器学习代码. 一 PGM模型的分类 通过上一篇文章的介绍,相信大家对PGM的定义和大致应用场景有了粗略的了解.那么接下来我们来深入了解下PGM. 首先要介绍的是Probabilistic models(概率模型),常用来描述不同的随机变量之前的关系,主要针对变量或变量间的相互不确定性的概率关系建模.总的来说,概率模型分为两类: 一类是参数模型-可以用有限个参数进行准确定义 参数…