1, 频率派思想 频率派思想认为概率乃事情发生的频率,概率是一固定常量,是固定不变的 2, 最大似然估计 假设有100个水果由苹果和梨混在一起,具体分配比例未知,于是你去随机抽取10次,抽到苹果标记为1, 抽到梨标记为0,每次标记之后将抽到的水果放回 最终统计的结果如下: 苹果 8次,梨2次 据此,我可以推断出苹果的比例吗? 最大似然估计看待这个问题的思路是: 1.1.0.1.1.0.1.1.1.1 每次抽样都是独立的随机过程,抽到苹果的概率为 p, 抽到梨的概率为 1 - p,那么抽到8次苹果…

最大后验估计是根据经验数据获得对难以观察的量的点估计.与最大似然估计类似,但是最大的不同时,最大后验估计的融入了要估计量的先验分布在其中.故最大后验估计可以看做规则化的最大似然估计. 首先,我们回顾上篇文章中的最大似然估计,假设x为独立同分布的采样,θ为模型参数,f为我们所使用的模型.那么最大似然估计可以表示为: 现在,假设θ的先验分布为g.通过贝叶斯理论,对于θ的后验分布如下式所示: 最后验分布的目标为: 注:最大后验估计可以看做贝叶斯估计的一种特定形式. 举例来说: 假设有五个袋子,各袋中都…

MAP:最大后验概率(Maximum a posteriori) 估计方法根据经验数据获得对难以观察的量的点估计.它与最大似然估计中的 Fisher方法有密切关系, 但是它使用了一个增大的优化目标,这种方法将被估计量的先验分布融合到其中.所以最大后验估计可以看作是规则化(regularization)的最大似然估计. [转载自]最大后验估计(MAP) - 可乐LL - 博客园 https://www.cnblogs.com/liliu/archive/2010/11/24/1886110.htm…

复习: 1.概率密度函数,密度函数,概率分布函数和累计分布函数 概率密度函数一般以大写“PDF”(Probability Density Function),也称概率分布函数,有的时候又简称概率分布函数. 而累计分布函数是概率分布函数的积分. 注意区分 从数学上看,累计分布函数F(x)=P(X<x),表示随机变量X的值小于x的概率.这个意义很容易理解. 概率密度f(x)是F(x)在x处的关于x的一阶导数,即变化率.如果在某一x附近取非常小的一个邻域Δx,那么,随机变量X落在(x, x+Δx)内的…

先明确一些潜规则: 机器学习是个collection or set of models,一切实践性强的模型都会被归纳到这个领域,没有严格的定义,’有用‘可能就是唯一的共性. 机器学习大概分为三个领域: 一般的机器学习模型:没有掺杂太多统计概念,例如决策树,KNN聚类,感知机等. 统计机器学习模型:依赖统计理论,主要是贝叶斯统计,例如SVM,naive bayesian,贝叶斯线性回归,高斯过程等. 神经网络模型:可以简单的理解为感知机的扩展,因为扩展的太猛,单独成立门派咯. 如此定义,有助于菜鸡…

1. 概率思想与归纳思想 0x1:归纳推理思想 所谓归纳推理思想,即是由某类事物的部分对象具有某些特征,推出该类事物的全部对象都具有这些特征的推理.抽象地来说,由个别事实概括出一般结论的推理称为归纳推理(简称归纳),它是推理的一种 例如:直角三角形内角和是180度:锐角三角形内角和是180度:钝角三角形内角和是180度:直角三角形,锐角三角形和钝角三角形是全部的三角形:所以,一切三角形内角和都是180度. 这个例子从直角三角形,锐角三角形和钝角三角形内角和分别都是180度这些个别性知识,推出了"…

基于贝叶斯的深度神经网络自适应及其在鲁棒自动语音识别中的应用     直接贝叶斯DNN自适应 使用高斯先验对DNN进行MAP自适应 为何贝叶斯在模型自适应中很有用? 因为自适应问题可以视为后验估计问题: 能够克服灾难性遗忘问题 在实现通用智能时,神经网络需要学习并记住多个任务,任务顺序无标注,任务会不可预期地切换,同种任务可能在很长一段时间内不会复现.当对当前任务B进行学习时,对先前任务A的知识会突然地丢失,这种现象被称为灾难性遗忘(catastrophic forgetting). DNN的M…

前言 gamma函数 0 整体把握LDA 1 gamma函数 beta分布 1 beta分布 2 Beta-Binomial 共轭 3 共轭先验分布 4 从beta分布推广到Dirichlet 分布 Dirichlet 分布 1 Dirichlet 分布 2 Dirichlet-Multinomial 共轭 主题模型LDA 1 各个基础模型 11 Unigram model 12 Mixture of unigrams model 2 PLSA模型 21 pLSA模型下生成文档 21 根据文档反…

先明确一些潜规则: 机器学习是个collection or set of models,一切实践性强的模型都会被归纳到这个领域,没有严格的定义,’有用‘可能就是唯一的共性. 机器学习大概分为三个领域: 一般的机器学习模型:没有掺杂太多统计概念,例如决策树,KNN聚类,感知机等. 统计机器学习模型:依赖统计理论,主要是贝叶斯统计,例如SVM,naive bayesian,贝叶斯线性回归,高斯过程等. 神经网络模型:可以简单的理解为感知机的扩展,因为扩展的太猛,单独成立门派咯. 如此定义,有助于菜鸡…

0 前言 看完前面几篇简单的文章后,思路还是不清晰了,但是稍微理解了LDA,下面@Hcy开始详细进入boss篇.其中文章可以分为下述5个步骤: 一个函数:gamma函数 四个分布:二项分布.多项分布.beta分布.Dirichlet分布 一个概念和一个理念:共轭先验和贝叶斯框架 两个模型:pLSA.LDA(在本文第4 部分阐述) 一个采样:Gibbs采样 本文便按照上述5个步骤来阐述,希望读者看完本文后,能对LDA有个尽量清晰完整的了解.同时,本文基于邹博讲LDA的PPT.rickjin的LDA…