PRML Chapter3

【PRML Chapter3】的更多相关文章

曲线拟合的几种方法最大似然估计MLE,最大后验概率MAP:MLE和MAP MLE 给定一堆数据,假如我们知道它是从某一种分布中随机取出来的,可是我们并不知道这个分布具体的参,即"模型已定,参数未知".最大化: MAP 假如这个参数有一个先验概率,比如说,在抛硬币的例子中,假如我们的经验告诉我们,硬币一般都是匀称的,也就是μ=0.5的可能性最大,μ=0.2的可能性比较小,那么参数该怎么估计呢?这就是MAP要考虑的问题. MAP优化的是一个后验概率,即给定了观测值后使概率最大: 把上式根…

PRML

PRML 学习之第一章介绍 Introduction #欢迎共同学习和讨论,由于本文将不断修改,谢绝转载模式识别问题具有重要且久远的历史.比如,16世纪开普勒发现行星运动定律,又如20世纪出发现的原子光谱规律等. 模式识别领域关注通过计算机算法自动发现数据中的规律,并使用这些方法来采取行为如分类数据到不同的类别. 举个例子,识别手写数字问题,每个数字对应28*28(=784)像素.我们用向量x来表示每个像素的值,向量x的长度为784. 我们的目标是实现一个计算机算法,使其以向量x作为输入,…

PRML读书会第十四章 Combining Models（committees，Boosting，AdaBoost，决策树，条件混合模型）

主讲人网神 (新浪微博: @豆角茄子麻酱凉面) 网神(66707180) 18:57:18 大家好,今天我们讲一下第14章combining models,这一章是联合模型,通过将多个模型以某种形式结合起来,可以获得比单个模型更好的预测效果.包括这几部分:committees, 训练多个不同的模型,取其平均值作为最终预测值. boosting: 是committees的特殊形式,顺序训练L个模型,每个模型的训练依赖前一个模型的训练结果.决策树:不同模型负责输入变量的不同区间的预测,每个样本选择…

PRML读书会第十三章 Sequential Data（Hidden Markov Models，HMM）

主讲人张巍 (新浪微博: @张巍_ISCAS) 软件所-张巍<zh3f@qq.com> 19:01:27 我们开始吧,十三章是关于序列数据,现实中很多数据是有前后关系的,例如语音或者DNA序列,例子就不多举了,对于这类数据我们很自然会想到用马尔科夫链来建模: 例如直接假设观测数据之间服从一阶马尔科夫链,这个假设显然太简单了,因为很多数据时明显有高阶相关性的,一个解决方法是用高阶马尔科夫链建模: 但这样并不能完全解决问题 :1.高阶马尔科夫模型参数太多:2.数据间的相关性仍然受阶数限制.一个好…

PRML读书会第十二章 Continuous Latent Variables（PCA，Principal Component Analysis，PPCA，核PCA，Autoencoder，非线性流形）

主讲人戴玮 (新浪微博: @戴玮_CASIA) Wilbur_中博(1954123) 20:00:49 我今天讲PRML的第十二章,连续隐变量.既然有连续隐变量,一定也有离散隐变量,那么离散隐变量是什么?我们可能还记得之前尼采兄讲过的9.2节的高斯混合模型.它有一个K维二值隐变量z,不仅只能取0-1两个值,而且K维中只能有1维为1.其他维必须为0,表示我们观察到的x属于K类中的哪一类.显然,这里的隐变量z就是个离散隐变量.不过我们容易想到,隐变量未必像kmeans或GMM这种聚类算法那样,非此…

PRML读书会第十一章 Sampling Methods（MCMC， Markov Chain Monte Carlo，细致平稳条件，Metropolis-Hastings，Gibbs Sampling，Slice Sampling，Hamiltonian MCMC）

主讲人网络上的尼采 (新浪微博: @Nietzsche_复杂网络机器学习) 网络上的尼采(813394698) 9:05:00 今天的主要内容:Markov Chain Monte Carlo,Metropolis-Hastings,Gibbs Sampling,Slice Sampling,Hybrid Monte Carlo. 上一章讲到的平均场是统计物理学中常用的一种思想,将无法处理的复杂多体问题分解成可以处理的单体问题来近似,变分推断便是在平均场的假设约束下求泛函L(Q)极值的最优化…

【PRML Chapter3】的更多相关文章

PRML Chapter3

PRML

PRML读书会第十四章 Combining Models（committees，Boosting，AdaBoost，决策树，条件混合模型）

PRML读书会第十三章 Sequential Data（Hidden Markov Models，HMM）

PRML读书会第十二章 Continuous Latent Variables（PCA，Principal Component Analysis，PPCA，核PCA，Autoencoder，非线性流形）

PRML读书会第十一章 Sampling Methods（MCMC， Markov Chain Monte Carlo，细致平稳条件，Metropolis-Hastings，Gibbs Sampling，Slice Sampling，Hamiltonian MCMC）

PRML读书会第十章 Approximate Inference（近似推断，变分推断，KL散度，平均场， Mean Field ）

PRML读书会第九章 Mixture Models and EM（Kmeans，混合高斯模型，Expectation Maximization）

PRML读书会第八章 Graphical Models（贝叶斯网络，马尔科夫随机场）

PRML读书会第七章 Sparse Kernel Machines（支持向量机， support vector machine ，KKT条件，RVM）