一起啃PRML - 1.2.1 Probability densities @copyright 转载请注明出处 http://www.cnblogs.com/chxer/ 我们之前一直在讨论“谁取到什么”这样的概率问题,现在我们不妨来研究“谁取到哪个范围内”这样的概率问题. x位于区间(a, b)的概率由下式给出: 由于概率是非负的,并且x的值一定位于实数轴上得某个位置,因此概率密度一定满足下面两个条件: 位于区间(−∞, z)的x的概率由累积分布函数(cumulative distribut…

一起啃PRML - 1.2 Probability Theory @copyright 转载请注明出处 http://www.cnblogs.com/chxer/ A key concept in the field of pattern recognition is that of uncertainty. 可以看出概率论在模式识别显然是非常重要的一大块. 读其他书的时候在概率这方面就也很纠结过. 我们也还是通过一个例子来理解一下Probability Theory里面一些重要的概念. Ima…

一起啃PRML - 1 Introduction @copyright 转载请注明出处 http://www.cnblogs.com/chxer/ 这一部分主要是介绍一下Pattern Recognition 和 Machine Learning. 上来就是 Recognising handwritten digits, MNIST...在一本书的Introduction里看见MNIST真是伤心的一件事. 每一个图片28*28 pixel,按照老方法放到vector里,784. 那么 Patte…

一起啃PRML - 1.2.4 The Gaussian distribution 高斯分布 正态分布 @copyright 转载请注明出处 http://www.cnblogs.com/chxer/ 我们将用整个第二章来研究各种各样的概率分布以及它们的性质.然而,在这里介绍连续变量一种最重要的概率分布是很方便的.这种分布就是正态分布(normal distribution)或者高斯分布(Gaussian distribution).在其余章节中(事实上在整本书中),我们将会经常用到这种分布.…

一起啃PRML - 1.2.3 Bayesian probabilities 贝叶斯概率 @copyright 转载请注明出处 http://www.cnblogs.com/chxer/ 这一节简单讲了最大似然. 回顾贝叶斯公式,我们可以把p(D)用积分的形式表示: 至于最大似然,我在这一章里其实并没有了解什么,那我摘一些大牛的博客吧. 这一篇我觉得至少我懂了. 最大似然法是要解决这样一个问题:给定一组数据和一个参数待定的模型,如何确定模型的参数,使得这个确定参数后的模型在所有模型中产生已知数据…

一起啃PRML - 1.2.2 Expectations and covariances 期望和协方差 @copyright 转载请注明出处 http://www.cnblogs.com/chxer/ 涉及到概率的一个重要的操作是寻找函数的加权平均值.在概率分布p(x)下,函数f(x)的平均值被称为f(x)的期望(expectation),记作E[f].对于一个离散变量,它的定义为: 因此平均值根据x的不同值的相对概率加权.在连续变量的情形下,期望以对应的概率密度的积分的形式表示: 类似的,我们…

一起啃PRML - 1.1 Example: Polynomial Curve Fitting @copyright 转载请注明出处 http://www.cnblogs.com/chxer/ 前言:真是太糟糕了,本地的公式和图片粘上来全都喂汪了... We begin by introducing a simple regression problem, 用一个例子穿起这些零碎的知识点. 回顾最前面的Mathematical Notation: A superscript T denotes…

一起啃PRML - 前言 Preface @copyright 转载请注明出处 http://www.cnblogs.com/chxer/ PRML,Pattern Recognition and Machine Learning,绝对的AI界的教科书. Christopher 的大作,曾经一直想读,却总是找不到一些固定的时间去好好的品味一下.也就对Pattern Recognition 和 Machine Learning 这块感觉总是差了一点. 哎不扯了赶紧进入正题了. Preface 有一…

2.1. Binary Variables 1. Bernoulli distribution, p(x = 1|µ) = µ 2.Binomial distribution + 3.beta distribution(Conjugate Prior of Bernoulli distribution) The parameters a and b are often called hyperparameters because they control the distribution of…

主讲人 网络上的尼采 (新浪微博: @Nietzsche_复杂网络机器学习) 网络上的尼采(813394698) 9:11:56 开始吧,先不要发言了,先讲PRML第二章Probability Distributions.今天的内容比较多,还是边思考边打字,会比较慢,大家不要着急,上午讲不完下午会接着讲. 顾名思义,PRML第二章Probability Distributions的主要内容有:伯努利分布. 二项式 –beta共轭分布.多项式分布 -狄利克雷共轭分布 .高斯分布 .频率派和贝叶斯派…