一起啃PRML - 1.1 Example: Polynomial Curve Fitting @copyright 转载请注明出处 http://www.cnblogs.com/chxer/ 前言:真是太糟糕了,本地的公式和图片粘上来全都喂汪了... We begin by introducing a simple regression problem, 用一个例子穿起这些零碎的知识点. 回顾最前面的Mathematical Notation: A superscript T denotes…

http://blog.csdn.net/pipisorry/article/details/49804441 常见的曲线拟合方法 1.使偏差绝对值之和最小 2.使偏差绝对值最大的最小       3.使偏差平方和最小 按偏差平方和最小的原则选取拟合曲线,并且采取二项式方程为拟合曲线的方法,称为最小二乘法. 皮皮blog 多项式拟合 多项式拟合公式 多项式阶数对数据拟合的影响 数据量较少,阶数过高,可能过拟合. 多项式拟合问题描述 假定给定一个训练数据集: 其中,是输入的观测值,是相应的输出y的…

书中给出了一个典型的曲线拟合的例子,给定一定量的x以及对应的t值,要你判断新的x对应的t值多少. 任务就是要我们去发现潜在的曲线方程:sin(2πx) 这时就需要概率论的帮忙,对于这种不确定给t赋何值的情况,它可以通过一种精确和量化的方式来提供一种框架, 而对于决策理论,为了根据适当的度量方式来获取最优的预测,它允许我们挖掘一种概率模型. 下面对于上面的例子展开讨论: 假设曲线的多项式方程为: 系数怎么求? 通过把多项式去拟合训练数据,我们需要设定一个error function,通过最小化这个…

啊啊啊,竟然不支持latex,竟然HTML代码不能包含javascript,代码编辑器也不支持Matlab!!!我要吐槽博客的编辑器...T_T只能贴图凑合看了,代码不是图,但这次为了省脑细胞,写的不简洁,凑合看吧... numPoints = ; lnlambda = [-Inf - ]; M = ; % [, , , ]; x = linspace(,); % gt data for plotting t = sin(*pi*x); ttest = t + normrnd(,0.2, siz…

一起啃PRML - 1 Introduction @copyright 转载请注明出处 http://www.cnblogs.com/chxer/ 这一部分主要是介绍一下Pattern Recognition 和 Machine Learning. 上来就是 Recognising handwritten digits, MNIST...在一本书的Introduction里看见MNIST真是伤心的一件事. 每一个图片28*28 pixel,按照老方法放到vector里,784. 那么 Patte…

一起啃PRML - 1.2.4 The Gaussian distribution 高斯分布 正态分布 @copyright 转载请注明出处 http://www.cnblogs.com/chxer/ 我们将用整个第二章来研究各种各样的概率分布以及它们的性质.然而,在这里介绍连续变量一种最重要的概率分布是很方便的.这种分布就是正态分布(normal distribution)或者高斯分布(Gaussian distribution).在其余章节中(事实上在整本书中),我们将会经常用到这种分布.…

一起啃PRML - 1.2.3 Bayesian probabilities 贝叶斯概率 @copyright 转载请注明出处 http://www.cnblogs.com/chxer/ 这一节简单讲了最大似然. 回顾贝叶斯公式,我们可以把p(D)用积分的形式表示: 至于最大似然,我在这一章里其实并没有了解什么,那我摘一些大牛的博客吧. 这一篇我觉得至少我懂了. 最大似然法是要解决这样一个问题:给定一组数据和一个参数待定的模型,如何确定模型的参数,使得这个确定参数后的模型在所有模型中产生已知数据…

一起啃PRML - 1.2.2 Expectations and covariances 期望和协方差 @copyright 转载请注明出处 http://www.cnblogs.com/chxer/ 涉及到概率的一个重要的操作是寻找函数的加权平均值.在概率分布p(x)下,函数f(x)的平均值被称为f(x)的期望(expectation),记作E[f].对于一个离散变量,它的定义为: 因此平均值根据x的不同值的相对概率加权.在连续变量的情形下,期望以对应的概率密度的积分的形式表示: 类似的,我们…

一起啃PRML - 1.2.1 Probability densities @copyright 转载请注明出处 http://www.cnblogs.com/chxer/ 我们之前一直在讨论“谁取到什么”这样的概率问题,现在我们不妨来研究“谁取到哪个范围内”这样的概率问题. x位于区间(a, b)的概率由下式给出: 由于概率是非负的,并且x的值一定位于实数轴上得某个位置,因此概率密度一定满足下面两个条件: 位于区间(−∞, z)的x的概率由累积分布函数(cumulative distribut…

一起啃PRML - 1.2 Probability Theory @copyright 转载请注明出处 http://www.cnblogs.com/chxer/ A key concept in the field of pattern recognition is that of uncertainty. 可以看出概率论在模式识别显然是非常重要的一大块. 读其他书的时候在概率这方面就也很纠结过. 我们也还是通过一个例子来理解一下Probability Theory里面一些重要的概念. Ima…