Preface 模式识别这个词,以前一直不懂是什么意思,直到今年初,才开始打算读这本广为推荐的书,初步了解到,它的大致意思是从数据中发现特征,规律,属于机器学习的一个分支. 在前言中,阐述了什么是模式识别之后,立刻就提到了贝叶斯方法,感觉贝叶斯方法在模式识别中有一个特别重要的位置.至于为什么,我现在还没体会到. 随后又提到了几个术语:approximate inference algorithms.variational Bayes.expectation propagation,以及model…

其实今天只花了一点点时间来学习这本书, 如果模型的参数过多,而训练数据又不足够多的话,就会出现overfitting. overfitting可以通过regularization来解决,贝叶斯方法也可以避免overfitting的出现,实际上在贝叶斯模型里,模型的有效参数数量会自动地根据训练数据集大小来确定. regularization的思想是,对误差函数加入惩罚项,使得系数不会很大.在李宏毅视频中,也讲了这个问题,但是每太理解和明白. 模型的复杂程度应该由要解决的问题的复杂度来决定,而不是测…

用一个例子来讲述regression. 采用sin(2*pi*x)加入微弱的正态分布噪声的方式来获得一些数据,然后用多项式模型来进行拟合. 在评价模型的准确性时,采用了误差函数的方式,用根均方误差的方式来表示误差函数. 很明显,如果模型选错了,无论你怎么拟合,都不可能找到合适的结果.所以,当你面对一堆数据的时候,到底该怎么选择模型呢?(好像台大李宏毅的视频里面讲了,选择模型需要对应的行业领域知识). 文中还提到了,训练数据的数量和模型参数数量的关系问题,一种观点认为训练数据集的数据量不应该小于模…

读书会成立属于偶然,一次群里无聊到极点,有人说Pattern Recognition And Machine Learning这本书不错,加之有好友之前推荐过,便发了封群邮件组织这个读书会,采用轮流讲课的方式,如果任务能分配下去就把读书会当作群员的福利开始进行,分配不下去就算了.后来我的几位好友:网神兄.戴玮博士.张巍博士.planktonli老师.常象宇博士纷纷出来支持这个读书会.待任务分配完,设置好主持人和机动队员,我认为就不需要再参与了,但进行不久,也充当机动队员讲了第二.六.九.十一章,…

前言 鉴于机器学习产生自计算机科学,模式识别却起源于工程学.然而,这些活动能被看做同一个领域的两个方面,并且他们同时在这过去的十年间经历了本质上的发展.特别是,当图像模型已经作为一个用来描述和应用概率模型的框架出现时,贝叶斯定理(Bayesian methods)就已经从一个专家级别的知识范畴发展成为主流.通过一系列近似算法推论,例如变分贝叶斯和期望传播(variational Bayes and expectation propagation),贝叶斯定理的实际适用范围也已经大幅度的提高.与此…

不断更新ing......... p141 para 1. 当一个x对应的t值不止一个时,Gaussian nosie assumption就不合适了.因为Gaussian 是unimodal的,这意味着一个x只能对应一个t. p143 section 3.1.2. 解释下本节的一些难懂的细节.首先,作者假设存在一个 N 维的space, 而\(\mathbf{t}\)的每个元素相当于在此space的坐标轴下的系数,所以N维的\(\mathbf{t}\)位于此space中,而且N维的\(\mat…

转载请注明出处:http://www.cnblogs.com/xbinworld/p/4265530.html 这一篇是整个第五章的精华了,会重点介绍一下Neural Networks的训练方法——反向传播算法(backpropagation,BP),这个算法提出到现在近30年时间都没什么变化,可谓极其经典.也是deep learning的基石之一.还是老样子,下文基本是阅读笔记(句子翻译+自己理解),把书里的内容梳理一遍,也不为什么目的,记下来以后自己可以翻阅用. 5.2 Network Tr…

By Yunduan Cui 这是我自己的PRML学习笔记,目前持续更新中. 第二章 Probability Distributions 概率分布 本章介绍了书中要用到的概率分布模型,是之后章节的基础.已知一个有限集合 \(\{x_{1}, x_{2},..., x_{n}\}\), 概率分布是用来建立一个模型:\(p(x)\). 这一问题又称作密度估计( density estimation ). 主要内容 1. Binomial and Multinomial distributions 面…

话说上一次写这个笔记是13年的事情了···那时候忙着实习,找工作,毕业什么的就没写下去了,现在工作了有半年时间也算稳定了,我会继续把这个笔记写完.其实很多章节都看了,不过还没写出来,先从第5章开始吧,第2-4章比较基础,以后再补! 第5章 Neural Networks 在第3章和第4章,我们已经学过线性的回归和分类模型,这些模型由固定的基函数(basis functions)的线性组合组成.这样的模型具有有用的解析和计算特性,但是因为维度灾难(the curse of dimensionali…

模式识别(PR)领域:     关注的是利⽤计算机算法⾃动发现数据中的规律,以及使⽤这些规律采取将数据分类等⾏动. 聚类:目标是发现数据中相似样本的分组. 反馈学习:是在给定的条件下,找到合适的动作,使得奖励达到最大值.  其一个通用的特征是:探索(exploration)和利用(exploitation)的折中. PRML三个重要工具: 1.概率论: 2.决策论: 3.信息论.…