---恢复内容开始--- 出发点 应用统计方法解决模式识别问题时,一再碰到的问题之一就是维数问题. 在低维空间里解析上或计算上行得通的方法,在高维空间里往往行不通. 因此,降低维数有时就会成为处理实际问题的关键. 问题描述 考虑把d维空间的样本投影到一条直线上,形成一维空间,即把维数压缩到一维. 然而,即使样本在d维空间里形成若干紧凑的互相分得开的集群,当把它们投影到一条直线上时,也可能会是几类样本混在一起而变得无法识别. 但是,在一般情况下,总可以找到某个方向,使在这个方向的直线上,样本的投影…

机器学习降维方法概括   版权声明:本文为博主原创文章,未经博主允许不得转载. https://blog.csdn.net/u014772862/article/details/52335970 最近刷题看到特征降维相关试题,发现自己了解的真是太少啦,只知道最简单的降维方法,这里列出了常见的降维方法,有些算法并没有详细推导.特征降维方法包括:Lasso,PCA,小波分析,LDA,奇异值分解SVD,拉普拉斯特征映射,SparseAutoEncoder,局部线性嵌入LLE,等距映射Isomap. 1…

久仰Bishop的大作“Pattern Recognition and Machine Learning”已久,在我的硬盘里已经驻扎一年有余,怎奈惧其页数浩瀚,始终未敢入手.近日看文献,屡屡引用之.不得不再翻出来准备细读一番.有条件的话也要写写读书笔记的,要不基本上也是边看边忘. 我在V盘分享了pdf: http://vdisk.weibo.com/s/oM0W7 Bishopde网页,这里可以下载PPT和程序: http://research.microsoft.com/en-us/um/pe…

今天读paper遇到了Fisher线性判别的变体, 所以来学习一下, 所以到时候一定要把PRMl刷一遍呀 以下两篇论文一起阅读比较好: 论文1: https://blog.csdn.net/Rainbow0210/article/details/52892805 在前文<贝叶斯决策理论>中已经提到,很多情况下,准确地估计概率密度模型并非易事,在特征空间维数较高和样本数量较少的情况下尤为如此. 实际上,模式识别的目的是在特征空间中设法找到两类(或多类)的分类面,估计概率密度函数并不是我们的目的.…

今天开始学模式识别与机器学习Pattern Recognition and Machine Learning (PRML),章节5.1,Neural Networks神经网络-前向网络. 话说上一次写这个笔记是13年的事情了···那时候忙着实习,找工作,毕业什么的就没写下去了,现在工作了有半年时间也算稳定了,我会继续把这个笔记写完.其实很多章节都看了,不过还没写出来,先从第5章开始吧,第2-4章比较基础,以后再补!基本是笔记+翻译,主要是自己写一下以后好翻阅. PRML第5章介绍了神经网络neu…

Bishop的<模式识别和机器学习>是该领域的经典教材,本文搜罗了有关的教程和读书笔记,供对比学习之用,主要搜索的资源包括CSDN:http://download.csdn.net/search?q=PRML  ,Memect:http://ml.memect.com/search/?q=PRML .另外就是百度和谷歌了. 1:<Pattern Recognition and Machine Learning> 作者主页 .PRML作者Christopher M. Bishop发布…

主讲人 planktonli planktonli(1027753147) 19:52:28 现在我们就开始讲第四章,第四章的内容是关于 线性分类模型,主要内容有四点:1) Fisher准则的分类,以及它和最小二乘分类的关系 (Fisher分类是最小二乘分类的特例)2) 概率生成模型的分类模型3) 概率判别模型的分类模型4) 全贝叶斯概率的Laplace近似 需要注意的是,有三种形式的贝叶斯:1) 全贝叶斯2) 经验贝叶斯3) MAP贝叶斯我们大家熟知的是 MAP贝叶斯 MAP(poor man…

声明:本文用到的代码均来自于PRTools(http://www.prtools.org)模式识别工具箱,并以matlab软件进行实验. (1)在介绍Bagging和Boosting算法之前,首先要简单了解什么是集成学习? 集成学习(Ensemble Learning)是目前模式识别与机器学习中常用的一种学习算法,是使用一系列的学习器(分类器)通过某种规则(投票法.加权投票等)将各分类器的学习结果进行融合,达到比单学习器识别效果更好地目的. 可以打一个简单的比喻,如果我们将"学习器"看…

Linear Discriminant Analysis(线性判别分类器)是对费舍尔的线性鉴别方法(FLD)的归纳,属于监督学习的方法. LDA的基本思想是将高维的模式样本投影到最佳鉴别矢量空间,以达到抽取分类信息和压缩特征空间维数的效果,投影后保证模式样本在新的子空间有最大的类间距离和最小的类内距离,即模式在该空间中有最佳的可分离性.因此,它是一种有效的特征抽取方法.使用这种方法能够使投影后模式样本的类间散布矩阵最大,并且同时类内散布矩阵最小.就是说,它能够保证投影后模式样本在新的空间中有最小…

http://blog.csdn.net/xceman1997/article/details/7955349 http://www.cnblogs.com/yuyang-DataAnalysis/archive/2012/01/31/2333760.html http://zhan.renren.com/dmeryuyang?gid=3602888497999161050&checked=true http://blog.csdn.net/yanqingan/article/details/6…