前言            以下内容是个人学习之后的感悟,转载请注明出处~ 简介 在用统计分析方法研究多变量的课题时,变量个数太多就会增加课题的复杂性.人们自然希望变量个数较少而得到的 信息较多.在很多情形,变量之间是有一定的相关关系的,当两个变量之间有一定相关关系时,可以解释为这两个变量反 映此课题的信息有一定的重叠.主成分分析是对于原先提出的所有变量,将重复的变量(关系紧密的变量)删去多余,建立 尽可能少的新变量,使得这些新变量是两两不相关的,而且这些新变量在反映课题的信息方面尽可能保持原有…

PCA 主成分分析 原理概述 用途 - 降维中最常用的手段 目标 - 提取最有价值的信息( 基于方差 ) 问题 - 降维后的数据的意义 ? 所需数学基础概念 向量的表示 基变换 协方差矩阵 协方差 优化目标 降维实例 代码实现 """ 这里假设原始数据集为矩阵 dataMat,其中每一行代表一个样本,每一列代表同一个特征(与上面的介绍稍有不同,上 面是每一列代表一个样本,每一行代表同一个特征). """ import numpy as np ##…

久仰Bishop的大作“Pattern Recognition and Machine Learning”已久,在我的硬盘里已经驻扎一年有余,怎奈惧其页数浩瀚,始终未敢入手.近日看文献,屡屡引用之.不得不再翻出来准备细读一番.有条件的话也要写写读书笔记的,要不基本上也是边看边忘. 我在V盘分享了pdf: http://vdisk.weibo.com/s/oM0W7 Bishopde网页,这里可以下载PPT和程序: http://research.microsoft.com/en-us/um/pe…

&*&:2017/6/16update,最近几天发现阅读这篇文章的朋友比较多,自己阅读发现,部分内容出现了问题,进行了更新. 一.什么是PCA:摘用一下百度百科的解释 PCA(Principal Component Analysis),主成分分析,是一种统计方法,通过正交变换将一组可能存在相关性的变量转换为一组线性不相关的变量,转换后的这组变量叫主成分. 二.PCA的用途及原理: 用途:数据降维 原理:线性映射(或线性变换),简单的来说就是将高维空间数据投影到低维空间上,那么在数据分析上,…

Bishop的<模式识别和机器学习>是该领域的经典教材,本文搜罗了有关的教程和读书笔记,供对比学习之用,主要搜索的资源包括CSDN:http://download.csdn.net/search?q=PRML  ,Memect:http://ml.memect.com/search/?q=PRML .另外就是百度和谷歌了. 1:<Pattern Recognition and Machine Learning> 作者主页 .PRML作者Christopher M. Bishop发布…

声明:本文用到的代码均来自于PRTools(http://www.prtools.org)模式识别工具箱,并以matlab软件进行实验. (1)在介绍Bagging和Boosting算法之前,首先要简单了解什么是集成学习? 集成学习(Ensemble Learning)是目前模式识别与机器学习中常用的一种学习算法,是使用一系列的学习器(分类器)通过某种规则(投票法.加权投票等)将各分类器的学习结果进行融合,达到比单学习器识别效果更好地目的. 可以打一个简单的比喻,如果我们将"学习器"看…

用PCA(主成分分析法)进行信号滤波 此文章从我之前的C博客上导入,代码什么的可以参考matlab官方帮助文档 现在网上大多是通过PCA对数据进行降维,其实PCA还有一个用处就是可以进行信号滤波.网上对此的介绍比较少,正好最近研究了一下,所以把自己的理解记录下来. 对于PCA原理的介绍网上已经有很多帖子,我比较喜欢的是这个:PCA的数学原理.文章把PCA降维定性和数学理解分析得生动且透彻,这里不再重复. 直接上干货吧,简单一个例子: 给定信号: 其中有用信号为三个频率不同且幅值相位不相同的余弦函…

今天开始学模式识别与机器学习Pattern Recognition and Machine Learning (PRML),章节5.1,Neural Networks神经网络-前向网络. 话说上一次写这个笔记是13年的事情了···那时候忙着实习,找工作,毕业什么的就没写下去了,现在工作了有半年时间也算稳定了,我会继续把这个笔记写完.其实很多章节都看了,不过还没写出来,先从第5章开始吧,第2-4章比较基础,以后再补!基本是笔记+翻译,主要是自己写一下以后好翻阅. PRML第5章介绍了神经网络neu…

机器学习(8) -- 降维 核心思想:将数据沿方差最大方向投影,数据更易于区分 简而言之:PCA算法其表现形式是降维,同时也是一种特征融合算法. 对于正交属性空间(对2维空间即为直角坐标系)中的样本点,如何用一个超平面(直线/平面的高维推广)对所有样本进行恰当的表达? 事实上,若存在这样的超平面,那么它大概应具有这样的性质: 最近重构性 : 样本点到这个超平面的距离都足够近: 最大可分性:样本点在这个超平面上的投影能尽可能分开. 一般的,将特征量从n维降到k维: 以最近重构性为目标,PCA的目标…

作者:拾毅者 出处:http://blog.csdn.net/Dream_angel_Z/article/details/50760130 Github源代码:https://github.com/csuldw/MachineLearning/tree/master/PCA PCA(principle component analysis) .主成分分析,主要是用来减少数据集的维度,然后挑选出基本的特征.原理简单,实现也简单.关于原理公式的推导,本文不会涉及,你能够參考以下的參考文献,也能够去W…