主成分分析(Principal Component Analysis,简称PCA)是最常用过的一种降维方法 在引入PCA之前先提到了如何使用一个超平面对所有的样本进行恰当的表达? 即若存在这样的超平面,那么它大概应具有这样的性质: 最大可分性:样本点在这个超平面的投影尽可能分开. 最近重构性:样本点到这个超平面的距离都足够近. 从最大可分性出发,能得到主成分分析的另一种解释.样本点Χi在新空间中超平面上的投影是WTXi ,若所有样本点的投影尽可能分开,则应该使投影后样本点的方差最大化.投影后的样…

PCA主成分分析 无监督学习 使方差(数据离散量)最大,更易于分类. 可以对隐私数据PCA,数据加密. 基变换 投影->内积 基变换 正交的基,两个向量垂直(内积为0,线性无关) 先将基化成各维度下的单位向量. 一般把数据写成列向量的形式,新的基写成矩阵的形式. 基×向量 R个基向量,行向量表示.R维空间内,p1...pr.p是行向量. m个样本,m列.n个特征. 将右面矩阵内每一个列向量(样本),映射到R维空间内 原来可能有n个特征,现在变成了R个特征.m个样本: 基的选择 尽可能保留原来信息…

先简单记下,等有时间再整理 PCA 主要思想,把 协方差矩阵 对角化,协方差矩阵是实对称的.里面涉及到矩阵论的一点基础知识: 基变换: Base2 = P · Base1 相应的 坐标变换 P · coordinate2 = coordinate1 将 X 转换到 Y,Y = P · X  , X是原来的基,Y是新的基,P是过渡矩阵. 后面可以用 实对称阵的相似对角化来处理. D = Y · Y^T = P(1/m·X·X^T)P^T 讲的有点乱 直接上代码 和图吧. # -*- coding=…

 主成分分析PCA 机器学习实战之PCA test13.py #-*- coding:utf-8 import sys sys.path.append("pca.py") import pca from numpy import * dataMat = pca.loadDataSet('testSet.txt') lowDMat, reconMat, eigVals, eigVects = pca.pca(dataMat, 1) res = shape(lowDMat) print(&…

提要: 本文主要介绍了和推导了LDA和PCA,参考了这篇博客 LDA LDA的原理是,将带上标签的数据(点),通过投影的方法,投影到维度更低的空间中,使得投影后的点,会形成按类别区分,一簇一簇的情况,相同类别的点,将会在投影后的空间中更接近.要说明白LDA,首先得弄明白线性分类器(Linear Classifier):因为LDA是一种线性分类器.对于K-分类的一个分类问题,会有K个线性函数: PS 上面一大段话完全可以不看,看不懂也完全没有关系,你只要知道不同类的x,经过上面那个式子算出y(x和…

机器学习实战(Machine Learning in Action)学习笔记————09.利用PCA简化数据 关键字:PCA.主成分分析.降维作者:米仓山下时间:2018-11-15机器学习实战(Machine Learning in Action,@author: Peter Harrington)源码下载地址:https://www.manning.com/books/machine-learning-in-actiongit@github.com:pbharrin/machinelearn…

Deep Learning(深度学习)学习笔记整理系列 zouxy09@qq.com http://blog.csdn.net/zouxy09 作者:Zouxy version 1.0 2013-04-08 声明: 1)该Deep Learning的学习系列是整理自网上非常大牛和机器学习专家所无私奉献的资料的.详细引用的资料请看參考文献.详细的版本号声明也參考原文献. 2)本文仅供学术交流,非商用.所以每一部分详细的參考资料并没有详细相应.假设某部分不小心侵犯了大家的利益,还望海涵,并联系博主删…

Deep Learning(深度学习)学习笔记整理系列 zouxy09@qq.com http://blog.csdn.net/zouxy09 作者:Zouxy version 1.0 2013-04-08 声明: 1)该Deep Learning的学习系列是整理自网上很大牛和机器学习专家所无私奉献的资料的.具体引用的资料请看参考文献.具体的版本声明也参考原文献. 2)本文仅供学术交流,非商用.所以每一部分具体的参考资料并没有详细对应.如果某部分不小心侵犯了大家的利益,还望海涵,并联系博主删除.…

Deep Learning(深度学习)学习笔记整理系列 zouxy09@qq.com http://blog.csdn.net/zouxy09 作者:Zouxy version 1.0 2013-04-08 声明: 1)该Deep Learning的学习系列是整理自网上非常大牛和机器学习专家所无私奉献的资料的.详细引用的资料请看參考文献.详细的版本号声明也參考原文献. 2)本文仅供学术交流,非商用.所以每一部分详细的參考资料并没有详细相应.假设某部分不小心侵犯了大家的利益,还望海涵,并联系博主删…

在cips2016出来之前,笔者也总结过种类繁多,类似词向量的内容,自然语言处理︱简述四大类文本分析中的"词向量"(文本词特征提取)事实证明,笔者当时所写的基本跟CIPS2016一章中总结的类似,当然由于入门较晚没有CIPS2016里面说法权威,于是把CIPS2016中的内容,做一个摘录. CIPS2016 中文信息处理报告<第五章 语言表示与深度学习研究进展.现状及趋势>第三节 技术方法和研究现状中有一些关于语言表示模型划分的内容P33-P35,其中: 语言表示方法大体上…