线性模型之LDA和PCA推导

【线性模型之LDA和PCA推导】的更多相关文章

线性模型之LDA和PCA推导

线性模型之LDA和PCA 线性判别分析LDA LDA是一种无监督学习的降维技术. 思想:投影后类内方差最小,类间方差最大,即期望同类实例投影后的协方差尽可能小,异类实例的投影后的类中心距离尽量大. 二分类推导给定数据集$D=\{(x_i,y_i)\}_{i=1}^m$,令$X_i,\mu_i,\sum_i$分别表示第$i\in \{0,1\}$类实例的集合,均值,和协方差矩阵则两类样本中心点在$w$方向直线的投影分别为$w^Tu_0,w^Tu_1$:若将所有的样本点都投影…

LDA和PCA降维的原理和区别

LDA算法的主要优点有: 在降维过程中可以使用类别的先验知识经验,而像PCA这样的无监督学习则无法使用类别先验知识. LDA在样本分类信息依赖均值而不是方差的时候,比PCA之类的算法较优. LDA算法的主要缺点有: LDA不适合对非高斯分布样本进行降维,PCA也有这个问题. LDA降维最多降到类别数k-1的维数,如果我们降维的维度大于k-1,则不能使用LDA.当然目前有一些LDA的进化版算法可以绕过这个问题. LDA在样本分类信息依赖方差而不是均值的时候,降维效果不好. LDA可能过度拟合数据…

无监督LDA、PCA、k-means三种方法之间的的联系及推导

$LDA$是一种比较常见的有监督分类方法,常用于降维和分类任务中:而$PCA$是一种无监督降维技术:$k$-means则是一种在聚类任务中应用非常广泛的数据预处理方法. 本文的主要写作出发点是:探讨无监督情况下,$LDA$的类内散度矩阵和类间散度矩阵与$PCA$和$k$-means之间的联系. 1.常规有监督$LDA$的基本原理: (1) $LDA$的目标函数: 关于$LDA$的产生及理论推导,大家参考:"线性判别分析LDA原理总结&qu…

LDA和PCA

LDA: LDA的全称是Linear Discriminant Analysis(线性判别分析),是一种supervised learning.有些资料上也称为是Fisher's Linear Discriminant,因为它被Ronald Fisher发明自1936年,Discriminant这次词我个人的理解是,一个模型,不需要去通过概率的方法来训练.预测数据,比如说各种贝叶斯方法,就需要获取数据的先验.后验概率等等.LDA是在目前机器学习.数据挖掘领域经典且热门的一个算法,据我所知,百度的…

机器学习（十六）— LDA和PCA降维

一.LDA算法基本思想:LDA是一种监督学习的降维技术,也就是说它的数据集的每个样本是有类别输出的.这点和PCA不同.PCA是不考虑样本类别输出的无监督降维技术. 我们要将数据在低维度上进行投影,投影后希望每一种类别数据的投影点尽可能的接近,而不同类别的数据的类别中心之间的距离尽可能的大. 浅显来讲,LDA方法的考虑是,对于一个多类别的分类问题,想要把它们映射到一个低维空间,如一维空间从而达到降维的目的,我们希望映射之后的数据间,两个类别之间“离得越远”,且类别内的数据点之间“离得越近”,这样…

【主成份分析】PCA推导

### 主成份分析(Pricipal components analysis PCA) 假设空间$R^{n}$中有m个点{$x^{1},......,x^{n}$},希望压缩,对每个$x^{i}$都有一个向量$c^{i} \in R^{l}$,并且l < m(所以才压缩.).所以需要找到一个编码函数f(x) = c 和一个解码函数$g(c) \approx x$. 在PCA中我们用矩阵乘法作为解码器$ g(c) = Dc ,D \in R^{n \times l}$,约定D中所有列向量都有单位范…