Sparse PCA 稀疏主成分分析 2016-12-06 16:58:38 qilin2016 阅读数 15677 文章标签: 统计学习算法 更多 分类专栏: Machine Learning   版权声明:本文为博主原创文章,遵循CC 4.0 BY-SA版权协议,转载请附上原文出处链接和本声明. 本文链接:https://blog.csdn.net/zhoudi2010/article/details/53489319 SPCA原始文献:H. Zou (2006) Sparse princi…

不多说,直接上干货! 复杂降维技术有spare-PCA和sparse coding. 最近在科研需要,感谢下面的博主. Sparse PCA 稀疏主成分分析…

目录 背景 总括 Hotelling's deflation 公式 特点 Projection deflation 公式 特点 Schur complement deflation Orthogonalized projection deflation 公式 Orthogonalized Hotelling's deflation 公式 特点 背景 有很多Sparse PCA 算法运用了收缩算法,但是呢,往往只考虑如何解决,每一次迭代的稀疏化问题,而忽略了收缩算法的选择. 总括 Hotellin…

目录 概括 Sparse PCA Formulation 非常普遍的问题 Optimality Conditions Eigenvalue Bounds 算法 代码 概括 这篇论文,不像以往的那些论文,构造优化问题,然后再求解这个问题(一般都是凸化).而是,直接选择某些特征,自然,不是瞎选的,论文给了一些理论支撑.但是,说实话,对于这个算法,我不敢苟同,我觉得好麻烦的. Sparse PCA Formulation 非常普遍的问题 Optimality Conditions 这一小节,论文给出了…

Sparse File(稀疏文件)不是SQL Server的特性.它属于Windows的NTFS文件系统的一个特性.如果某个大文件中的数据包含着大量“0数据”(这个应该从二进制上看),这样的文件就可以被称之为稀疏文件.如果从二维图上看这个文件你会发现文件就像很多很多洞一样,这就是“稀疏”的由来.这种文件造成的问题是空间浪费.比如说如果你现在用VMWare Workstatation创建了一个虚拟机,初始化磁盘大小为40G,VM必然会为虚拟机生成一个或者多个.vmdk文件.如果文件系统真的分配40…

The paper: Hui Zou, Trevor Hastie, and Robert Tibshirani, Sparse Principal Component Analysis, Journal of computational and Graphical Statistics, 15(2): 265-286, 2006. Reproduction of the Synthetic Example in Section 5.2 using R programming: library(…

稀疏表示 分为 2个过程:1. 获得字典(训练优化字典:直接给出字典),其中字典学习又分为2个步骤:Sparse Coding和Dictionary Update:2. 用得到超完备字典后,对测试数据进行稀疏编码Sparse Coding,求出稀疏矩阵. 1. 训练字典的方法:MOD,K-SVD,Online ... MOD (Method of Optimal Direction): Sparse Coding其采用的方法是OMP贪婪算法; Dictionary Update采用的是最小二乘法…

最近在看sparse and redundant representations这本书,进度比较慢,不过力争看过的都懂,不把时间浪费掉.才看完了不到3页吧,书上基本给出了稀疏表达的概念以及传统的求法.我也用书中的例子来引入吧. 1:矩阵A(n*m),其中n远远小于m,一副图片经过缩小或者模糊处理导致该图片所占用的空间变小了,此时用向量b来表示,A表示图片所经过的处理,X代表原图片,那么这个就可以表示成为: Ax=b 2:因为A是欠定的,一般情况下x的解有很多种,而我们要的是那种最稀疏的x.个人理…

目录 背景 Sparse eigenvectors(单个向量的稀疏化) 初始问题(low-rank的思想?) 等价问题 最小化\(\lambda\) 得到下列问题(易推) 再来一个等价问题 条件放松(凸化) A robustness interpretation 收缩 关于半正定规划,回头再看看. 背景 上篇总结了一些收缩法,这篇论文就是一个示例,虽然这篇论文是在那人之前写的. Sparse eigenvectors(单个向量的稀疏化) \(A \in \mathrm{S}^{n} \right…

一.简介 PCA(Principal Components Analysis)即主成分分析,是图像处理中经常用到的降维方法,大家知道,我们在处理有关数字图像处理方面的问题时,比如经常用的图像的查询问题,在一个几万或者几百万甚至更大的数据库中查询一幅相近的图像.这时,我们通常的方法是对图像库中的图片提取响应的特征,如颜色,纹理,sift,surf,vlad等等特征,然后将其保存,建立响应的数据索引,然后对要查询的图像提取相应的特征,与数据库中的图像特征对比,找出与之最近的图片.这里,如果我们为了提…