【Spectral Bounds for Sparse PCA: Exact and Greedy Algorithms[贪婪算法选特征]】的更多相关文章

Spectral Bounds for Sparse PCA: Exact and Greedy Algorithms[贪婪算法选特征]

目录 概括 Sparse PCA Formulation 非常普遍的问题 Optimality Conditions Eigenvalue Bounds 算法 代码 概括 这篇论文,不像以往的那些论文,构造优化问题,然后再求解这个问题(一般都是凸化).而是,直接选择某些特征,自然,不是瞎选的,论文给了一些理论支撑.但是,说实话,对于这个算法,我不敢苟同,我觉得好麻烦的. Sparse PCA Formulation 非常普遍的问题 Optimality Conditions 这一小节,论文给出了…

Sparse PCA: reproduction of the synthetic example

The paper: Hui Zou, Trevor Hastie, and Robert Tibshirani, Sparse Principal Component Analysis, Journal of computational and Graphical Statistics, 15(2): 265-286, 2006. Reproduction of the Synthetic Example in Section 5.2 using R programming: library(…

Deflation Methods for Sparse PCA

目录 背景 总括 Hotelling's deflation 公式 特点 Projection deflation 公式 特点 Schur complement deflation Orthogonalized projection deflation 公式 Orthogonalized Hotelling's deflation 公式 特点 背景 有很多Sparse PCA 算法运用了收缩算法,但是呢,往往只考虑如何解决,每一次迭代的稀疏化问题,而忽略了收缩算法的选择. 总括 Hotellin…

Sparse PCA 稀疏主成分分析

Sparse PCA 稀疏主成分分析 2016-12-06 16:58:38 qilin2016 阅读数 15677 文章标签: 统计学习算法 更多 分类专栏: Machine Learning   版权声明:本文为博主原创文章,遵循CC 4.0 BY-SA版权协议,转载请附上原文出处链接和本声明. 本文链接:https://blog.csdn.net/zhoudi2010/article/details/53489319 SPCA原始文献:H. Zou (2006) Sparse princi…

A direct formulation for sparse PCA using semidefinite programming

目录 背景 Sparse eigenvectors(单个向量的稀疏化) 初始问题(low-rank的思想?) 等价问题 最小化\(\lambda\) 得到下列问题(易推) 再来一个等价问题 条件放松(凸化) A robustness interpretation 收缩 关于半正定规划,回头再看看. 背景 上篇总结了一些收缩法,这篇论文就是一个示例,虽然这篇论文是在那人之前写的. Sparse eigenvectors(单个向量的稀疏化) \(A \in \mathrm{S}^{n} \right…

Sparse Filtering 学习笔记（二）好特征的刻画

  Sparse Filtering 是一个用于提取特征的无监督学习算法,与通常特征学习算法试图建模训练数据的分布的做法不同,Sparse Filtering 直接对训练数据的特征分布进行分析,在所谓"好特征"的指导下构建目标函数来进行优化,其中只涉及一个可调参数.本文将主要讨论两个问题: (1)什么样的特征是好的特征: (2)如何利用好特征的条件来构造 Sparse Filtering 的目标函数. 目录链接 (一)网络结构与特征矩阵 (二)好特征的刻画 (三)目标函数的建立和求解…

activity select problem(greedy algorithms)

many activities will use the same place, every activity ai has its'  start time si and finish time fi.let the number of activities to be as many as possible. 1. dynamic programming use ak be a knife to cut the set activities into two parts and recurs…

机器学习：PCA（人脸识别中的应用——特征脸）

一.思维理解 X:原始数据集: Wk:原始数据集 X 的前 K 个主成分: Xk:n 维的原始数据降维到 k 维后的数据集: 将原始数据集降维,就是将数据集中的每一个样本降维:X(i) . WkT = Xk(i): 在人脸识别中,X 中的每一行(一个样本)就是一张人脸信息: 思维:其实 Wk 也有 n 列,如果将 Wk 的每一行看做一个样本,则第一行代表的样本为最重要的样本,因为它最能反映 X 中数据的分布,第二行为次重要的样本:在人脸识别中,X 中的每一行是一个人脸的图像,则 Wk 的每一行也…

用scikit-learn学习主成分分析(PCA)

在主成分分析(PCA)原理总结中,我们对主成分分析(以下简称PCA)的原理做了总结,下面我们就总结下如何使用scikit-learn工具来进行PCA降维. 1. scikit-learn PCA类介绍 在scikit-learn中,与PCA相关的类都在sklearn.decomposition包中.最常用的PCA类就是sklearn.decomposition.PCA,我们下面主要也会讲解基于这个类的使用的方法. 除了PCA类以外,最常用的PCA相关类还有KernelPCA类,在原理篇我们也讲到…

主成分分析（PCA）原理总结

主成分分析(Principal components analysis,以下简称PCA)是最重要的降维方法之一.在数据压缩消除冗余和数据噪音消除等领域都有广泛的应用.一般我们提到降维最容易想到的算法就是PCA,下面我们就对PCA的原理做一个总结. 1. PCA的思想 PCA顾名思义,就是找出数据里最主要的方面,用数据里最主要的方面来代替原始数据.具体的,假如我们的数据集是n维的,共有m个数据$(x^{(1)},x^{(2)},...,x^{(m)})$.我们希望将这m个数据的维度从n维降到n'维…