In the present work, we propose a framework for kernel-based 2D feature extraction algorithms tailored to face recognition .     extending 2D-PCA/LDA in the following two aspects: (1)kernel technique is incorporated to capture the higher order statis…

Probabilistic PCA 在之前的文章PCA与LDA介绍中介绍了PCA的基本原理,这一部分主要在此基础上进行扩展,在PCA中引入概率的元素,具体思路是对每个数据$\vec{x}_i$,假设$\vec{x}_{i} \sim N\left(W{\vec{z}_{i}}, \sigma^{2} I\right)$,其中$\vec{z}_{i}$是一个低维向量,它的先验分布满足$\vec{z}_{i} \sim N(0, I)$,$W$以及所有的$\vec{z}_i$均是要计算的量.$\si…

先看一眼PCA与KPCA的可视化区别: 在PCA算法是怎么跟协方差矩阵/特征值/特征向量勾搭起来的?里已经推导过PCA算法的小半部分原理. 本文假设你已经知道了PCA算法的基本原理和步骤. 从原始输入空间到特征空间 普通PCA算法的输入: 训练数据集\(D={x_1, \dots, x_m}\), \(x_i \in R^n\). 目标降维维度: \(d\) 新的测试数据\(x\) Kernel PCA则需要在输入中加入一个指定的 kernel function \(\kappa\). 我们已经…

Kernel PCA 原理和演示 主成份(Principal Component Analysis)分析是降维(Dimension Reduction)的重要手段.每一个主成分都是数据在某一个方向上的投影,在不同的方向上这些数据方差Variance的大小由其特征值(eigenvalue)决定.一般我们会选取最大的几个特征值所在的特征向量(eigenvector),这些方向上的信息丰富,一般认为包含了更多我们所感兴趣的信息.当然,这里面有较强的假设:(1)特征根的大小决定了我们感兴趣信息的多少.即…

PCA与Kernel PCA介绍与对比 1. 理论介绍 PCA:是常用的提取数据的手段,其功能为提取主成分(主要信息),摒弃冗余信息(次要信息),从而得到压缩后的数据,实现维度的下降.其设想通过投影矩阵将高维信息转换到另一个坐标系下,并通过平移将数据均值变为零.PCA认为,在变换过后的数据中,在某一维度上,数据分布的更分散,则认为对数据点分布情况的解释力就更强.故在PCA中,通过方差来衡量数据样本在各个方向上投影的分布情况,进而对有效的低维方向进行选择. KernelPCA:是PCA的一个改进版…

目录 引 主要内容 Takahashi T, Kurita T. Robust De-noising by Kernel PCA[C]. international conference on artificial neural networks, 2002: 739-744. 引 这篇文章是基于对Kernel PCA and De-Noisingin Feature Spaces的一个改进. 针对高斯核: \[k(x,y) = \exp (-\|x-y\|^2/c) \] 我们希望最小化下式(…

目录 引 主要内容 Kernel PCA and De-Noisingin Feature Spaces 引 kernel PCA通过\(k(x,y)\)隐式地将样本由输入空间映射到高维空间\(F\),那么问题来了,如何回来呢,即已知\(\Phi(x) \in F\),如何找到其原像\(x\)呢?可是呢: 这个问题不一定有解,因为从低维空间往高维空间映射往往不是满射: 即便有解,这个也不一定唯一. 但是这个方面的应用还是蛮多的啊,PCA可以通过抛去一些方向(方差小的部分)来去噪声(虽然效果似乎不…

目录 引 主要内容 问题一 问题二 Lu C, Zhang T, Du X, et al. A robust kernel PCA algorithm[C]. international conference on machine learning and cybernetics, 2004: 3084-3087. 引 这篇文章的思想很简单,如何将robust 和 kernel结合起来:找出异常值,将异常值排除,再进行kernel PCA.但是实际上,并非这么容易. 首先,论文抛出了俩个问题:…

目录 引 主要内容 的选择 数值实验 矩形框 spiral 代码 Hoffmann H. Kernel PCA for novelty detection[J]. Pattern Recognition, 2007, 40(3): 863-874. 引 Novelty Detection: 给我的感觉有点像是奇异值检测,但是又不对,训练样本应该默认是好的样本.这个检测应该就是圈个范围,告诉我们在这个范围里的数据是这个类的,外面的不是这个类的,所以论文里也称之为:one-class classif…

目录 引 主要内容 关于缺失数据的导数 附录 极大似然估计 代码 Sanguinetti G, Lawrence N D. Missing data in kernel PCA[J]. european conference on machine learning, 2006: 751-758. 引 普通的kernel PCA是通过\(K\),其中\(K_{ij} = \Phi^T(y_i) \Phi(y_j)\)来获得,很显然,如果数据有缺失,就不能直接进行kernel PCA了,这篇文章所研…