其实topographic independent component analysis 早在1999年由ICA的发明人等人就提出了,所以不算是个新技术,ICA是在1982年首先在一个神经生理学的背景下提出的,而且在1980年前后大家都在忙着研究BP,所以对ICA研究的人都不多,在1990年前后才大量的爆发关于ICA的研究,现在ICA已经较为成熟和完善了.ICA的开始是假设成分间互相独立,但是却有些的确不独立,所以还是需要对这些成分进行分析,现在发现这个是因为在eccv 12年中看到有人用这个,…

本文简单整理了以下内容: (一)维数灾难 (二)特征提取--线性方法 1. 主成分分析PCA 2. 独立成分分析ICA 3. 线性判别分析LDA (一)维数灾难(Curse of dimensionality) 维数灾难就是说当样本的维数增加时,若要保持与低维情形下相同的样本密度,所需要的样本数指数型增长.从下面的图可以直观体会一下.当维度很大样本数量少时,无法通过它们学习到有价值的知识:所以需要降维,一方面在损失的信息量可以接受的情况下获得数据的低维表示,增加样本的密度:另一方面也可以达到去噪…

机器学习(8) -- 降维 核心思想:将数据沿方差最大方向投影,数据更易于区分 简而言之:PCA算法其表现形式是降维,同时也是一种特征融合算法. 对于正交属性空间(对2维空间即为直角坐标系)中的样本点,如何用一个超平面(直线/平面的高维推广)对所有样本进行恰当的表达? 事实上,若存在这样的超平面,那么它大概应具有这样的性质: 最近重构性 : 样本点到这个超平面的距离都足够近: 最大可分性:样本点在这个超平面上的投影能尽可能分开. 一般的,将特征量从n维降到k维: 以最近重构性为目标,PCA的目标…

介绍 独立成分分析(ICA,Independent Component Correlation Algorithm)简介 X=AS X为n维观测信号矢量,S为独立的m(m<=n)维未知源信号矢量,矩阵A被称为混合矩阵. ICA的目的就是寻找解混矩阵W(A的逆矩阵),然后对X进行线性变换,得到输出向量U. U=WX=WAS 过程 编辑 (1)对输入数据进行中心化和白化预处理 X*=X-u 经过白化变换后的样本数据为 Z=Wz X* (2)从白化样本中求解出解混矩阵W 通过优化目标函数的方法得到W…

独立成分分析(Independent component analysis) 前言 独立成分分析ICA是一个在多领域被应用的基础算法.ICA是一个不定问题,没有确定解,所以存在各种不同先验假定下的求解算法.相比其他技术,ICA的开源代码不是很多,且存在黑魔法–有些步骤并没有在论文里提到,但没有这些步骤是无法得到正确结果的. 本文给出一个ICA最大似然解法的推导,以及FastICA的python实现,限于时间和实际需求,没有对黑魔法部分完全解读,只保证FastICA实现能得到正确结果. 有兴趣的童…

来源: http://blog.sciencenet.cn/blog-479412-434990.html   在处理fMRI数据时,使用空间ICA的方法.将一个四维的fMRI数据分解为空间pattern与时间序列的乘积. 其中每一pattern的时间序列是该pattern中强度(z-score值)最大的voxel的时间序列.该pattern中剩余voxel的时间序列与最大voxel的时间序列的相关性逐渐降低.对应在pattern中就是剩余voxel的z-score值降低. 因此pattern其…

本笔记是ESL14.7节图14.42的模拟过程.第一部分将以ProDenICA法为例试图介绍ICA的整个计算过程:第二部分将比较ProDenICA.FastICA以及KernelICA这种方法,试图重现图14.42. ICA的模拟过程 生成数据 首先我们得有一组独立(ICA的前提条件)分布的数据\(S\)(未知),然后经过矩阵\(A_0\)混合之后得到实际的观测值\(X\),即 \[ X= SA_0 \] 也可以写成 \[ S=XA_0^{-1} \] 用鸡尾酒酒会的例子来说就是,来自不同个体的…

作者:桂. 时间:2017-05-22 12:12:43 链接:http://www.cnblogs.com/xingshansi/p/6884273.html 前言 今天群里冒出这样一个问题:群里谁有INFORMAX语音分离源程序?看到要程序的就头大,这是一个盲源分离问题,之前没有推导过,借此过一遍思路. 一.问题描述 经典的鸡尾酒宴会问题(cocktail party problem).假设在party中有n个人,他们可以同时说话,我们也在房间中一些角落里共放置了n个声音接收器(Microp…

ICA又称盲源分离(Blind source separation, BSS) 它假设观察到的随机信号x服从模型,其中s为未知源信号,其分量相互独立,A为一未知混合矩阵. ICA的目的是通过且仅通过观察x来估计混合矩阵A以及源信号s. 大多数ICA的算法需要进行“数据预处理”(data preprocessing):先用PCA得到y,再把y的各个分量标准化(即让各分量除以自身的标准差)得到z.预处理后得到的z满足下面性质: z的各个分量不相关: z的各个分量的方差都为1. “ICA基本定理”:…

. Man and His Natural Habitat 人类及其自然栖息地 ① Ecology is that branch of science which concerns itself with the interrelationships between living things (plants and animals) and their natural environments.Human ecology specializes in man's relationship to…