Andrew Ng机器学习公开课笔记–Independent Components Analysis

网易公开课，第15课
notes，11

参考，

PCA本质是旋转找到新的基(basis)，即坐标轴，并且新的基的维数大大降低
ICA也是找到新的基，但是目的是完全不一样的，而且ICA是不会降维的

对于ICA，最经典的问题，“鸡尾酒会”问题
在鸡尾酒会，上很多人同时在说话，还有背景音乐，如果我们放若干个话筒进行声音采集
是否可以从采集到的数据中，分离出每个人独立的声音

假设有n个不同的人，m个时间采集点，一般会用和人数一样多的话筒，也是n个

is an n-dimensional vector， is the acoustic reading recorded by microphone j at time i

is an n-dimensional vector， is the sound that speaker j was uttering at time i.

x向量，表示在时间点i，n个采集器收集到的声音数据
s向量，表示在时间点i，n个人真正发出的声音

那么x中每个值，一定是s中所有的值的一个线性变换产生的，话筒可能收集到从所有人发出的声音，根据远近或其他环境不同，不同的线性变换参数

所以可以表示成，

A is an unknown square matrix called the mixing matrix

现在问题比较清晰，我们可以观察到x，需要求出s
那么只要我们可以求出A，就可以求出x

设，
s= Wx

所以我们的目标变成求出W
denote the i-th row of W, so that

the j-th source can be recovered by computing

 

ICA ambiguities

很明显，如果没有任何先验知识，光凭x= As，是不可能求出唯一的A和s的
比如你求出A，但是2A也是可以的

或者PA，也是可以的，P为permutation matrix，其实就是调换其中行的位置，因为只要相应的调换S中人的位置即可

但是这些对于我们的例子影响不大，比如A和2A只是音量大小不同而已

并且s一定是非高斯分布才可以使用ICA
因为高斯分布的密度函数是rotationally symmetric

比如，x = As，其中s满足高斯分布，那么x也一定满足高斯分布
并且协方差为，

且x满足 分布

此时，我们改变A

设R be an arbitrary orthogonal (less formally, a rotation/reflection) matrix，

 
那么有，

你会发现 的分布没有变化，仍然是 分布

所以如果s是高斯分布，你根本无法求出唯一的A，因为对于不同的A，你会得到相同的观察值x

 

ICA algorithm

下面直接来看ICA算法如何求出W

The algorithm we describe is due to Bell and Sejnowski, and the interpretation we give will be of their algorithm as a method for maximum likelihood estimation.

仍然是用最大似然来求解这个问题，

Joint distribution为，假设sources 之间都是独立的

 

因为前面有，

所以有，

为何多了个W的行列式，参考讲义的证明，不加是错误的

前面说了，如果没有任何先验知识，是不可能求出W的，
所以这边我们需要假设p(s)的分布

这里是通过假设cumulative distrbution function (cdf) F，来求出p的

F的定义，区间上的概念和

所以有，

F(x)要满足两个性质是：单调递增和在[0,1]，所以sigmoid函数很适合

于是有，

那么现在目标函数，log likelihood为，

然后用随机梯度下降，得到W，完成求解

其中后面的梯度就是对log likelihood求导得到的

对W行列式求导， ，参考矩阵的线性代数

参考，独立成分分析（Independent Component Analysis）