主成分分析（PCA）

主成分分析（principal component analysis）是一种常见的数据降维方法，其目的是在“信息”损失较小的前提下，将高维的数据转换到低维，从而减小计算量。
PCA的本质就是找一些投影方向，使得数据在这些投影方向上的方差最大，而且这些投影方向是相互正交的。

使用拉格朗日方程来求解该最大化问题，则:

对U求导：

令导数为0,可知u就是Σ的特征向量。这个最大化问题的解就是矩阵的特征向量。

协方差矩阵最大的特征值对应的特征向量就是样本方差最大的方向。

进行PCA 算法之前，数据一般都需要预处理。预处理步骤如下：

 #coding:utf8
 import numpy as np
 import matplotlib.pyplot as plt

 def pca(data,dim=1,normalise=0):
     u = np.mean(data)
     data -= u  # 预处理1,2
     C = np.cov(data.T)
     evals,evecs = np.linalg.eig(C)
     indices = np.argsort(evals)[::-1]   # 特征值序号，大小升序
     indices=indices[:dim]
     evecs = evecs[:,indices]
     if normalise:   # 归一化，处于同一尺度可忽略，预处理3,4
         for i in range(np.shape(evecs)[1]):
             evecs[:,i] / np.linalg.norm(evecs[:,i]) * np.sqrt(evals[i])
     x = np.dot(evecs.T,np.transpose(data))
     y=np.dot(evecs,x).T+u
     return x,y,evals,evecs

 x = np.random.normal(5,.5,1000)
 y = np.random.normal(3,1,1000)
 a = x*np.cos(np.pi/4) + y*np.sin(np.pi/4)
 b = -x*np.sin(np.pi/4) + y*np.cos(np.pi/4)
 plt.plot(a,b,'.')
 plt.xlabel('x')
 plt.ylabel('y')
 plt.title('raw dataset')
 data=np.mat(zip(a,b))
 x,y,evals,evecs = pca(data,1)
 plt.figure()
 plt.plot(y[:,0],y[:,1],'.')
 plt.xlabel('x')
 plt.ylabel('y')
 plt.title('new dataset')
 plt.show()