Gram 矩阵性质及应用

• v1,v2,…,vn 是内积空间的一组向量，Gram 矩阵定义为： Gij=⟨vi,vj⟩，显然其是对称矩阵。

• 其实对于一个XN⋅d（N 个样本，d 个属性）的样本矩阵而言，X⋅X′ 即为 Gram 矩阵；

1. 基本性质

• 半正定（positive semidefinite）

2. 应用

• 如果 v1,v2,…,vn 分别是随机向量，则 Gram 矩阵是协方差矩阵；

3. 在 ML 中的应用

对于感知机模型（perceptron）的对偶形式：

• 输入：线性可分的数据集 T={(x1,y1),(x2,y2),…,(xN,yN)}，其中 xi∈Rn,yi∈{−1,+1} ，学习率为 η，

• 输出：α,b，感知机模型为 f(x)=sgn(∑j=1Nαjyjxj⋅x+b)，显然 α 是长度为 N 的向量；

• 算法：

  • (1) α←0,b←0
  • (2) 在训练集中选取数据 (xi,yi)
  • (3) 如果 yi(∑j=1Nαjyjxj⋅x+b)≤0，
    
    • αi←αi+η
    • b←+ηyi
  • (4) 转至(2), 直至没有误分类数据；