Graph Neural Networks：谱域图卷积

以下学习内容参考了：1，2，

0、首先回忆CNN，卷积神经网络的结构和特点

处理的数据特征：具有规则的空间结构（Euclidean domains），都可以采用一维或者二维的矩阵描述。（Convolutional neural network (CNN) gains great success on Euclidean data, e.g., image, text, audio, and video）。

什么是卷积：卷积即固定数量邻域结点排序后，与相同数量的卷积核参数相乘求和。

离散卷积本质就是一种加权求和。CNN中的卷积就是一种离散卷积，本质上就是利用一个共享参数的过滤器（kernel），通过计算中心像素点以及相邻像素点的加权和来构成feature map实现空间特征的提取，当然加权系数就是卷积核的权重系数(W)。

The power of CNN lies in: its ability to learn local stationary structures, via localized convolution filter, and compose them to form multi-scale hierarchical patterns.

Taking image data as an example, we can represent an image as a regular grid in the Euclidean space. CNN is able to exploit the shiftinvariance, local connectivity, and compositionality of image data. As a result, CNNs can extract local meaningful features that are shared with the entire data sets for various image analyses.

那么卷积核的系数如何确定的呢？是随机化初值，然后根据误差函数通过反向传播梯度下降进行迭代优化。这是一个关键点，卷积核的参数通过优化求出才能实现特征提取的作用，GCN的理论很大一部分工作就是为了引入可以优化的卷积参数。

1、图卷积网络GCN

生活中很多数据不具备规则的空间结构，称为Non Euclidean data，如，推荐系统、电子交易、分子结构等抽象出来的图谱。这些图谱中的每个节点连接不尽相同，有的节点有三个连接，有的节点只有一个连接，是不规则的结构。对于这些不规则的数据对象，普通卷积网络的效果不尽人意。CNN卷积操作配合pooling等在结构规则的图像等数据上效果显著，但是如果作者考虑非欧氏空间比如图(即graph)，就难以选取固定的卷积核来适应整个图的不规则性，如邻居节点数量的不确定和节点顺序的不确定。

总结一下，图数据中的空间特征具有以下特点：

1） 节点特征：每个节点有自己的特征；（体现在点上）
2） 结构特征：图数据中的每个节点具有结构特征，即节点与节点存在一定的联系。（体现在边上）
总地来说，图数据既要考虑节点信息，也要考虑结构信息，图卷积神经网络就可以自动化地既学习节点特征，又能学习节点与节点之间的关联信息。

综上所述，GCN是要为除CV、NLP之外的任务提供一种处理、研究的模型。

图卷积的核心思想是利用『边的信息』对『节点信息』进行『聚合』从而生成新的『节点表示』。

借助于卷积神经网络对局部结构的建模能力及图上普遍存在的节点依赖关系，图卷积神经网络成为其中最活跃最重要的一支。

3、图卷积网络的两种理解方式

GCN的本质目的就是用来提取拓扑图的空间特征。 而图卷积神经网络主要有两类，一类是基于空间域或顶点域vertex domain(spatial domain)的，另一类则是基于频域或谱域spectral domain的。通俗点解释，空域可以类比到直接在图片的像素点上进行卷积，而频域可以类比到对图片进行傅里叶变换后，再进行卷积。

1）vertex domain(spatial domain)：顶点域（空间域）

　　基于空域卷积的方法直接将卷积操作定义在每个结点的连接关系上，它跟传统的卷积神经网络中的卷积更相似一些。在这个类别中比较有代表性的方法有 Message Passing Neural Networks(MPNN)[1], GraphSage[2], Diffusion Convolution Neural Networks(DCNN)[3], PATCHY-SAN[4]等

2）spectral domain：频域方法（谱方法）

　　这就是谱域图卷积网络的理论基础了。这种思路就是希望借助图谱的理论来实现拓扑图上的卷积操作。从整个研究的时间进程来看：首先研究GSP（graph signal processing）的学者定义了graph上的Fourier Transformation，进而定义了graph上的convolution，最后与深度学习结合提出了Graph Convolutional Network。
　　基于频域卷积的方法则从图信号处理起家，包括 Spectral CNN[5], Cheybyshev Spectral CNN(ChebNet)[6], 和 First order of ChebNet(1stChebNet)[7]　等
　　论文Semi-Supervised Classification with Graph Convolutional Networks就是一阶邻居的ChebNet

定义图的邻接矩阵A以及度矩阵D：

定义图的Graph Laplancian 矩阵（刻画了信号在图上的平滑程度）

拉普拉斯矩阵是图上的一种拉普拉斯算子：

---

图的傅里叶变换

图的傅里叶逆变换

将两信号分别视为输入信号和卷积核，那么卷积操作可以定义为 ➢1）将空域信号转换到频域，然后相乘。 ➢2）将相乘的结果再转换到空域。

Shortcomings of Spectral graph CNN 谱域图卷积的三个缺点

进入实用化阶段：ChebyNet,GCN,

GCN: