[论文阅读笔记] Unsupervised Attributed Network Embedding via Cross Fusion

本文结构

解决问题
主要贡献
算法原理
实验结果
参考文献

(1) 解决问题

现在常常用来处理属性网络表征的方式有两种：（1）在网络结构上传播属性（2）通过自编码器架构。

这两种常用的属性网络表征方法有各自的局限性和优点：（1）基于传播的方法依赖于网络中现有的边来传播信息，因此往往偏向于建模网络结构信息而非节点属性信息，从而更加擅长于处理结构信息（可以通过多层叠加考虑距离更远的邻居信息，但是因此也存在过平滑问题）。（2）基于自编码器的方法比较擅长于处理属性信息，但是在网络结构上往往忽略了除了直接邻居之外更远的邻居（即存在欠平滑问题）。

本篇论文设计了交叉融合层，在结合双方优点的同时来解决这些局限性。

(2) 主要贡献

Contribution：提出了一个带有交叉融合层的多视图框架来学习属性网络嵌入（融合了基于传播的方法和基于自编码器的方法各自的优点，并且解决各自的局限性）

(3) 算法原理

模型的主要思路： 下图为论文所提出的 CF_ANE 模型的总体框架。首先，节点属性和结构被分为两个视图分别处理（避免了结构信息覆盖了属性信息）。其次，通过堆叠多个交叉融合层（CFANE的核心）有效地融合和交换两个视图信息以结合两种主流方法的优点。然后，通过添加一个视图加权层计算每个节点之于两个视图的权重，从而整合结构表示向量和属性表示向量生成最终节点表示向量。最后，通过优化一个多目标重构函数使得节点表示向量同时保留网络结构和节点属性信息。

交叉融合层： 交叉融合层以网络结构和属性作为输入，总体框架和步骤如下图所示。

每个节点在每个交叉融合层都有两个表示向量（结构表示向量和属性表示向量），下标1和下标2分别表示结构向量和属性向量，上标表示第几层（交叉融合层）。

交叉融合层在做什么事呢？

第一步（即 Figure 3 中的 Ego-network Partition ＆ Aggregation 蓝框），为网络中的每个节点生成其对应的自我中心网络（ego-network：由该节点以及其邻居还有邻居之间的边构造的子图），并且进行子网络的社区划分和近邻向量的聚合生成中心节点向量。那么如何进行子图的社区划分呢？由于节点对应的 ego-network 一般比较小，本文直接将子图中不同的连通分支（除去中心节点本身）作为一个社区。得到子图社区划分结果之后，如何进行节点近邻聚合呢？首先，对于中心节点的每个社区（假设有 t_u 个），采用平均聚合的方式（如GCN）聚合其中的节点得到中心节点的 t_u 个表示向量，如下公式（3）所示（计算给定节点u的第j个社区的平均聚合结果）。其次，对节点u的 t_u 个表示向量在进行一次加权聚合得到节点u表示向量，如下公式（4）所示，各个社区的权重系数采用注意力机制确定，如下公式（5）所示。（GCN的聚合相当于把所有邻居节点看成是一个社区，而GAT的聚合相当于把每个邻居节点都看成是一个社区了，而本文所采用的聚合方法可以看成是GAT和GCN聚合方式的一种平衡）

第二步（即 Figure 3 中的 Feature Exchange 蓝框），进行结构视图和属性视图之间的信息交换。除了编码邻居的异质性之外（第一步的近邻聚合所做的事），CF_ANE 还要解决在沿着网络结构传播关键信息的同时维持节点属性的可区分特征，不至于使得节点属性被网络结构信息覆盖这个关键问题。为了达到以上的目标，CF_ANE 给属性和结构各自分配一个视图，两个视图是互补而非对应，因此还要考虑如何交换两个视图的信息（使用自注意力机制）。自注意机制有两个优点（1）自注意可以学习两个视图的重要性，不会使得一个视图覆盖另一个视图。（2）自注意力可以为每个视图都输出一个向量，以便于交叉融合层可以自然的堆叠。交叉融合层第二步的具体做法如下：（1）首先，通过映射矩阵分别变换两个视图的特征，作用是逐层减少嵌入向量的维度，如公式（6）所示，f即为对应降维后的中间向量。（2）其次，与标准的自注意力机制一致，为每个节点向量（结构和属性）计算对应的查询向量q和关键向量k，如公式（7）所示。（3）接着，通过公式（8）融合结构视图向量和属性视图向量（各视图对应信息的权重由自注意力机制计算得到），分别计算下一交叉融合层的节点结构表示向量和属性表示向量（u为激活函数，采用LeakyReLU作为激活函数，添加层间的非线性关系）。

第三步（即 Figure 3 中的 View Weightingu部分），在所有交叉融合层结束之后，结合两个视图的输出向量（结构和属性）成一个统一的表示向量。考虑到对于某些节点来说，网络结构视图可能是更重要的，而对于某些其他节点来说属性视图可能是更重要的，因此有必要对各个结构向量和属性向量进行加权（视图权重层所做的事），如公式（9）所示，权重系数由公式（10）确定。

多目标重构函数的设计： 设计多目标重构函数在表示向量学习过程中保存网络结构和属性。对于网络结构，采用Skip-Gram模型的目标函数，如公式（11）所示。对于节点属性，直接采用重构函数，如公式（12）所示。最终，总的目标函数如公式（13）所示。

(4) 实验结果

节点分类

节点聚类

参数实验

BlogCatalog 数据集的可视化结果

(5) 参考文献

Pan G, Yao Y, Tong H, et al. Unsupervised Attributed Network Embedding via Cross Fusion[C]//Proceedings of the 14th ACM International Conference on Web Search and Data Mining. 2021: 797-805.