论文信息 论文标题:Self-supervised Graph Neural Networks without explicit negative sampling论文作者:Zekarias T. Kefato, Sarunas Girdzijauskas论文来源:2021, WWW论文地址:download 论文代码:download 1 介绍 本文核心贡献: 使用孪生网络隐式实现对比学习: 本文提出四种特征增强方式(FA): 2 相关工作 Graph Neural Networks GCN…
Paper Information Title:Convolutional Neural Networks on Graphs with Fast Localized Spectral FilteringAuthors:Michaël DefferrardXavier BressonPierre VandergheynstPaper:Download Source:NeurIPS 2016 Abstract 基于   spectral graph theory  ,为设计 localized c…
博客地址:http://www.cnblogs.com/daniel-D/p/5602254.html 新浪微博:http://weibo.com/u/2786597434 欢迎多多交流~ Main Idea 这篇论文的工作是讲 RNN 应用到推荐系统中,想法在于把一个 session 点击一系列 item 的行为看做一个序列,用来训练一个 RNN 模型.在预测阶段,把 session 已知的点击序列作为输入,用 softmax 预测该session下一个最有可能点击的item.论文想法虽然很朴…
论文信息 论文标题:Towards Deeper Graph Neural Networks论文作者:Meng Liu, Hongyang Gao, Shuiwang Ji论文来源:2020, KDD论文地址:download 论文代码:download 1 Introduction 问题引入: 图卷积是领域聚合的代表,这些邻域聚合方法中的一层只考虑近邻,当进一步深入以实现更大的接受域时,性能会下降,这种性能恶化归因于过平滑问题( over-smoothing),即当感受域增大时,在传播和更新过…
论文信息 论文标题:How Powerful are K-hop Message Passing Graph Neural Networks论文作者:Jiarui Feng, Yixin Chen, Fuhai Li, Anindya Sarkar, Muhan Zhang论文来源:2022,arXiv论文地址:download 论文代码:download 1 Introduction 本文工作: 1)正式区分了 K-hop 邻居的两个不同的内核,它们在以前的工作中经常被滥用.一种是基于图扩散(…
论文信息 论文标题:Local Augmentation for Graph Neural Networks论文作者:Songtao Liu, Hanze Dong, Lanqing Li, Tingyang Xu, Yu Rong, Peilin Zhao, Junzhou Huang, Dinghao Wu论文来源:2021, arXiv论文地址:download 论文代码:download 1 Introduction 现有的方法侧重于从全局的角度来增强图形数据,主要分为两种类型: str…
论文信息 论文标题:GraphSMOTE: Imbalanced Node Classification on Graphs with Graph Neural Networks论文作者:Tianxiang Zhao, Xiang Zhang, Suhang Wang论文来源:2021, WSDM论文地址:download 论文代码:download 1 Introduction 节点分类受限与不同类的节点数量不平衡,本文提出过采样方法解决这个问题. 图中类不平衡的例子:   图中:每个蓝色节点…
论文信息 论文标题:Predict then Propagate: Graph Neural Networks meet Personalized PageRank论文作者:Johannes Gasteiger, Aleksandar Bojchevski, Stephan Günnemann论文来源:2019,ICLR论文地址:download论文代码:download 1-Abstract 本文主要将 PageRank 算法引入到 GNNs ,提出了  PPNP 模型 和APPNP 模型.…
论文信息 论文标题:Soft-mask: Adaptive Substructure Extractions for Graph Neural Networks论文作者:Mingqi Yang, Yanming Shen, Heng Qi, Baocai Yin论文来源:2021, WWW论文地址:download 论文代码:download 1 Abstract GNN 应该能够有效地提取与任务相关的结构,并且对无关的部分保持不变. 本文提出的解决方法:从原始图的子图序列中学习图的表示,以更好…
论文信息 论文标题:Understanding Attention and Generalization in Graph Neural Networks论文作者:Boris Knyazev, Graham W. Taylor, Mohamed R. Amer论文来源:2019,NeurIPS论文地址:download 论文代码:download 1 Introduction 本文关注将注意力 GNNs 推广到更大.更复杂或有噪声的图.作者发现在某些情况下,注意力机制的影响可以忽略不计,甚至有害…
Paper Information Title:<How Powerful are Graph Neural Networks?>Authors:Keyulu Xu, Weihua Hu, J. Leskovec, S. JegelkaSources:2019, ICLRPaper:DownloadCode:DownloadOthers:2421 Citations, 45 References Abstract GNN 目前主流的做法是递归迭代聚合一阶邻域表征来更新节点表征,如 GCN 和…
3 Streaming Graph Neural Networks link:https://dl.acm.org/doi/10.1145/3397271.3401092 Abstract 本文提出了一种新的动态图神经网络模型DGNN,它可以随着图的演化对动态信息进行建模.特别是,该框架可以通过捕获: 1.边的序列信息, 2.边之间的时间间隔, 3.信息传播耦合性 来不断更新节点信息. Conclusion 在本文中,提出了一种用于动态图的新图神经网络架构DGNN.该架构有两个组件构成:更新组件…
3D Graph Neural Networks for RGBD Semantic Segmentation 原文章:https://www.yuque.com/lart/papers/wmu47a 动机 主要针对的任务是RGBD语义分割, 不同于往常的RGB图像的语义分割任务, 这里还可以更多的考虑来自D通道的深度信息. 所以对于这类任务需要联合2D外观和3D几何信息来进行联合推理. 深度信息编码 关于将深度信息编码为图像的方法有以下几种: 通过HHA编码来将深度信息编码为三通道: hori…
本文是对文献 <Graph Neural Networks: A Review of Methods and Applications> 的内容总结,详细内容请参照原文. 引言 大量的学习任务都要求能处理包含丰富的元素间关联关系的图数据,例如物理系统建模.疾病分类以及文本和图像等非结构数据的学习等.图形神经网络(GNNs)是一种连接模型,通过图形节点之间的消息传递捕获图形的依赖性. 图(Graph)是一种对一组对象(node)及其关系(edge)进行建模的数据结构.由于图结构的强大表示能力,近…
Graph Neural Networks for Computer Vision I was attracted by this image: This is an inspiring image and it was posted in this article: Tutorial on Graph Neural Networks for Computer Vision and Beyond (Part 1) written by Boris, a PhD student at Univer…
目录 概 主要内容 代码 Yu Y., Chen J., Gao T. and Yu M. DAG-GNN: DAG structure learning with graph neural networks. In International Conference on Machine Learning (ICML), 2019. 概 有向无环图 + GNN + VAE. 主要内容 先前已经有工作(NOTEARS)讨论了如何处理线性SEM模型 \[X = A^TX + Z, \] \(A \i…
论文信息 Title:<Symmetric Graph Convolutional Autoencoder for Unsupervised Graph Representation Learning> Authors:Jiwoong Park.Minsik Lee.H. Chang.Kyuewang Lee.J. Choi Sources:2019 IEEE/CVF International Conference on Computer Vision (ICCV) Paper:Downlo…
以下学习内容参考了:1,2, 0.首先回忆CNN,卷积神经网络的结构和特点 处理的数据特征:具有规则的空间结构(Euclidean domains),都可以采用一维或者二维的矩阵描述.(Convolutional neural network (CNN) gains great success on Euclidean data, e.g., image, text, audio, and video). 什么是卷积:卷积即固定数量邻域结点排序后,与相同数量的卷积核参数相乘求和. 离散卷积本质就…
Spatial Temporal Graph Convolutional Networks for Skeleton-Based Action Recognition 2018-01-28  15:45:13  研究背景和动机: 行人动作识别(Human Action Recognition)主要从多个模态的角度来进行研究,即:appearance,depth,optical-flow,以及 body skeletons.这其中,动态的人类骨骼点 通常是最具有信息量的,且能够和其他模态进行互补.…
MobileNets: Efficient Convolutional Neural Networks for Mobile Vision Applications 论文链接:https://arxiv.org/pdf/1704.04861.pdf 摘要和Prior Work就略了,懒:)   Summary: 总的来说,MobileNet相对于标准卷积过程有以下几点不同: 1) 将标准的卷积操作分为两步:depthwise convolution和pointwise convolution.即…
论文阅读([CVPR2018]Jinshan Pan - Learning Dual Convolutional Neural Networks for Low-Level Vision) 本文针对低层视觉问题,提出了一般性的用于解决低层视觉问题的对偶卷积神经网络.作者认为,低层视觉问题,如常见的有超分辨率重建.保边滤波.图像去雾和图像去雨等,这些问题经常涉及到估计目标信号的两个成分:结构和细节.因此,文章提出DualCNN,它包含两个平行的分支来分别恢复结构和细节信息. 具体内容参见https…
1 简介 本文着眼于对Weisfeiler-Lehman算法(WL Test)和WL-GNN模型的分析,针对于WL测试以及WL-GNN所不能解决的环形跳跃连接图(circulant skip link graph)进行研究,并提出了一种基于相对池化的方法,有助于GNN学习到结点之间的相对关系,该方法可以较好地融入到较为通用的神经网络模型中(如CNN.RNN等),使得WL-GNN具有更强大的表征能力. 2 准备知识 2.1 WL Test及其问题 Weisfeiler-Lehman如下所示: 对于…
论文信息 论文标题:Deep Attention-guided Graph Clustering with Dual Self-supervision论文作者:Zhihao Peng, Hui Liu, Yuheng Jia, Junhui Hou论文来源:2022, arXiv论文地址:download论文代码:download 1 Introduction 当前考虑拓扑结构信息和语义信息的深度聚类方法存在的问题: 将 DAE 和 GCN 提取到的特征重要性同等看待: 忽略了不同层次的多尺度信…
1.图是什么? 本文给出得图的定义为:A graph represents the relations (edges) between a collection of entities (nodes). 即:图表示实体(节点)集合之间的关系(边). 其中 $V$  表示顶点,$E$  表示边,$U$  表示全局.可以看到每一个定义后面都有一个 attributes,这意味着我们不能只关注图的一个结构信息,还应该关注属性信息,比如节点的邻居数,边的权重,最长路径等等. $V$:节点信息(节点标识.…
目录 摘要 1.引言 2.BinaryConnect 2.1 +1 or -1 2.2确定性与随机性二值化 2.3 Propagations vs updates 2.4 Clipping 2.5 A few more tricks 2.6 Test-Time Inference 3 Benchmark results 3.1 Permutation-invariant MNIST 3.2 CIFAR-10 3.3 SVHN 4 Related works 5. Conclusion and f…
目录 摘要 引言 1.BinaryNet 符号函数 梯度计算和累积 通过离散化传播梯度 一些有用的成分 算法1 使用BinaryNet训练DNN 算法2 批量标准化转换(Ioffe和Szegedy,2015),适用于小批量激活x. 算法3 ADAM学习规则(Kingma&Ba,2014). 2.基准测试结果 MLP on MNIST ConvNet on CIFAR-10 ConvNet on SVHN 3.在运行时更快 第一层 4.相关工作 结论 参考资料 论文地址:https://arxiv…
这是个06年的老文章了,但是很多地方还是值得看一看的. 一.概要 主要讲了CNN的Feedforward Pass和 Backpropagation Pass,关键是卷积层和polling层的BP推导讲解. 二.经典BP算法 前向传播需要注意的是数据归一化,对训练数据进行归一化到 0 均值和单位方差,可以在梯度下降上改善,因为这样可以防止过早的饱,这主要还是因为早期的sigmoid和tanh作为激活函数的弊端(函数在过大或者过小的时候,梯度都很小),等现在有了RELU和batch normali…
Paper Information Titlel:<Semi-Supervised Classification with Graph Convolutional Networks>Authors:Thomas Kipf, M. WellingSource:2016, ICLRPaper:Download Code:Download 致敬  Thomas Kipf 我原以为将  GCN 发扬光大的人应该是一位老先生,毕竟能将一个理论影响全世界的人必应该有很多的知识储备(主观直觉),然后我发现自…
论文信息 论文标题:How Attentive are Graph Attention Networks?论文作者:Shaked Brody, Uri Alon, Eran Yahav论文来源:2022,ICLR论文地址:download 论文代码:download 1 Abstract 在 GAT中,每个节点都为它的邻居给出自己的查询表示.然而,在本文中证明了 GAT 计算的是一种非常有限的注意类型:注意力分数在查询节点上是无条件的.本文将其定义为静态注意力,并提出了相应的动态注意力 GATv…
1 简介 随着图卷积神经网络在近年来的不断发展,其对于图结构数据的建模能力愈发强大.然而现阶段的工作大多针对简单无向图或者异质图的表示学习,对图中边存在方向和类型的特殊图----多关系图(Multi-relational Graph)的建模工作较少,且大多存在着两个问题: (1)整体网络模型的过参数化, (2)仅针对于结点的表示学习. 针对这两个问题,本论文提出了一种基于组合的图卷积神经网络来同时建模结点和边的表示,为了降低大量的边类型带来的参数量,作者采用了向量分解的方式,所有的边类型表示通过…