一.基本信息 论文题目:<DeepWalk: Online Learning of Social Representations>发表时间:  KDD 2014论文作者:  Bryan Perozzi.Rami Al-Rfou.Steven Skiena论文地址:  https://dl.acm.org/citation.cfm?id=2623732 二.前言 普通的邻接矩阵在存储的关系很多时,纬度将变得很高,而进行矩阵分解是一个相当费时复杂的过程,因此通过矩阵分解的方法进行网络的表示学习,目…

总的来说这篇论文提出了ResNet架构,让训练非常深的神经网络(NN)成为了可能. 什么是残差? "残差在数理统计中是指实际观察值与估计值(拟合值)之间的差."如果回归模型正确的话, 我们可以将残差看作误差的观测值."更准确地,假设我们想要找一个 xx,使得 f(x)=bf(x)=b,给定一个 xx 的估计值 x0x0,残差(residual)就是 b−f(x0)b−f(x0),同时,误差就是 x−x0x−x0 为什么需要堆叠更深的NN呢? 论文阐述道 -- 深度神经网络自然…

论文标题:Prototypical Contrastive Learning of Unsupervised Representations 论文方向:图像领域,提出原型对比学习,效果远超MoCo和SimCLR 论文来源:ICLR2021 论文链接:https://arxiv.org/abs/2005.04966 论文代码:https://github.com/salesforce/PCL Part1 概述 本文提出了一个将对比学习与聚类联系起来的无监督表示学习方法:Prototypical C…

论文题目:<GraRep: Learning Graph Representations with Global Structural Information>发表时间:  CIKM论文作者:  Shaosheng Cao; Wei Lu;  Qiongkai Xu论文地址:  DownloadGithub:      Go Abstract 在本文中,我们提出了一种新的学习加权图顶点表示的GraRep模型.该模型学习低维向量来表示出现在图中的顶点,与现有的工作不同,它将图的全局结构信息集成到…

Paper Information Title:Simple Unsupervised Graph Representation LearningAuthors: Yujie Mo.Liang Peng.Jie Xu, Xiaoshuang Shi.Xiaofeng ZhuSources:2022 AAAIPaper:downloadCode:download Abstract 作者提出了一种简单的无监督图表示学习方法来进行有效和高效的对比学习.具体而言,通过构造多重损失探索结构信息与邻域信息之…

自监督学习(Self-Supervised Learning)多篇论文解读(下) 之前的研究思路主要是设计各种各样的pretext任务,比如patch相对位置预测.旋转预测.灰度图片上色.视频帧排序等等.CVPR19和ICCV19上,Google Brain的几个研究员发表了两篇论文,从另外的视角分析和研究self-supervised learning问题.两篇paper名字分别是:Revisiting Self-Supervised Visual Representation Learnin…

自监督学习(Self-Supervised Learning)多篇论文解读(上) 前言 Supervised deep learning由于需要大量标注信息,同时之前大量的研究已经解决了许多问题.所以近期大家的研究关注点逐渐转向了Unsupervised learning,许多顶会包括ICML, NeurIPS, CVPR, ICCV相继出现一些不错的paper和研究工作. 这里主要关注Unsupervised learning一类特定的方法:Self-supervised learning(自…

A Unified Deep Model of Learning from both Data and Queries for Cardinality Estimation 论文解读(SIGMOD 2021) 本篇博客是对A Unified Deep Model of Learning from both Data and Queries for Cardinality Estimation的一些重要idea的解读,原文连接为:A Unified Deep Model of Learning f…

论文信息 论文标题:MGAE: Masked Autoencoders for Self-Supervised Learning on Graphs论文作者:Qiaoyu Tan, Ninghao Liu, Xiao Huang, Rui Chen, Soo-Hyun Choi, Xia Hu论文来源:2022, ArXiv论文地址:download 论文代码:download 1 Introduction MAE 在图上的应用. 2 Method 整体框架: 2.1 Encoder 本文的掩藏…

论文信息 论文标题:Towards Explanation for Unsupervised Graph-Level Representation Learning论文作者:Qinghua Zheng, Jihong Wang, Minnan Luo, Yaoliang Yu, Jundong Li, Lina Yao, Xiaojun Chang论文来源:2022, arXiv论文地址:download论文代码:download 1 Introduction 使用信息瓶颈的图级表示可解释性.…