论文标题:Prototypical Contrastive Learning of Unsupervised Representations 论文方向:图像领域,提出原型对比学习,效果远超MoCo和SimCLR 论文来源:ICLR2021 论文链接:https://arxiv.org/abs/2005.04966 论文代码:https://github.com/salesforce/PCL Part1 概述 本文提出了一个将对比学习与聚类联系起来的无监督表示学习方法:Prototypical C…

1 题目 <A Simple Framework for Contrastive Learning of Visual Representations> 作者: Ting Chen, Simon Kornblith, Mohammad Norouzi, Geoffrey Hinton 2 介绍 本文主要介绍 SimCLR框架. 定义: SimCLR:一个简单的视觉表示对比学习框架,不仅比以前的工作更出色,而且也更简单,既不需要专门的架构,也不需要储存库. 性能: 在 $ImageNet$ 上大…

目录 概 主要内容 流程 projection head g constractive loss augmentation other 代码 Chen T., Kornblith S., Norouzi M., Hinton G. A Simple Framework for Contrastive Learning of Visual Representations. arXiv: Learning, 2020. @article{chen2020a, title={A Simple Fram…

Paper Information Title:Simple Unsupervised Graph Representation LearningAuthors: Yujie Mo.Liang Peng.Jie Xu, Xiaoshuang Shi.Xiaofeng ZhuSources:2022 AAAIPaper:downloadCode:download Abstract 作者提出了一种简单的无监督图表示学习方法来进行有效和高效的对比学习.具体而言,通过构造多重损失探索结构信息与邻域信息之…

论文信息 论文标题:Towards Unsupervised Deep Graph Structure Learning论文作者:Yixin Liu, Yu Zheng, Daokun Zhang, Hongxu Chen, Hao Peng, Shirui Pan论文来源:2022, WWW Best Paper Award candidate论文地址:download  论文代码:download 1 Introduction Deep GSL(深度图结构学习):在节点分类任务的监督下和GN…

总的来说这篇论文提出了ResNet架构,让训练非常深的神经网络(NN)成为了可能. 什么是残差? "残差在数理统计中是指实际观察值与估计值(拟合值)之间的差."如果回归模型正确的话, 我们可以将残差看作误差的观测值."更准确地,假设我们想要找一个 xx,使得 f(x)=bf(x)=b,给定一个 xx 的估计值 x0x0,残差(residual)就是 b−f(x0)b−f(x0),同时,误差就是 x−x0x−x0 为什么需要堆叠更深的NN呢? 论文阐述道 -- 深度神经网络自然…

  Motivation 作者们构建了一种用于视觉表示的对比学习简单框架 SimCLR,它不仅优于此前的所有工作,也优于最新的对比自监督学习算法, 而且结构更加简单:这个结构既不需要专门的架构,也不需要特殊的存储库. ·         由于采用了对比学习,这个框架可以作为很多视觉相关的任务的预训练模型,可以在少量标注样本的情况下,拿到比较好的结果. Discovery 在这篇论文中,研究者发现: ·         多个数据增强方法组合对于对比预测任务产生有效表示非常重要. ·        …

Paper Information 论文标题:Deep Graph Contrastive Representation Learning论文作者:Yanqiao Zhu, Yichen Xu, Feng Yu, Q. Liu, Shu Wu, Liang Wang论文来源:2020, ArXiv论文地址:download 代码地址:download Abstract 在本文中,作者提出了一个利用节点级对比目标的无监督图表示学习框架.具体来说,通过破坏原始图去生成两个视图,并通过最大化这两个视图…

论文信息 论文标题:Graph Contrastive Learning with Adaptive Augmentation论文作者:Yanqiao Zhu.Yichen Xu3.Feng Yu4.Qiang Liu.Shu Wu.Liang Wang论文来源:2021, WWW论文地址:download论文代码:download 1 介绍 出发角度:倾向于保持重要的结构和属性不变,同时干扰可能不重要的边连接和特征. 自适应数据增强方面: 拓扑结构:基于节点中心性度量,突出重要连接: 语义信息…

论文信息 论文标题:Debiased Contrastive Learning论文作者:Ching-Yao Chuang, Joshua Robinson, Lin Yen-Chen, Antonio Torralba, Stefanie Jegelka论文来源:2020, NeurIPS论文地址:download论文代码:download 1 Introduction 观察的结果:将拥有不同标签的样本作为负样本能显著提高性能. 对比学习思想:鼓励相似对 $\left(x, x^{+}\righ…