Momentum Contrast for Unsupervised Visual Representation Learning 一.Methods Previously Proposed 1. End-to-end Mechanisms 方法简介:对于每个mini-batch中的 image 进行增强,每一张图片经过增强处理都得到两张图片q 和 $ k_+ $, 这两张互为正样本.采用两个不同的 encoder 分别对 q和 dictionary中的keys(包含q对应的正样本 $ k_+…

Momentum Contrast for Unsupervised Visual Representation Learning 一.Methods Previously Proposed 1. End-to-end Mechanisms 方法简介:对于每个mini-batch中的 image 进行增强,每一张图片经过增强处理都得到两张图片q 和 $ k_+ $, 这两张互为正样本.采用两个不同的 encoder 分别对 q和 dictionary中的keys(包含q对应的正样本 $ k_+…

论文题目:<Momentum Contrast for Unsupervised Visual Representation Learning> 论文作者: Kaiming He.Haoqi Fan. Yuxin Wu. Saining Xie. Ross Girshick 论文来源:arXiv 论文来源:https://github.com/facebookresearch/moco 1 主要思想 文章核心思想是使用基于 Contrastive learning 的方式自监督的训练一个图片表…

Unsupervised Visual Representation Learning by Context Prediction Note here: it's a learning note on unsupervised learning model from Prof. Gupta's group. Link: http://120.52.73.9/www.cv-foundation.org/openaccess/content_iccv_2015/papers/Doersch_Unsu…

论文信息 Title:<Symmetric Graph Convolutional Autoencoder for Unsupervised Graph Representation Learning> Authors:Jiwoong Park.Minsik Lee.H. Chang.Kyuewang Lee.J. Choi Sources:2019 IEEE/CVF International Conference on Computer Vision (ICCV) Paper:Downlo…

Paper Information Title:Simple Unsupervised Graph Representation LearningAuthors: Yujie Mo.Liang Peng.Jie Xu, Xiaoshuang Shi.Xiaofeng ZhuSources:2022 AAAIPaper:downloadCode:download Abstract 作者提出了一种简单的无监督图表示学习方法来进行有效和高效的对比学习.具体而言,通过构造多重损失探索结构信息与邻域信息之…

论文信息 论文标题:Towards Explanation for Unsupervised Graph-Level Representation Learning论文作者:Qinghua Zheng, Jihong Wang, Minnan Luo, Yaoliang Yu, Jundong Li, Lina Yao, Xiaojun Chang论文来源:2022, arXiv论文地址:download论文代码:download 1 Introduction 使用信息瓶颈的图级表示可解释性.…

Self-Supervised Representation Learning 2019-11-11 21:12:14  This blog is copied from: https://lilianweng.github.io/lil-log/2019/11/10/self-supervised-learning.html Self-Supervised Representation Learning Nov 10, 2019 by Lilian Weng representation-le…

Paper Information 论文标题:Contrastive Multi-View Representation Learning on Graphs论文作者:Kaveh Hassani .Amir Hosein Khasahmadi论文来源:2020, ICML论文地址:download论文代码:download Abstract 介绍了一种自监督的方法,通过对比图的结构视图来学习节点和图级别的表示.与视觉表示学习不同,对于图上的对比学习,将视图的数量增加到两个以上或对比多尺度编码并不…

UNSUPERVISED REPRESENTATION LEARNING WITH DEEP CONVOLUTIONAL GENERATIVE ADVERSARIAL NETWORKS  ICLR 2016  摘要:近年来 CNN 在监督学习领域的巨大成功 和 无监督学习领域的无人问津形成了鲜明的对比,本文旨在链接上这两者之间的缺口.提出了一种 deep convolutional generative adversarial networks (DCGANs),that have certai…

论文信息 论文标题:Sub-graph Contrast for Scalable Self-Supervised Graph Representation Learning论文作者:Yizhu Jiao, Yun Xiong, Jiawei Zhang, Yao Zhang, Tianqi Zhang, Yangyong Zhu论文来源:2020 ICDM论文地址:download 论文代码:download 1 Introduction 创新点:提出一种新的子图对比度自监督表示学习方法,利用…

翻译 Improved Word Representation Learning with Sememes 题目 Improved Word Representation Learning with Sememes 融合义原知识的词汇表示学习 摘要 Abstract Sememes are minimum semantic units of word meanings, and the meaning of each word sense is typically composed by sev…

this blog from: https://opendatascience.com/blog/notes-on-representation-learning-1/   Notes on Representation Learning By Zac Kriegman, Senior Data Scientist in the Thomson Reuters Data Innovation Lab | 02/07/2017 Tags: Deep Learning , Neural Networ…

Predictive learning vs. representation learning  预测学习 与 表示学习 When you take a machine learning class, there's a good chance it's divided into a unit on supervised learning and a unit on unsupervised learning. We certainly care about this distinction f…

Link of the Paper: https://ieeexplore.ieee.org/document/7298856/ A Correlative Paper: Learning a Recurrent Visual Representation for Image Caption Generation (Link of the Paper: https://arxiv.org/abs/1411.5654) Main Points: A bi-directional mapping m…

Deep High-Resolution Representation Learning for Human Pose Estimation 2019-08-30 22:05:59 Paper: CVPR-2019, arXiv Code: https://github.com/leoxiaobin/deep-high-resolution-net.pytorch Related Works: 1. High-Resolution Representations for Labeling Pix…

目录 主要挑战 主要的贡献和创新点 提出的方法 总体框架与算法 Vanilla pseudo label sampling (PLS) PLS with adversarial learning Training losses 实验与结果 结论 导言 文章提出了一种新的三元组损失 HSoften-Triplet-Loss,在处理one-shot Re-ID任务中的噪声伪标签样本方面非常强大.文章还提出了一种伪标签采样过程,确保了在保持高可靠性的同时为训练图像形成正对和负对的可行性.与此同时,文章…

Paper Information 论文标题:Deep Graph Contrastive Representation Learning论文作者:Yanqiao Zhu, Yichen Xu, Feng Yu, Q. Liu, Shu Wu, Liang Wang论文来源:2020, ArXiv论文地址:download 代码地址:download Abstract 在本文中,作者提出了一个利用节点级对比目标的无监督图表示学习框架.具体来说,通过破坏原始图去生成两个视图,并通过最大化这两个视图…

导言 传统的神经网络都是基于固定的数据集进行训练学习的,一旦有新的,不同分布的数据进来,一般而言需要重新训练整个网络,这样费时费力,而且在实际应用场景中也不适用,所以增量学习应运而生. 增量学习主要旨在解决灾难性遗忘(Catastrophic-forgetting) 问题,本文将要介绍的<iCaRL: Incremental Classifier and Representation Learning>一文中对增量学习算法提出了如下三个要求: a) 当新的类别在不同时间出现,它都是可训练的 b…

Improving Deep Visual Representation for Person Re-identification by Global and Local Image-language Association2018-09-29 19:36:43 Paper:http://openaccess.thecvf.com/content_ECCV_2018/papers/Dapeng_Chen_Improving_Deep_Visual_ECCV_2018_paper.pdf 1. I…

论文阅读笔记 Improved Word Representation Learning with Sememes 一句话概括本文工作 使用词汇资源--知网--来提升词嵌入的表征能力,并提出了三种基于知网资源的词嵌入学习模型,在通用的中文词嵌入评测数据集上进行了评测,取得了较好的结果. 作者简介 该论文选自 ACL 2017,是清华大学孙茂松刘知远老师组的成果.论文的两名共同第一作者分别是牛艺霖和谢若冰. 牛艺霖,清华本科生. 谢若冰,清华研究生(2014-2017),清华本科生(2010-20…

网络表示学习相关资料 网络表示学习(network representation learning,NRL),也被称为图嵌入方法(graph embedding method,GEM)是这两年兴起的工作,目前很热,许多直接研究网络表示学习的工作和同时优化网络表示+下游任务的工作正在进行中. 清华大学计算机系的一个学习组 新浪微博@涂存超 整理的论文列表:https://github.com/thunlp/NRLpapers,并一直持续更新着,里面详细的列举了最近几年有关网络表示学习(networ…

Link of the Paper: https://arxiv.org/pdf/1504.06692.pdf Innovations: The authors propose the Novel Visual Concept learning from Sentences ( NVCS ) task. In this task, methods need to learn novel concepts from sentence descriptions of a few images. Th…

Hierarchical Attention Based Semi-supervised Network Representation Learning 1. 任务 给定:节点信息网络 目标:为每个节点生成一个低维向量   基于半监督的分层关注网络嵌入方法 2. 创新点: 以半监督的方式结合外部信息 1. 提出SHANE 模型,集成节点结构,文本和标签信息,并以半监督的方式学习网络嵌入 2. 使用分层注意网络学习节点的文本特征, 两层双向GRU 提取单词和句子的潜在特征   3. 背景 1. 现…

[论文阅读笔记] metapath2vec: Scalable Representation Learning for Heterogeneous Networks 本文结构 解决问题 主要贡献 算法原理 参考文献 (1) 解决问题 解决异构网络上的节点嵌入问题. 论文中指出了异构网络嵌入的两个关键问题: 在异构网络中,如何定义和建模节点邻域的概念? 如何优化嵌入模型,使得其能够有效的保留多种类型的节点和边的结构和语义信息. (2) 主要贡献 Contribution 1: 定义了异构网络表示学…

多视图子空间聚类/表示学习(Multi-view Subspace Clustering/Representation Learning) 作者:凯鲁嘎吉 - 博客园 http://www.cnblogs.com/kailugaji/ 这篇博文主要对四篇文章(1)"Low-Rank Tensor Constrained Multiview Subspace Clustering"(2015 ICCV),(2)"Tensorized Multi-view Subspace Re…

目录 概 主要内容 Wang Z., Zhang W., Liu N. and Wang J. Scalable rule-based representation learning for interpretable classification. In Advances in Neural Information Processing Systems (NIPS), 2021. 概 传统的诸如决策树之类的机器学习方法具有很强的结构性, 也因此具有很好的可解释性. 和深度学习方法相比, 这类方…

目录 概 主要内容 模型 ELBO 关于 Yang M., Liu F., Chen Z., Shen X., Hao J. and Wang J. CausalVAE: disentangled representation learning via neural structural causal models. arXiv preprint arXiv:2004.086975, 2020. 概 隐变量的因果表示. 主要内容 我们通常希望隐变量\(z\)能够表示一些特别的特征, 通过改变\(…

目录 概 主要内容 从具有序的数据讲起 Contrastive Predictive Coding (CPC) 图片构建序 Den Oord A V, Li Y, Vinyals O, et al. Representation Learning with Contrastive Predictive Coding.[J]. arXiv: Learning, 2018. Henaff O J, Srinivas A, De Fauw J, et al. Data-Efficient Image…

Paper Information 论文作者:Zhen Peng.Wenbing Huang.Minnan Luo.Q. Zheng.Yu Rong.Tingyang Xu.Junzhou Huang论文来源:WWW 2020论文地址:download代码地址:download 前言 1.自监督学习(Self-supervised):属于无监督学习,其核心是自动为数据打标签(伪标签或其他角度的可信标签,包括图像的旋转.分块等等),通过让网络按照既定的规则,对数据打出正确的标签来更好地进行特征表示…