Predictive learning vs. representation learning  预测学习 与 表示学习 When you take a machine learning class, there's a good chance it's divided into a unit on supervised learning and a unit on unsupervised learning. We certainly care about this distinction f…
this blog from: https://opendatascience.com/blog/notes-on-representation-learning-1/   Notes on Representation Learning By Zac Kriegman, Senior Data Scientist in the Thomson Reuters Data Innovation Lab | 02/07/2017 Tags: Deep Learning , Neural Networ…
Deep Learning and Shallow Learning 由于 Deep Learning 现在如火如荼的势头,在各种领域逐渐占据 state-of-the-art 的地位,上个学期在一门课的 project 中见识过了 deep learning 的效果,最近在做一个东西的时候模型上遇到一点瓶颈于是终于决定也来了解一下这个魔幻的领域. 据说 Deep Learning 的 break through 大概可以从 Hinton 在 2006 年提出的用于训练 Deep Belief…
目录 概 主要内容 从具有序的数据讲起 Contrastive Predictive Coding (CPC) 图片构建序 Den Oord A V, Li Y, Vinyals O, et al. Representation Learning with Contrastive Predictive Coding.[J]. arXiv: Learning, 2018. Henaff O J, Srinivas A, De Fauw J, et al. Data-Efficient Image…
网络表示学习相关资料 网络表示学习(network representation learning,NRL),也被称为图嵌入方法(graph embedding method,GEM)是这两年兴起的工作,目前很热,许多直接研究网络表示学习的工作和同时优化网络表示+下游任务的工作正在进行中. 清华大学计算机系的一个学习组 新浪微博@涂存超 整理的论文列表:https://github.com/thunlp/NRLpapers,并一直持续更新着,里面详细的列举了最近几年有关网络表示学习(networ…
来自:CVPR 2014   作者:Yi Sun ,Xiaogang Wang,Xiaoao Tang 题目:Deep Learning Face Representation from Predicting 10,000 Classes 主要内容:通过深度学习来进行图像高级特征表示(DeepID),进而进行人脸的分类. 长处:在人脸验证上面做,能够非常好的扩展到其它的应用,而且夸数据库有效性:在数据库中的类别越多时,其泛化能力越强,特征比較少,不像其它特征好几K甚至上M,好的泛化能力+只是拟合…
Representation learning : 表征学习,端到端的学习 pre-specified  预先指定的 demonstrate  论证;证明,证实;显示,展示;演示,说明 attempt  vt.尝试;试图 n. 进攻;尝试,冲击 distilled  adj.由蒸馏得来的 v.蒸馏( distil的过去式和过去分词 );从…提取精华 relevant  adj.有关的,中肯的;相关联的;确切的;有重大意义[作用]的,实质性的 phrase structures  短语结构 for…
多视图子空间聚类/表示学习(Multi-view Subspace Clustering/Representation Learning) 作者:凯鲁嘎吉 - 博客园 http://www.cnblogs.com/kailugaji/ 这篇博文主要对四篇文章(1)"Low-Rank Tensor Constrained Multiview Subspace Clustering"(2015 ICCV),(2)"Tensorized Multi-view Subspace Re…
翻译 Improved Word Representation Learning with Sememes 题目 Improved Word Representation Learning with Sememes 融合义原知识的词汇表示学习 摘要 Abstract Sememes are minimum semantic units of word meanings, and the meaning of each word sense is typically composed by sev…
Hierarchical Attention Based Semi-supervised Network Representation Learning 1. 任务 给定:节点信息网络 目标:为每个节点生成一个低维向量   基于半监督的分层关注网络嵌入方法 2. 创新点: 以半监督的方式结合外部信息 1. 提出SHANE 模型,集成节点结构,文本和标签信息,并以半监督的方式学习网络嵌入 2. 使用分层注意网络学习节点的文本特征, 两层双向GRU 提取单词和句子的潜在特征   3. 背景 1. 现…
Paper Information Title:Simple Unsupervised Graph Representation LearningAuthors: Yujie Mo.Liang Peng.Jie Xu, Xiaoshuang Shi.Xiaofeng ZhuSources:2022 AAAIPaper:downloadCode:download Abstract 作者提出了一种简单的无监督图表示学习方法来进行有效和高效的对比学习.具体而言,通过构造多重损失探索结构信息与邻域信息之…
Paper Information 论文作者:Zhen Peng.Wenbing Huang.Minnan Luo.Q. Zheng.Yu Rong.Tingyang Xu.Junzhou Huang论文来源:WWW 2020论文地址:download代码地址:download 前言 1.自监督学习(Self-supervised):属于无监督学习,其核心是自动为数据打标签(伪标签或其他角度的可信标签,包括图像的旋转.分块等等),通过让网络按照既定的规则,对数据打出正确的标签来更好地进行特征表示…
Paper Information 论文标题:Contrastive Multi-View Representation Learning on Graphs论文作者:Kaveh Hassani .Amir Hosein Khasahmadi论文来源:2020, ICML论文地址:download论文代码:download Abstract 介绍了一种自监督的方法,通过对比图的结构视图来学习节点和图级别的表示.与视觉表示学习不同,对于图上的对比学习,将视图的数量增加到两个以上或对比多尺度编码并不…
论文信息 论文标题:Node Representation Learning in Graph via Node-to-Neighbourhood Mutual Information Maximization论文作者:Wei Dong, Junsheng Wu, Yi Luo, Zongyuan Ge, Peng Wang论文来源:CVPR 2022论文地址:download论文代码:download 1 摘要 在本工作中,我们提出了一种简单而有效的自监督节点表示学习策略,通过直接最大化节点的…
论文信息 论文标题:Graph Representation Learning via Contrasting Cluster Assignments论文作者:Chun-Yang Zhang, Hong-Yu Yao, C. L. Philip Chen, Fellow, IEEE and Yue-…
论文信息 论文标题:Bootstrapped Representation Learning on Graphs论文作者:Shantanu Thakoor, Corentin Tallec, Mohammad Gheshlaghi Azar, Rémi Munos, Petar Veličković, Michal Valko论文来源:2021, ArXiv论文地址:download 论文代码:download 1 介绍 研究目的:对比学习中不适用负样本. 本文贡献: 对图比学习不使用负样本 2…
4 Dynamic Graph Representation Learning Via Self-Attention Networks link:https://arxiv.org/abs/1812.09430 Abstract 提出了在动态图上使用自注意力 Conclusion 本文提出了使用自注意力的网络结构用于在动态图学习节点表示.具体地说,DySAT使用(1)结构邻居和(2)历史节点表示上的自我注意来计算动态节点表示,虽然实验是在没有节点特征的图上进行的,但DySAT可以很容易地推广到特…
12 Inductive Representation Learning on Temporal Graphs link:https://arxiv.org/abs/2002.07962 本文提出了时间图注意(TGAT)层,以有效地聚合时间-拓扑邻域特征,并学习时间-特征之间的相互作用.对于TGAT,本文采用自注意机制作为构建模块,并基于调和分析中的经典Bochner定理(又是没见过的定理QAQ)发展了一种新的函数时间编码技术. Conclusion 本文提出了一种新颖的时间感知图注意网络,用于…
导言 传统的神经网络都是基于固定的数据集进行训练学习的,一旦有新的,不同分布的数据进来,一般而言需要重新训练整个网络,这样费时费力,而且在实际应用场景中也不适用,所以增量学习应运而生. 增量学习主要旨在解决灾难性遗忘(Catastrophic-forgetting) 问题,本文将要介绍的<iCaRL: Incremental Classifier and Representation Learning>一文中对增量学习算法提出了如下三个要求: a) 当新的类别在不同时间出现,它都是可训练的 b…
论文阅读笔记 Improved Word Representation Learning with Sememes 一句话概括本文工作 使用词汇资源--知网--来提升词嵌入的表征能力,并提出了三种基于知网资源的词嵌入学习模型,在通用的中文词嵌入评测数据集上进行了评测,取得了较好的结果. 作者简介 该论文选自 ACL 2017,是清华大学孙茂松刘知远老师组的成果.论文的两名共同第一作者分别是牛艺霖和谢若冰. 牛艺霖,清华本科生. 谢若冰,清华研究生(2014-2017),清华本科生(2010-20…
UNSUPERVISED REPRESENTATION LEARNING WITH DEEP CONVOLUTIONAL GENERATIVE ADVERSARIAL NETWORKS  ICLR 2016  摘要:近年来 CNN 在监督学习领域的巨大成功 和 无监督学习领域的无人问津形成了鲜明的对比,本文旨在链接上这两者之间的缺口.提出了一种 deep convolutional generative adversarial networks (DCGANs),that have certai…
by Jason Brownlee on December 20, 2017 in Better Deep Learning Transfer learning is a machine learning method where a model developed for a task is reused as the starting point for a model on a second task. It is a popular approach in deep learning w…
Momentum Contrast for Unsupervised Visual Representation Learning 一.Methods Previously Proposed 1. End-to-end Mechanisms 方法简介:对于每个mini-batch中的 image 进行增强,每一张图片经过增强处理都得到两张图片q 和 $ k_+ $, 这两张互为正样本.采用两个不同的 encoder 分别对 q和 dictionary中的keys(包含q对应的正样本 $ k_+…
Momentum Contrast for Unsupervised Visual Representation Learning 一.Methods Previously Proposed 1. End-to-end Mechanisms 方法简介:对于每个mini-batch中的 image 进行增强,每一张图片经过增强处理都得到两张图片q 和 $ k_+ $, 这两张互为正样本.采用两个不同的 encoder 分别对 q和 dictionary中的keys(包含q对应的正样本 $ k_+…
目录 主要挑战 主要的贡献和创新点 提出的方法 总体框架与算法 Vanilla pseudo label sampling (PLS) PLS with adversarial learning Training losses 实验与结果 结论 导言 文章提出了一种新的三元组损失 HSoften-Triplet-Loss,在处理one-shot Re-ID任务中的噪声伪标签样本方面非常强大.文章还提出了一种伪标签采样过程,确保了在保持高可靠性的同时为训练图像形成正对和负对的可行性.与此同时,文章…
目录 原文链接: 小样本学习与智能前沿 01 Multitask Learning 01.1 Parameter Sharing 01.2 Parameter Tying. 02 Embedding Learning 02.1 Task-Specific Embedding Model. 02.2 Task-Invariant Embedding Model. 02.3 Hybrid Embedding Model. 03 Learning with External Memory 03.1 R…
[论文阅读笔记] metapath2vec: Scalable Representation Learning for Heterogeneous Networks 本文结构 解决问题 主要贡献 算法原理 参考文献 (1) 解决问题 解决异构网络上的节点嵌入问题. 论文中指出了异构网络嵌入的两个关键问题: 在异构网络中,如何定义和建模节点邻域的概念? 如何优化嵌入模型,使得其能够有效的保留多种类型的节点和边的结构和语义信息. (2) 主要贡献 Contribution 1: 定义了异构网络表示学…
论文题目:<Momentum Contrast for Unsupervised Visual Representation Learning> 论文作者: Kaiming He.Haoqi Fan. Yuxin Wu. Saining Xie. Ross Girshick 论文来源:arXiv 论文来源:https://github.com/facebookresearch/moco 1 主要思想 文章核心思想是使用基于 Contrastive learning 的方式自监督的训练一个图片表…
目录 概 主要内容 Wang Z., Zhang W., Liu N. and Wang J. Scalable rule-based representation learning for interpretable classification. In Advances in Neural Information Processing Systems (NIPS), 2021. 概 传统的诸如决策树之类的机器学习方法具有很强的结构性, 也因此具有很好的可解释性. 和深度学习方法相比, 这类方…
论文信息 Title:<Symmetric Graph Convolutional Autoencoder for Unsupervised Graph Representation Learning> Authors:Jiwoong Park.Minsik Lee.H. Chang.Kyuewang Lee.J. Choi Sources:2019 IEEE/CVF International Conference on Computer Vision (ICCV) Paper:Downlo…