论文笔记之： Deep Metric Learning via Lifted Structured Feature Embedding

Deep Metric Learning via Lifted Structured Feature Embedding CVPR 2016 摘要:本文提出一种距离度量的方法,充分的发挥 training batches 的优势,by lifting the vector of pairwise distances within the batch to the matrix of pairwise distances. 刚开始看这个摘要,有点懵逼,不怕,后面会知道这段英文是啥意思的. 引言部分…

论文笔记：Deep Residual Learning

之前提到,深度神经网络在训练中容易遇到梯度消失/爆炸的问题,这个问题产生的根源详见之前的读书笔记.在 Batch Normalization 中,我们将输入数据由激活函数的收敛区调整到梯度较大的区域,在一定程度上缓解了这种问题.不过,当网络的层数急剧增加时,BP 算法中导数的累乘效应还是很容易让梯度慢慢减小直至消失.这篇文章中介绍的深度残差 (Deep Residual) 学习网络可以说根治了这种问题.下面我按照自己的理解浅浅地水一下 Deep Residual Learning 的基本思想,并…

读论文系列：Deep transfer learning person re-identification

读论文系列:Deep transfer learning person re-identification arxiv 2016 by Mengyue Geng, Yaowei Wang, Tao Xiang, Yonghong Tian Transfer Learning 旧数据训练得到的分类器,在新的数据上重新训练,从而在新数据上取得比较好的表现,新数据与旧数据有相似的地方,但具有不同的分布. Fine tuning一般步骤这是InceptionV4的图示移除Softmax分类层换成与…

论文笔记——A Deep Neural Network Compression Pipeline: Pruning, Quantization, Huffman Encoding

论文<A Deep Neural Network Compression Pipeline: Pruning, Quantization, Huffman Encoding> Pruning by learning only the important connections. all connections with weights below a threshold are removed from the network. retrain the network to learn the…

【论文阅读】Deep Mutual Learning

文章:Deep Mutual Learning 出自CVPR2017(18年最佳学生论文) 文章链接:https://arxiv.org/abs/1706.00384 代码链接:https://github.com/YingZhangDUT/Deep-Mutual-Learning…

论文解读《Deep Resdual Learning for Image Recognition》

总的来说这篇论文提出了ResNet架构,让训练非常深的神经网络(NN)成为了可能. 什么是残差? "残差在数理统计中是指实际观察值与估计值(拟合值)之间的差."如果回归模型正确的话, 我们可以将残差看作误差的观测值."更准确地,假设我们想要找一个 xx,使得 f(x)=bf(x)=b,给定一个 xx 的估计值 x0x0,残差(residual)就是 b−f(x0)b−f(x0),同时,误差就是 x−x0x−x0 为什么需要堆叠更深的NN呢? 论文阐述道 -- 深度神经网络自然…

Person Re-identification 系列论文笔记（二）：A Discriminatively Learned CNN Embedding for Person Re-identification

A Discriminatively Learned CNN Embedding for Person Re-identification Zheng Z, Zheng L, Yang Y. A Discriminatively Learned CNN Embedding for Person Re-identification[J]. Acm Transactions on Multimedia Computing Communications & Applications, 2017, 14…

论文笔记：Deep feature learning with relative distance comparison for person re-identification

这篇论文是要解决 person re-identification 的问题.所谓 person re-identification,指的是在不同的场景下识别同一个人(如下图所示).这里的难点是,由于不同场景下的角度.背景亮度等等因素的差异,同一个人的图像变化非常大,因而不能使用一般的图像分类的方法.论文采用了一种相似性度量的方法来促使神经网络学习出图像的特征,并根据特征向量的欧式距离来确定相似性.除此之外,论文通过对网络的训练过程进行分析,提出了一种计算效率更高的模型训练方法. 论文方法相似性…

论文笔记：Deep Attentive Tracking via Reciprocative Learning

Deep Attentive Tracking via Reciprocative Learning NIPS18_tracking Type:Tracking-By-Detection 本篇论文地主要创新是在将注意机制引入到目标跟踪摘要:源自认知神经科学地视觉注意促进人类对相关的内容的感知.近些年大量工作将注意机制引入到计算机视觉系统中.对于视觉跟踪来说,面临的最大问题在于目标外表的大尺度变化.自注图通过选择性关注临时的鲁棒特征提升视觉跟踪的性能.当前的一些检测跟踪算法主要使用额外的自注模型…

论文笔记 — L2-Net: Deep Learning of Discriminative Patch Descriptor in Euclidean Space

论文: 本文主要贡献: 1.提出了一种新的采样策略,使网络在少数的epoch迭代中,接触百万量级的训练样本: 2.基于局部图像块匹配问题,强调度量描述子的相对距离: 3.在中间特征图上加入额外的监督: 4.描述符的紧实性. 基于CNN的局部图像块匹配方法可以分为两类:一是,作为二分类问题,不存在明确的特征描述子概念,好处是准确率相对第二类高很多,但可移植性能差:二是,CNN输出学习的图像块描述子,没有度量学习层,好处是可以作为以前的很多基于手工描述子方法应用的直接替代. A.网络框架: 左边是输…

论文笔记之：Semi-Supervised Learning with Generative Adversarial Networks

Semi-Supervised Learning with Generative Adversarial Networks 引言:本文将产生式对抗网络(GAN)拓展到半监督学习,通过强制判别器来输出类别标签.我们在一个数据集上训练一个产生式模型 G 以及一个判别器 D,输入是N类当中的一个.在训练的时候,D被用于预测输入是属于 N+1的哪一个,这个+1是对应了G的输出.这种方法可以用于创造更加有效的分类器,并且可以比普通的GAN 产生更加高质量的样本. 将产生式模型应用于半监督学习并非一个新颖…

论文笔记(4)-Deep Boltzmann Machines

Deep Boltzmann Machines是hinton的学生写的,是在RBM基础上新提出的模型,首先看一下RBM与BM的区别很明显可以看出BM是在隐含层各个节点以及输入层各个节点都是相互关联的,但是RBM只是两层之间的节点互相关联. 而DBM其实就是多层的RBM,类似于DBN,RBM是拥有一个hidden层,而DBM拥有多个hidden层如上图是一个三层的DBM,十分类似于DBN,但是他的隐层是互相可以传递的,而DBN的几个隐层是不能够互相传递的,是单向的. 关于DBM,使用最大似然估…

论文笔记 Pose-driven Deep Convolutional Model for Person Re-identification_tianqi_2017_ICCV

1. 摘要为解决姿态变化的问题,作者提出Pose-driven-deep convolutional model(PDC),结合了global feature跟local feature, 而local feature 还用一个feature weight network(FWN) 进行重要性程度度量,在常用reid数据集 CUHK03 .Market1501.viper 上面取到了非常好的效果. 2. 介绍这个PDC模型有两个比较重要的子网络:FEN FWN:最后整合global feat…

深度学习论文笔记：Deep Residual Networks with Dynamically Weighted Wavelet Coefficients for Fault Diagnosis of Planetary Gearboxes

这篇文章将深度学习算法应用于机械故障诊断,采用了“小波包分解+深度残差网络(ResNet)”的思路,将机械振动信号按照故障类型进行分类. 文章的核心创新点:复杂旋转机械系统的振动信号包含着很多不同频率的冲击和振荡成分,而且不同频带内的振动成分在故障诊断中的重要程度经常是不同的,因此可以按照如下步骤设计深度神经网络,实现对不同频带信息自适应加权的功能. 第一步:对振动信号进行离散小波包分解,构建小波包系数矩阵,作为深度学习算法的输入. 第二步:作者设计了一种动态加权层(dynamic weight…

论文笔记《Deep Hand: How to Train a CNN on 1 Million Hand Images When Your Data Is Continuous and Weakly Labelled》

一.概述这个是最近的核心工作了,基本上都是靠着这篇paper的model过日子了啊.. 论文主要讲的是hand gesture recognition,实际上是用googlenet做的一个classification的工作,他的工作也就是在googlenet上做了fine-tuning,那么论文的关键是什么呢...当然就是标题啦..关键工作是CNN+EM,通过EM算法对隐变量参数进行预测,用CNN代替stepE的高斯模型的预测,这样迭代下来,最终训练了在这个值标记了3000张但是有1 Mill…

《Ranked List Loss for Deep Metric Learning》CVPR 2019

Motivation: 深度度量学习的目标是学习一个嵌入空间来从数据点中捕捉语义信息.现有的成对或者三元组方法随着模型迭代过程会出现大量的平凡组导致收敛缓慢.针对这个问题,一些基于排序结构的损失取得了不错的结果,本文主要是针对排序loss存在的两个不足做的改进. 不足一:给定一个query,只利用了小部分的数据点来构建相似度结构,导致一些有用信息被忽略.本文给出的解决方案是把样本划分为正例集和负例集,目标是使得query离正例集比负例集近一个间隔. 不足二:此前方法都是在嵌入空间尽可能推进正样本…

论文笔记——Deep Residual Learning for Image Recognition

论文地址:Deep Residual Learning for Image Recognition ResNet--MSRA何凯明团队的Residual Networks,在2015年ImageNet上大放异彩,在ImageNet的classification.detection.localization以及COCO的detection和segmentation上均斩获了第一名的成绩,而且Deep Residual Learning for Image Recognition也获得了CVPR20…

Deep Learning论文笔记之（四）CNN卷积神经网络推导和实现（转）

Deep Learning论文笔记之(四)CNN卷积神经网络推导和实现 zouxy09@qq.com http://blog.csdn.net/zouxy09 自己平时看了一些论文,但老感觉看完过后就会慢慢的淡忘,某一天重新拾起来的时候又好像没有看过一样.所以想习惯地把一些感觉有用的论文中的知识点总结整理一下,一方面在整理过程中,自己的理解也会更深,另一方面也方便未来自己的勘察.更好的还可以放到博客上面与大家交流.因为基础有限,所以对论文的一些理解可能不太正确,还望大家不吝指正…

Deep Learning论文笔记之（八）Deep Learning最新综述

Deep Learning论文笔记之(八)Deep Learning最新综述 zouxy09@qq.com http://blog.csdn.net/zouxy09 自己平时看了一些论文,但老感觉看完过后就会慢慢的淡忘,某一天重新拾起来的时候又好像没有看过一样.所以想习惯地把一些感觉有用的论文中的知识点总结整理一下,一方面在整理过程中,自己的理解也会更深,另一方面也方便未来自己的勘察.更好的还可以放到博客上面与大家交流.因为基础有限,所以对论文的一些理解可能不太正确,还望大家不吝指正交流,谢谢.…

Deep Learning论文笔记之（六）Multi-Stage多级架构分析

Deep Learning论文笔记之(六)Multi-Stage多级架构分析 zouxy09@qq.com http://blog.csdn.net/zouxy09 自己平时看了一些论文,但老感觉看完过后就会慢慢的淡忘,某一天重新拾起来的时候又好像没有看过一样.所以想习惯地把一些感觉有用的论文中的知识点总结整理一下,一方面在整理过程中,自己的理解也会更深,另一方面也方便未来自己的勘察.更好的还可以放到博客上面与大家交流.因为基础有限,所以对论文的一些理解可能不太正确,还望大家不…

论文笔记(1)：Deep Learning.

论文笔记1:Deep Learning 2015年,深度学习三位大牛(Yann LeCun,Yoshua Bengio & Geoffrey Hinton),合作在Nature上发表深度学习的综述性论文,介绍了什么是监督学习.反向传播来训练多层神经网络.卷积神经网络.使用深度卷积网络进行图像理解.分布式特征表示与语言处理.递归神经网络,并对深度学习技术的未来发展进行展望. 原文摘要: 1,深度学习可以让那些拥有多个处理层的计算模型来学习具有多层次抽象的数据的表示. …

论文笔记(2)：A fast learning algorithm for deep belief nets.

论文笔记(2):A fast learning algorithm for deep belief nets. 这几天继续学习一篇论文,Hinton的A Fast Learning Algorithm for Deep Belief Nets.这篇论文一开始读起来是相当费劲的,学习了好几天才了解了相关的背景,慢慢的思路也开始清晰起来.DBN算法就是Wake-Sleep算法+RBM,但是论文对Wake-Sleep算法解释特别少.可能还要学习Wake-Sleep和RBM相关的的知识才能慢慢理解,今天…