【文献阅读】Augmenting Supervised Neural Networks with Unsupervised Objectives-ICML-2016
一、Abstract
从近期对unsupervised learning 的研究得到启发,在large-scale setting 上,本文把unsupervised learning 与supervised learning结合起来,提高了supervised learning的性能。主要是把autoencoder与CNN结合起来
二、Key words:
SAE;SWWAE; reconstruction;encoder;decoder;VGG-16;Alex-Net
三、 Motivation
- reconstruction loss 很有用,reconstruction loss可以看作一个regularizer(SWWAE文中提到).
- unsupervised learning会对model起一定的限定作用,即相当于一个regularizer,这个regularizer使得encoder阶段提取得到的特征具有可解释性
四、Main contributions
- 本文实验表明了,high-capacity neural networks(采用了known switches)的 intermediate activations 可以保存input的大量信息,除了部分
2.通过结合decoder pathway 的loss,提升了supervised learning model的分类正确率
3.做了几个 autoencoder模型的对比实验,发现: the pooling switches and the layer-wise reconstruction loss 非常重要!
五、Inspired by
- Zhao, J., Mathieu, M., Goroshin, R., and Lecun, Y. Stacked what-where auto-encoders. ArXiv:1506.02351, 2015.
- Simonyan, K. and Zisserman, A. Very deep convolutional networks for large-scale image recognition. In ICLR,2015.
- Krizhevsky, A., Sutskever, I., and Hinton, G. E. Imagenet classification with deep convolutional neural networks.In NIPS, 2012.
Rasmus, A., Valpola, H., Honkala, M., Berglund, M., and Raiko, T. Semi-supervised learning with ladder network.In NIPS, 2015. - Adaptive deconvolutional networks for mid and high level feature learning
- Zeiler, M. D., Krishnan, D., Taylor, G. W., and Fergus, R. Deconvolutional networks. CVPR, 2010.
- Zeiler, M., Taylor, G., and Fergus, R. Adaptive deconvolu-tional networks for mid and high level feature learning.In ICCV, 2011.
key word:SWWAE;VGG-16;Alex-Net;ladder-Net;Deconvolutional network
六、文献具体实验及结果
1.SAE-all模型的训练:
第一步,采用VGG-16(训练好的VGG-16)初始化encoder,采用gaussian初始化decoder
第二步,固定encoder部分,用layerwise的方法训练decoder
第三步,用数据整体的训练更新decoder和encoder的参数
SAE-first模型的训练同SAE-all
SAE-layerwise一般只是拿来初始化 SAE-first SAE-all
SWWAE-all 提升了 1.66 % and 1.18% for single-crop and convolution schemes.
(top-1)
七、 感悟
- 2006~2010年期间, unsupervised learning 盛行是以为当时有标签数据不够大,所以需要用unsupervised leanring 的方法来初始化网络,可以取得较好效果,而 类似imagenet这样的大量标签数据的出现, 用autoencoder来初始化网络的优势已经没有。从这里也可以知道,当数据量较小时,可以考虑用unsupervised learning 的方法来初始化网络,从而提升分类准确率
- reconstruction loss 可以看作 regularization , 即是对enconder的weights做了一些限制,限制其获得的activations要能recon出input,是的提取得到的特征具有可解释性
【文献阅读】Augmenting Supervised Neural Networks with Unsupervised Objectives-ICML-2016的更多相关文章
- 【文献阅读】Self-Normalizing Neural Networks
Self-Normalizing Neural Networks ,长达93页的附录足以成为吸睛的地方(给人感觉很厉害), 此paper提出了新的激活函数,称之为 SELUs ,其具有normaliz ...
- 论文阅读 Streaming Graph Neural Networks
3 Streaming Graph Neural Networks link:https://dl.acm.org/doi/10.1145/3397271.3401092 Abstract 本文提出了 ...
- [ufldl]Supervised Neural Networks
要实现的部分为:forward prop, softmax函数的cost function,每一层的gradient,以及penalty cost和gradient. forwad prop forw ...
- [C3] Andrew Ng - Neural Networks and Deep Learning
About this Course If you want to break into cutting-edge AI, this course will help you do so. Deep l ...
- [Converge] Training Neural Networks
CS231n Winter 2016: Lecture 5: Neural Networks Part 2 CS231n Winter 2016: Lecture 6: Neural Networks ...
- An Intuitive Explanation of Convolutional Neural Networks
https://ujjwalkarn.me/2016/08/11/intuitive-explanation-convnets/ An Intuitive Explanation of Convolu ...
- 论文笔记之:Learning Multi-Domain Convolutional Neural Networks for Visual Tracking
Learning Multi-Domain Convolutional Neural Networks for Visual Tracking CVPR 2016 本文提出了一种新的CNN 框架来处理 ...
- How to Use Convolutional Neural Networks for Time Series Classification
How to Use Convolutional Neural Networks for Time Series Classification 2019-10-08 12:09:35 This blo ...
- 《Graph Neural Networks: A Review of Methods and Applications》阅读笔记
本文是对文献 <Graph Neural Networks: A Review of Methods and Applications> 的内容总结,详细内容请参照原文. 引言 大量的学习 ...
随机推荐
- Color.FromArgb()方法详解
关于颜色值的表示 常用的颜色值表示方式有两种,一种是10进制的RGB值表示,如(0,113,255),三个值分别表示(红,绿,蓝):一种是16进制的颜色码表示,如#ff3212.这两种形式在编程中都可 ...
- Java使用apache的开源数据处理框架commons-dbutils完成增删改
主要使用这个开源jar包的QueryRunner类的update方法来完成数据库的增删改操作. package demo; import java.sql.Connection; import jav ...
- hdu 3986(最短路变形好题)
Harry Potter and the Final Battle Time Limit: 5000/3000 MS (Java/Others) Memory Limit: 65536/6553 ...
- LeetCode OJ-- Substring with Concatenation of All Words ***
https://oj.leetcode.com/problems/substring-with-concatenation-of-all-words/ 找S中子串,每个元素都在T中出现了,且所有T中元 ...
- SpringBoot第十一篇:SpringBoot+MyBatis+Thymelaf实现CRUD
作者:追梦1819 原文:https://www.cnblogs.com/yanfei1819/p/10936304.html 版权声明:本文为博主原创文章,转载请附上博文链接! 引言 总结前面几 ...
- 【WEB基础】HTML & CSS 基础入门(8)表单
前面 前面我们已经熟悉了网页上一些常见的元素,如在网页上显示一段文字.一张图片.一个列表.一张表格等等.这些东西都是事先编辑好显示在页面上只提供给用户看的,实际上,我们可以把这样的页面称之为静态页面. ...
- Android学习--ListView
这篇文章用于总结自己这两天学到的安卓的ListView和RecyclerView 的笔记,以及从我这个iOS开发者的角度去理解和学习这两个控件,会比较一下他们个iOS中那些控件是一致的,可以用来对比的 ...
- Java中的文件上传(原始Servlet实现)
从原始的Servlet来实现文件的上传,代码如下: 参考:https://my.oschina.net/Barudisshu/blog/150026 采用的是Multipart/form-data的方 ...
- 基于WPF系统框架设计(1)-为什么要仿Office2010 Ribbon?
为什么系统框架设计使用Ribbon导航模式? 这得从Office软件的演变说起.微软为什么最后选择使用Ribbon,也许就是很多系统设计要使用Ribbon做功能导航的原因. 你是否还记得曾经使用过的M ...
- 【IntelliJ IDEA】代码中出现Usage of API documented as @since 1.8+ more..
在idea中写代码过程中.有这种报错出现: Usage of API documented as @since 1.8+ more.. 修改JDK版本的几个地方 最后,在pom.xml文件中添加: & ...