目录 概 主要内容 Glorot X, Bengio Y. Understanding the difficulty of training deep feedforward neural networks[C]. international conference on artificial intelligence and statistics, 2010: 249-256. @article{glorot2010understanding, title={Understanding the…

1. 摘要 本文尝试解释为什么在深度的神经网络中随机初始化会让梯度下降表现很差,并且在此基础上来帮助设计更好的算法. 作者发现 sigmoid 函数不适合深度网络,在这种情况下,随机初始化参数会让较深的隐藏层陷入到饱和区域. 作者提出了一个新的参数初始化方法,称之为 Xavier 初始化,来帮助深度网络更快地收敛. 2. 激活函数的作用以及训练过程中的饱和现象 2.1. 三种激活函数 \[Tanh(x)=\frac{1-e^{-x}}{1+e^{-x}}\] \[Sigmoid(x)=\frac…

本文作者为:Xavier Glorot与Yoshua Bengio. 本文干了点什么呢? 第一步:探索了不同的激活函数对网络的影响(包括:sigmoid函数,双曲正切函数和softsign y = x/(1+|x|) 函数). 文中通过不断的实验:1,来monitor网络中隐藏单元的激活值来观察它的饱和性:2. 梯度.    并且evaluate 所选择的激活函数与初始化方法(预训练被看作一种特殊的初始化方法). 实验数据的选择: 无穷多的训练集:ShapeSet-3*2: 它这个数据3集上进行…

CNN综述文章 的翻译 [2019 CVPR] A Survey of the Recent Architectures of Deep Convolutional Neural Networks 翻译 综述深度卷积神经网络架构:从基本组件到结构创新 目录 摘要    1.引言    2.CNN基本组件        2.1 卷积层        2.2 池化层        2.3 激活函数        2.4 批次归一化        2.5 Dropout        2.6 全连接层…

Understanding the Effective Receptive Field in Deep Convolutional Neural Networks 理解深度卷积神经网络中的有效感受野 Abstract摘要 We study characteristics of receptive fields of units in deep convolutional networks. The receptive field size is a crucial issue in many vis…

ImageNet Classification with Deep Convolutional Neural Networks 深度卷积神经网络的ImageNet分类 Alex Krizhevsky University of Toronto 多伦多大学 kriz@cs.utoronto.ca Ilya Sutskever University of Toronto 多伦多大学 ilya@cs.utoronto.ca Geoffrey E. Hinton University of Toront…

Ensemble Methods for Deep Learning Neural Networks to Reduce Variance and Improve Performance 2018-12-19 13:02:45 This blog is copied from: https://machinelearningmastery.com/ensemble-methods-for-deep-learning-neural-networks/ Deep learning neural ne…

Image Scaling using Deep Convolutional Neural Networks This past summer I interned at Flipboard in Palo Alto, California. I worked on machine learning based problems, one of which was Image Upscaling. This post will show some preliminary results, dis…

ImageNet Classification with Deep Convolutional Neural Networks 摘要 我们训练了一个大型深度卷积神经网络来将ImageNet LSVRC-2010竞赛的120万高分辨率的图像分到1000不同的类别中.在测试数据上,我们得到了top-1 37.5%, top-5 17.0%的错误率,这个结果比目前的最好结果好很多.这个神经网络有6000万参数和650000个神经元,包含5个卷积层(某些卷积层后面带有池化层)和3个全连接层,最后是一个1…

本文主要参考Ensemble Methods for Deep Learning Neural Networks一文. 1. 前言 神经网络具有很高的方差,不易复现出结果,而且模型的结果对初始化参数异常敏感. 使用集成模型可以有效降低神经网络的高方差(variance). 2. 使用集成模型降低方差 训练多个模型,并将预测结果结合到一起,能够降低方差. 多模型集成能起到作用的前提是,每个模型有自己的特点,每个模型预测出的误差是不同的. 简单的集成方式就是将预测结果取平均,该方法起作用的原因是,不…