在前文中,我们介绍了LeNet的相关细节,它是由两个卷积层.两个池化层以及两个全链接层组成.卷积都是5*5的模板,stride =1,池化为MAX.整体来说它有三大特点:局部感受野,权值共享和池化.2012年ALex发布了AlexNet,他比LeNet5更深,而且可以学习更复杂的图像高维特征.接下来,我们就将一起学习AlexNet模型. 论文原文: ImageNet Classification with Deep Convolutional Neural Networks 论文翻译:AlexN…

InceptionV1 论文原文:Going deeper with convolutions    中英文对照 InceptionBN 论文原文:Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift   中英文对照 InceptionV2/V3 论文原文:Rethinking the Inception Architecture for Computer Visi…

[论文标题]Convolutional neural network architecture for geometric matching (2017CVPR) [论文作者]Ignacio Rocco ,Relja Arandjelovi´,Josef Sivic [论文链接]Paper (15-pages // Double column) [Abstract] We address the problem of determining correspondences between two…

手写字体识别模型LeNet5诞生于1994年,是最早的卷积神经网络之一.原文地址为Gradient-Based Learning Applied to Document Recognition,感谢网络中各博主的讲解,尤其是该博客,帮助我的理解,感谢. Model详解 C1 6@28×28 S2 6@14×14 C3 16@10×10 S4 16@5×5 C5 120 F6  84 Output  10 Model概览 代码复现 下图就是我们很熟悉的LeNet-5的结构图,LeNet5由7层CN…

终于有了2个月的空闲时间,给自己消化沉淀,希望别有太多的杂事打扰.在很多课程中,我都学过卷积.池化.dropout等基本内容,但目前在脑海中还都是零散的概念,缺乏整体性框架,本系列博客就希望进行一定的归纳和梳理,谋求一个更清晰的思路. ## Outline 卷积 tensorflow-conv 池化 tensorflow-pooling 反向传播 梯度消散和梯度爆炸 ## Notes [卷积(Convolution)] 卷积的目的就是从原始数据中提取出特征,过程是利用卷积核(kernel)按照下…

本文为转载,作者:Microstrong0305 来源:CSDN 原文:https://blog.csdn.net/program_developer/article/details/80737724 1. Dropout简介 1.1 Dropout出现的原因 在机器学习的模型中,如果模型的参数太多,而训练样本又太少,训练出来的模型很容易产生过拟合的现象.在训练神经网络的时候经常会遇到过拟合的问题,过拟合具体表现在:模型在训练数据上损失函数较小,预测准确率较高:但是在测试数据上损失函数比较大,预…

目录 0. 论文链接 1. 概述 2. 对数据集的处理 3. 网络模型 3.1 ReLU Nonlinearity 3.2 Training on multiple GPUs 3.3 Local Response Normalization 3.4 Overlapping Pooling 3.5 Overall Architecture 4. 减少过拟合 4.1 Data Augmentation 4.2 dropout 5. details of learning 效果 @ 0. 论文链接 h…

优化算法 1 GD/SGD/mini-batch GD GD:Gradient Descent,就是传统意义上的梯度下降,也叫batch GD. SGD:随机梯度下降.一次只随机选择一个样本进行训练和梯度更新. mini-batch GD:小批量梯度下降.GD训练的每次迭代一定是向着最优方向前进,但SGD和mini-batch GD不一定,可能会"震荡".把所有样本一次放进网络,占用太多内存,甚至内存容纳不下如此大的数据量,因此可以分批次训练.可见,SGD是mini-batch GD的…

Exercise:Softmax Regression 习题的链接:Exercise:Softmax Regression softmaxCost.m function [cost, grad] = softmaxCost(theta, numClasses, inputSize, lambda, data, labels) % numClasses - the number of classes % inputSize - the size N of the input vector % la…

Exercise:Convolution and Pooling 习题链接:Exercise:Convolution and Pooling cnnExercise.m %% CS294A/CS294W Convolutional Neural Networks Exercise % Instructions % ------------ % % This file contains code that helps you get started on the % convolutional n…