Tensorflow MNIST浅层神经网络的解释和答复
本系列文章由 @yhl_leo 出品,转载请注明出处。
文章链接: http://blog.csdn.net/yhl_leo/article/details/51416540
看到之前的一篇博文:深入MNIST code测试,接连有读者发问,关于其中的一些细节问题,这里进行简单的答复。
Tensorflow中提供的示例中MNIST网络结构比较简单,属于浅层的神经网络,只有两个卷积层和全连接层,我按照Caffe的网络结构绘制一个模型流程:
再附上每一层的具体参数网络(依旧仿照caffe的模式):
现在再来解释一些读着的疑问:
在卷积层
conv1
和conv2
中的32/64
是什么,怎么来的?这里它们指的其实就是卷积核的数量,这里卷积核设置参数为[5,5,1,32], strides=[1,1,1,1], padding='SAME'
,分别解释一下:[5,5,1,32]
:卷积核为5x5的窗口,因为输入图像是一通道灰度图像,所以第三参数为1
,使用彩色图像时,一般设置为3
,最后32
就是指卷积核的数量,为什么要使用这么多卷积核呢?我理解的是,每种卷积只对某些特征敏感,获取的特征很有限,因此将多种不同的卷积核分别对图像进行处理,就能获得更多的特征。每个卷积核按照规则扫描完图像后,就输出一张特征图像(feature map),因此32
也指输出的特征图。strides=[1,1,1,1]
:指卷积窗口的滑动方式,这里是指逐像素滑动。padding='SAME'
:所谓的padding
是为了解决图像边缘部分的像素,很容易想象,当卷积窗口不是一个像素大小时,图像边缘的部分区域是不能覆盖的(或者说卷积窗口覆盖该像素时,部分窗口已经位于图像区域以外了),很简单的做法是先将图像的拓展一下,使得位于边缘区域的像素也能进行卷积。SAME
就是一种padding
方法,即图像向四周拓展kernel_width/2
和kernel_height/2
个像素。那么这里输出的特征图像的大小就为:28x28x32
。- 同理
[5,5,32,64]
可以理解。
关于
batch
大小,我也没有深入了解过,浅显的理解为:训练样本有几万张,如果一起进行结算,其中的矩阵太过庞大,对于计算机来讲非常有压力,所以分批进行,这里的50
就是指每一批的训练子数据的大小。至于训练20000次,是否会导致同一个样本的重复训练?答案是绝对的,机器学习中,有bagging,random forests中有提到这方面的知识,想了解的话,可以自己阅读相关论文。关于训练中准确度反复的现象,这是在正常不过的,要真正理解,首先需要自行补习关于梯度下降算法的原理(这里不详细介绍),一般来讲,我们希望优化算法在最少步骤下收敛到理想的结果,但是难点在于如何在每一步优化的过程中提供最优的学习率,简单的做法是给定固定的”学习率“,例如这里设置的学习率是
1e-3
,这样做虽然不能保证每一步的优化是最优的,但是从大量的训练测试来看,整体趋势是朝着我们所想要的方向。最后附上一张图:
- 关于dropout,是为了避免神经网络训练过程中由于数据样本的不足,导致的过拟合问题。推荐阅读论文:Dropout: A Simple Way to Prevent Neural Networks from Overfitting
解释的比较简单,有不准确的地方请指正,希望能帮到有疑惑的读者,如有其它疑惑,大家一起探讨。
Tensorflow MNIST浅层神经网络的解释和答复的更多相关文章
- tensorFlow(四)浅层神经网络
tensorFlow见基础 实验 MNIST数据集介绍 MNIST是一个手写阿拉伯数字的数据集. 其中包含有60000个已经标注了的训练集,还有10000个用于测试的测试集. 本次实验的任务就是通过手 ...
- Andrew Ng - 深度学习工程师 - Part 1. 神经网络和深度学习(Week 3. 浅层神经网络)
=================第3周 浅层神经网络=============== ===3..1 神经网络概览=== ===3.2 神经网络表示=== ===3.3 计算神经网络的输出== ...
- deeplearning.ai 神经网络和深度学习 week3 浅层神经网络 听课笔记
1. 第i层网络 Z[i] = W[i]A[i-1] + B[i],A[i] = f[i](Z[i]). 其中, W[i]形状是n[i]*n[i-1],n[i]是第i层神经元的数量: A[i-1]是第 ...
- deeplearning.ai 神经网络和深度学习 week3 浅层神经网络
1. 第i层网络 Z[i] = W[i]A[i-1] + B[i],A[i] = f[i](Z[i]). 其中, W[i]形状是n[i]*n[i-1],n[i]是第i层神经元的数量: A[i-1]是第 ...
- 吴恩达《深度学习》-第一门课 (Neural Networks and Deep Learning)-第三周:浅层神经网络(Shallow neural networks) -课程笔记
第三周:浅层神经网络(Shallow neural networks) 3.1 神经网络概述(Neural Network Overview) 使用符号$ ^{[
- 矩池云 | 搭建浅层神经网络"Hello world"
作为图像识别与机器视觉界的 "hello world!" ,MNIST ("Modified National Institute of Standards and Te ...
- [DeeplearningAI笔记]神经网络与深度学习3.2_3.11(激活函数)浅层神经网络
觉得有用的话,欢迎一起讨论相互学习~Follow Me 3.2 神经网络表示 对于一个由输入层,隐藏层,输出层三层所组成的神经网络来说,输入层,即输入数据被称为第0层,中间层被称为第1层,输出层被称为 ...
- ng-深度学习-课程笔记-4: 浅层神经网络(Week3)
1 神经网络概览( Neural Networks Overview ) 先来快速过一遍如何实现神经网络. 首先需要输入特征x,参数w和b,计算出z,然后用激活函数计算出a,在神经网络中我们要做多次这 ...
- 基于MNIST数据集使用TensorFlow训练一个没有隐含层的浅层神经网络
基础 在参考①中我们详细介绍了没有隐含层的神经网络结构,该神经网络只有输入层和输出层,并且输入层和输出层是通过全连接方式进行连接的.具体结构如下: 我们用此网络结构基于MNIST数据集(参考②)进行训 ...
随机推荐
- 使用 StackExchange.Redis 封装属于自己的 RedisHelper
目录 核心类 ConnectionMultiplexer 字符串(String) 哈希(Hash) 列表(List) 有序集合(sorted set) Key 操作 发布订阅 其他 简介 目前 .NE ...
- Visual Studio AI
Visual Studio 完全AI手册 - 从0开始配置环境 https://www.cnblogs.com/ms-uap/p/9123033.html 零.前提条件 一台能联网的电脑,使用win1 ...
- mst
https://www.zybuluo.com/ysner/note/1245941 题面 给一个\(n\)点完全图,点权均小于\(2^m\).定义边权等于两端点点权的与和(即\(a_i\&b ...
- asp.net MVC ajax 请求参数前台加密后台解密
最近有一个需求要求页面查询数据库,查询内容保存到excel里面作为附件加密打包下载.查询的sql作为参数传入后台,实现加密提交.这里做个记录,后面用到直接来拿. 控制器 public ActionRe ...
- 【转】Java 集合系列12之 TreeMap详细介绍(源码解析)和使用示例
概要 这一章,我们对TreeMap进行学习.我们先对TreeMap有个整体认识,然后再学习它的源码,最后再通过实例来学会使用TreeMap.内容包括:第1部分 TreeMap介绍第2部分 TreeMa ...
- CF830A/831D Office Keys
思路: 问题的关键在于对钥匙按照位置排序之后,最终选择的n个钥匙一定是其中的一个连续的区间. 实现: #include <iostream> #include <cstdio> ...
- Android项目实战_手机安全卫士系统加速
## 1.本地数据库自动更新的工作机制1. 开启一个服务,定时访问服务器2. 进行版本对比,如果最新版本比较高,获取需要更新的内容3. 将新内容插入到本地数据库中 ## 2.如何处理横竖屏切换1. 指 ...
- WEB文件上传之apache common upload使用(一)
文件上传一个经常用到的功能,它有许多中实现的方案. 页面表单 + RFC1897规范 + http协议上传 页面控件(flash/html5/activeX/applet) + RFC1897规范 + ...
- [Windows Server 2012] PHPWind安全设置
★ 欢迎来到[护卫神·V课堂],网站地址:http://v.huweishen.com★[护卫神·V课堂]是护卫神旗下专业提供服务器教学视频的网站,每周更新视频. ★ 本节我们将带领大家:PHPWin ...
- (转) Hibernate框架基础——操纵持久化对象的方法(Session中)
http://blog.csdn.net/yerenyuan_pku/article/details/52761021 上一篇文章中我们学习了Hibernate中java对象的状态以及对象的状态之间如 ...