参考知乎的讨论:https://www.zhihu.com/question/29021768 1.计算简单,反向传播时涉及除法,sigmod求导要比Relu复杂: 2.对于深层网络,sigmod反向传播时,容易出现梯度消失的情况(在sigmod接近饱和区),造成信息丢失: 3.Relu会使一些输出为0,造成了网络的稀疏性,缓解过拟合. droupout:防止过拟合 参考:http://www.cnblogs.com/tornadomeet/p/3258122.html…

Droupout与Batch Normalization都是深度学习常用且基础的训练技巧了.本文将从理论和实践两个角度分布其特点和细节. Droupout 2012年,Hinton在其论文中提出Dropout.当一个复杂的前馈神经网络被训练在小的数据集时,容易造成过拟合.为了防止过拟合,可以通过阻止特征检测器的共同作用来提高神经网络的性能. Droupout是一种针对深度学习广泛应用的正则化技术.在每次迭代时随机关闭一些神经单元,随着迭代的进行,由于其他神经元可能在任何时候都被关闭,因此神经元对…

参考这篇博文 博主写的非常好!   https://blog.csdn.net/program_developer/article/details/80737724 参考这篇博文 博主写的非常好!   https://blog.csdn.net/program_developer/article/details/80737724 参考这篇博文 博主写的非常好!   https://blog.csdn.net/program_developer/article/details/80737724 参…

当训练样本比较少时,为了防止过拟合,可以丢掉一些节点的连接,让某些隐含层结点不工作(即停止更新权值),采用部分连接的方式. 参考:http://blog.csdn.net/on2way/article/details/50525548 和http://www.cnblogs.com/tornadomeet/p/3258122.html,这篇博文还做了个小实验…

本文根据最近学习TensorFlow书籍网络文章的情况,特将一些学习心得做了总结,详情如下.如有不当之处,请各位大拿多多指点,在此谢过. 一.AlexNet模型及其基本原理阐述 1.关于AlexNet 2012年,AlexKrizhevsky提出了深度卷积神经网络模型AlexNet,可以看作LeNet的一种更深更宽的版本.该模型包含了6亿3000万个连接,6000万个参数和65万个神经元,拥有5个卷积层,其中3个卷积层后面连接了最大池化层,最后还有3个全连接层.它将LeNet的思想得到更广泛的传…

前言 这是<一天搞懂深度学习>的第二部分 一.选择合适的损失函数 典型的损失函数有平方误差损失函数和交叉熵损失函数. 交叉熵损失函数: 选择不同的损失函数会有不同的训练效果 二.mini-batch和epoch (1)什么是mini-batch和epoch 所谓的mini-batch指的是我们将原来的数据分成不重叠的若干个小的数据块.然后在每一个epoch里面分别的运行每个mini-batch.ecpoch的次数和mini-batch的大小可以由我们自己设置. (2)进行mini-batch和…

一.前述 TensorBoard是tensorFlow中的可视化界面,可以清楚的看到数据的流向以及各种参数的变化,本文基于一个案例讲解TensorBoard的用法. 二.代码 设计一个MLP多层神经网络来训练数据 import tensorflow as tf from tensorflow.examples.tutorials.mnist import input_data max_steps = 1000#最大迭代次数 learning_rate = 0.001#学习率 dropout =…

You Only Look Once: Unified, Real-Time Object Detection Joseph Redmon, CVPR, 2016 1. 之前的目标检测工作将分类器用作检测,而YOLO将检测问题看做回归问题,用一个网络端对端地执行检测任务(包括边界框位置和相应的类别概率预测),这使得YOLO可以直接对检测的表现进行优化. 2. YOLO具有如下优点: 速度快且mAP高,YOLO45帧每秒,fast YOLO 155帧每秒(两倍于其他实时检测系统的mAP) 对背景的…

U-Net: Convolutional Networks for Biomedical Image Segmentation U-Net:用于生物医学图像分割的卷积网络 摘要 要想成功地训练一个深度网络需要大量的数以千计的有标记的样本,这已经成为了业内共识.在本文中,我们提出了一种网络和相应的训练策略,它依赖于强大的数据扩充技术,以更有效地使用可用的有标记的样本.该体系结构由捕获context的contracting路径和实现精确定位的symmetric expanding路径构成.我们表明这…

本文先对FCN的会议论文进行了粗略的翻译,使读者能够对论文的结构有个大概的了解(包括解决的问题是什么,提出了哪些方案,得到了什么结果).然后,给出了几篇博文的连接,对文中未铺开解释的或不易理解的内容作了详尽的说明.最后给出了FCN代码的详解(待更新). Fully Convolutional Networks for Semantic Segmentation 用于语义分割的全卷积网络 摘要 卷积网络是可以产生具有层次结构的特征的强大的视觉模型.我们展示了只通过由端到端,像素像素训练的卷积网络进…