+ mu) * v # 位置更新变了形式 对于NAG(Nesterov's Accelerated Momentum)的来源和数学公式推导,我们推荐以下的拓展阅读: Yoshua Bengio的Advances in optimizing Recurrent Networks,Section 3.5. Ilya Sutskever's thesis (pdf)在section 7.2对于这个主题有更详尽的阐述. 学习率退火 在训练深度网络的时候,让学习率随着时间退火通常是有帮助的.可以这样理解:…

神经网络推荐博客: 深度学习概述 神经网络基础之逻辑回归 神经网络基础之Python与向量化 浅层神经网络 深层神经网络 前言 首先声明,以下内容绝大部分转自知乎智能单元,他们将官方学习笔记进行了很专业的翻译,在此我会直接copy他们翻译的笔记,有些地方会用红字写自己的笔记,本文只是作为自己的学习笔记.本文内容官网链接:Optimization Note , 1) # 含3个数字的随机输入向量(3x1) h1 = f(np.dot(W1, x) + b1) # 计算第一个隐层的激活数据(4x1)…

tensorflow中使用mnist数据集训练全连接神经网络 ——学习曹健老师“人工智能实践:tensorflow笔记”的学习笔记, 感谢曹老师 前期准备:mnist数据集下载,并存入data目录: 文件列表:四个文件,分别为训练和测试集数据 Four files are available on 官网  http://yann.lecun.com/exdb/mnist/ : train-images-idx3-ubyte.gz:  training set images (9912422 by…

完整代码及其数据,请移步小编的GitHub地址 传送门:请点击我 如果点击有误:https://github.com/LeBron-Jian/DeepLearningNote 在整理这些知识点之前,我建议先看一下原论文,不然看我这个笔记,感觉想到哪里说哪里,如果看了论文,还有不懂的,正好这篇博客就是其详细解析,包括源码解析. 我翻译的链接: 深度学习论文翻译解析(五):Siamese Neural Networks for One-shot Image Recognition 下面开始: 1,S…

本博客内容来自 Stanford University CS231N 2017 Lecture 2 - Image Classification 课程官网:http://cs231n.stanford.edu/syllabus.html 从课程官网可以查询到更详细的信息,查看视频需要FQ上YouTube,如果不能FQ或觉得比较麻烦,也可以从我给出的百度云链接中下载. 课程视频&讲义下载:http://pan.baidu.com/s/1gfu51KJ 问题背景 现在我有一张关于猫的图片,如何让计算…

看了很多关于卷积神经网络的论文和资料 可是我发现一个问题,就是pooling会出现一个问题 我能找到的代码里面都是用的均值子采样,如果改成最大或最小,或P范数都会在学习训练的时候遇到不知道怎么处理的问题 刚刚看到一篇关于反卷积的文章,其中就解决了max,min,median这一类的问题,就是在正向pooling的时候,记下这些max,min,median的位置,然后在BP的时候误差反馈的时候把误差放在记下的位置. pooling 是否真的有必要?…

完整代码及其数据,请移步小编的GitHub地址 传送门:请点击我 如果点击有误:https://github.com/LeBron-Jian/DeepLearningNote 这里结合网络的资料和SENet论文,捋一遍SENet,基本代码和图片都是来自网络,这里表示感谢,参考链接均在后文.下面开始. SENet论文写的很好,有想法的可以去看一下,我这里提供翻译地址: 深度学习论文翻译解析(十六):Squeeze-and-Excitation Networks 在深度学习领域,CNN分类网络的发展…

完整代码及其数据,请移步小编的GitHub地址 传送门:请点击我 如果点击有误:https://github.com/LeBron-Jian/DeepLearningNote 这里结合网络的资料和MobileNet论文,捋一遍MobileNet,基本代码和图片都是来自网络,这里表示感谢,参考链接均在后文.下面开始. MobileNet论文写的很好,有想法的可以去看一下,我这里提供翻译地址: 深度学习论文翻译解析(十七):MobileNets: Efficient Convolutional Ne…

BP神经网络基本原理: 误差逆传播(back propagation, BP)算法是一种计算单个权值变化引起网络性能变化的较为简单的方法.由于BP算法过程包含从输出节点开始,反向地向第一隐含层(即最接近输入层的隐含层)传播由总误差引起的权值修正,所以称为"反向传播".BP神经网络是有教师指导训练方式的多层前馈网络,其基本思想是:从网络输入节点输入的样本信号向前传播,经隐含层节点和输出层节点处的非线性函数作用后,从输出节点获得输出.若在输出节点得不到样本的期望输出,则建立样本的网络输出与…

参考自http://deeplearning.stanford.edu/wiki/index.php/Neural_Networks 神经元模型 h(x)= f(W'x)f(z)一般会用sigmoid函数f(z) = 1/(1+exp(-z)) 或tanh函数f(z) = (exp(z)-exp(-z))/(exp(z)+exp(-z)), 两个函数样子类似,区别是sidmoid的值域0~1,tanh在-1~1注意sigmoid函数的导数特征f'(z)=f(z)(1-f(z))或tanh函数f'…