+ mu) * v # 位置更新变了形式 对于NAG(Nesterov's Accelerated Momentum)的来源和数学公式推导,我们推荐以下的拓展阅读: Yoshua Bengio的Advances in optimizing Recurrent Networks,Section 3.5. Ilya Sutskever's thesis (pdf)在section 7.2对于这个主题有更详尽的阐述. 学习率退火 在训练深度网络的时候,让学习率随着时间退火通常是有帮助的.可以这样理解:…

) # 对数据进行零中心化(重要) cov = np.dot(X.T, X) / X.shape[0] # 得到数据的协方差矩阵 数据协方差矩阵的第(i, j)个元素是数据第i个和第j个维度的协方差.具体来说,该矩阵的对角线上的元素是方差.还有,协方差矩阵是对称和半正定的.我们可以对数据协方差矩阵进行SVD(奇异值分解)运算. U,S,V = np.linalg.svd(cov) U的列是特征向量,S是装有奇异值的1维数组(因为cov是对称且半正定的,所以S中元素是特征值的平方).为了去除数据相…

神经网络推荐博客: 深度学习概述 神经网络基础之逻辑回归 神经网络基础之Python与向量化 浅层神经网络 深层神经网络 前言 首先声明,以下内容绝大部分转自知乎智能单元,他们将官方学习笔记进行了很专业的翻译,在此我会直接copy他们翻译的笔记,有些地方会用红字写自己的笔记,本文只是作为自己的学习笔记.本文内容官网链接:Optimization Note , 1) # 含3个数字的随机输入向量(3x1) h1 = f(np.dot(W1, x) + b1) # 计算第一个隐层的激活数据(4x1)…

…

本文转载自:https://blog.csdn.net/v_july_v/article/details/51812459 通俗理解卷积神经网络(cs231n与5月dl班课程笔记) 1 前言 2012年我在北京组织过8期machine learning读书会,那时“机器学习”非常火,很多人都对其抱有巨大的热情.当我2013年再次来到北京时,有一个词似乎比“机器学习”更火,那就是“深度学习”. 本博客内写过一些机器学习相关的文章,但上一篇技术文章“LDA主题模型”还是写于2014年11月份,毕竟自…

直观理解深度学习的卷积 探索使他们工作的强大视觉层次   近年来强大且多功能的深度学习框架的出现使得可以将卷积层应用到深度学习模型中,这是一项非常简单的任务,通常可以在一行代码中实现. 然而,理解卷积,特别是第一次理解卷积常常会让人感到有些不安,诸如内核,滤波器,通道等都是相互堆叠在一起的.然而,卷积作为一个概念是非常强大和高度可扩展的,在这篇文章中,我们将逐步分解卷积操作的机制,将它与标准的完全连接的网络相关联,并探索它们是如何建立强大的视觉层次结构,使其成为图像的强大特征提取器. 2D卷积:…

1. ufldl教程√ Andrew Ng的教程,matlab代码. 2. Neural Network and Deep Learning√: 一本未写完的书,非常细致,对基础的概念比如cross entropy cost function, backpropagation有十分详细的介绍,python实现,但是是针对多层神经网络的,没有cnn. 3. Deep Learning:     Bengio大神的书. 4.Learning Deep Architectures for AI 还是Y…

原文作者:zhaozhengcoder链接:https://www.jianshu.com/p/27a2fb320934來源:简书简书著作权归作者所有,任何形式的转载都请联系作者获得授权并注明出处. 前一段时间比较系统的学习了一下tensorflow,从安装tensorflow到实现一些小的demo.在这个过程里面,在网上看了很多教程, 学习了很多大牛的博客,看了很多很棒的代码,同时也掉进了很多坑,走了很多“弯路”.在这里阶段性的小结一下. 推荐的tensorlfow 教程 : 吴恩达的deep…

 1. 直接上手篇 台湾李宏毅教授写的,<1天搞懂深度学习> slideshare的链接: http://www.slideshare.net/tw_dsconf/ss-62245351?qid=108adce3-2c3d-4758-a830-95d0a57e46bc&v=&b=&from_search=3 网盘下载链接:http://pan.baidu.com/s/1nv54p9R     密码:3mty. 中文在线课程:Hung-yi Lee (http://spe…

在前面的两篇博客中,我们介绍了DNN(深度神经网络)并使用keras实现了一个简单的DNN.在这篇博客中将介绍CNN(卷积神经网络),然后在下一篇博客中将使用keras构建一个简单的CNN,对cifar10数据集进行分类预测. CNN简介 我们可以想一个例子,假如我们现在需要对人进行识别分类,根据我们人类的思维,我们肯定是比较他的…