Coursera-Neural Networks by Geoffrey Hinton】的更多相关文章

feed-forward networks symmetrically-connection neural networks…
别看本文没有几页纸,本着把经典的文多读几遍的想法,把它彩印出来看,没想到效果很好,比在屏幕上看着舒服.若用蓝色的笔圈出重点,这篇文章中几乎要全蓝.字字珠玑. Reducing the Dimensionality of Data with Neural Networks G.E. Hinton and R.R. Salakhutdinov  摘要 训练一个带有很小的中间层的多层神经网络,可以重构高维空间的输入向量,实现从高维数据到低维编码的效果.(原文为high-dimensional data…
CNN综述文章 的翻译 [2019 CVPR] A Survey of the Recent Architectures of Deep Convolutional Neural Networks 翻译 综述深度卷积神经网络架构:从基本组件到结构创新 目录 摘要    1.引言    2.CNN基本组件        2.1 卷积层        2.2 池化层        2.3 激活函数        2.4 批次归一化        2.5 Dropout        2.6 全连接层…
机器学习能良好解决的问题 识别模式 识别异常 预測 大脑工作模式 人类有个神经元,每一个包括个权重,带宽要远好于工作站. 神经元的不同类型 Linear (线性)神经元  Binary threshold (二值)神经元  watermark/2/text/aHR0cDovL2Jsb2cuY3Nkbi5uZXQv/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70/gravity/Center" width="300&quo…
声明:所有内容来自coursera,作为个人学习笔记记录在这里. 请不要ctrl+c/ctrl+v作业. Optimization Methods Until now, you've always used Gradient Descent to update the parameters and minimize the cost. In this notebook, you will learn more advanced optimization methods that can spee…
声明:所有内容来自coursera,作为个人学习笔记记录在这里. Initialization Welcome to the first assignment of "Improving Deep Neural Networks". Training your neural network requires specifying an initial value of the weights. A well chosen initialization method will help…
Link: Neural Networks for Machine Learning - 多伦多大学 Link: Hinton的CSC321课程笔记1 Link: Hinton的CSC321课程笔记2 一年后再看课程,亦有收获,虽然看似明白,但细细推敲其实能挖掘出很多深刻的内容:以下为在线课程以及该笔记的课程重难点总结. Lecture 01 增强学习: (这是ng的拿手好戏,他做无人直升机可是做了好久)增强学习的输出是一个动作或者一系列的动作,通过与实际的场合下的环境互动来决定动作,增强学习的…
Link: Neural Networks for Machine Learning - 多伦多大学 Link: Hinton的CSC321课程笔记 Ref: 神经网络训练中的Tricks之高效BP (反向传播算法) 关于梯度下降的东西,涉及的知识很多,有必要单独一章 Lecture 06 —— mini批量梯度训练及三个加速的方法 (详见链接) 一.mini-批量梯度下降概述 这部分将介绍使用随机梯度下降(SGD)学习来训练NN,着重介绍mini-批量版本,而这个也是现今用的最广泛的关于训练大…
Link: Neural Networks for Machine Learning - 多伦多大学 Link: Hinton的CSC321课程笔记 补充: 参见cs231n 2017版本,ppt写得比过去更好. [译] 理解 LSTM 网络:模块内部解析讲得不错. Lecture 07 Lecture 08 完全递归网络(Fully recurrent network) Hopfield网络(Hopfield network) Elman networks and Jordan network…
Link: Neural Networks for Machine Learning - 多伦多大学 Link: Hinton的CSC321课程笔记 Lecture 09 Lecture 10 提高泛化能力 介绍不同的方法去控制网络的数据表达能力,并介绍当我们使用这样一种方法的时候如何设置元参数,然后给出一个通过提早结束训练来控制网络能力(其实就是防止过拟合)的例子. 所以我们需要方法来阻止过拟合, 第一个方法也是目前最好的方法:就是简单的增加更多的数据,如果你能提供更多的数据,那么就不需要去提…