1. 深层神经网络(Deep L-layer neural network ) 2. 前向传播和反向传播(Forward and backward propagation) 3. 总结 4. 深层网络中的前向传播(Forward propagation in a Deep Network) 向量化实现过程可以写成: 注:这里只能用一个显示for循环,l 从 1 到 L,然后一层接着一层去计算. 如何减少bug 4.1 核对矩阵的维数(Getting your matrix dimensions…

总结 一.处理数据 1.1 向量化(vectorization) (height, width, 3) ===> 展开shape为(heigh*width*3, m)的向量 1.2 特征归一化(Normalization) 一般数据,使用标准化(Standardlization), z(i) = (x(i) - mean) / delta,mean与delta代表X的均值和标准差,最终特征处于[-1,1]区间 对于图片,可直接使用 Min-Max Scaliing,即将每个特征直接除以 255,…

第三周:浅层神经网络(Shallow neural networks) 3.1 神经网络概述(Neural Network Overview) 使用符号$ ^{[…

3.1 神经网络概述(Neural Network Overview ) (神经网络中,我们要反复计算a和z,最终得到最后的loss function) 3.2 神经网络的表示(Neural Network Representation) 3.3 计算一个神经网络的输出(Computing a Neural Network's output ) 向量化计算: 详细过程见下: 公式 3.10: (W---4x3) 3.4 多样本向量化(Vectorizing across multiple exa…

近期開始看一些深度学习的资料.想学习一下深度学习的基础知识.找到了一个比較好的tutorial,Neural Networks and Deep Learning,认真看完了之后觉得收获还是非常多的.从最主要的感知机開始讲起.到后来使用logistic函数作为激活函数的sigmoid neuron,和非常多其它如今深度学习中常使用的trick. 把深度学习的一个发展过程讲得非常清楚,并且还有非常多源代码和实验帮助理解.看完了整个tutorial后打算再又一次梳理一遍,来写点总结.以后再看其它资料…

第一周:深度学习的实践层面 (Practical aspects of Deep Learning) 1.1 训练,验证,测试集(Train / Dev / Test sets) 创建新应用的过程中,不可能从一开始就准确预测出一些信息和其他超级参数,例如:神经网络分多少层:每层含有多少个隐藏单元:学习速率是多少:各层采用哪些激活函数.应用型机器学习是一个高度迭代的过程. 从一个领域或者应用领域得来的直觉经验,通常无法转移到其他应用领域,最佳决策取决于 所拥有的数据量,计算机配置中输入特征的数量,…

参考, An Intuitive Explanation of Convolutional Neural Networks http://www.hackcv.com/index.php/archives/104/?hmsr=toutiao.io&utm_medium=toutiao.io&utm_source=toutiao.io CNN基础 CNN网络主要用于compute vision 对于图片输入而言,是一种极高维度的数据,比如分辨率1000*1000*3的图,可能会产生3 bil…

神经网络基础 Deep learning就是深层神经网络 神经网络的结构如下, 这是两层神经网络,输入层一般不算在内,分别是hidden layer和output layer hidden layer中的一个神经元的结构如下, 可以看出这里的神经元结构等同于一个逻辑回归单元,神经元都是由线性部分和非线性部分组成 非线性部分,又称为激活函数,这里用的是sigmod,也可以用其他,比如relu或tanh 为什么要用激活函数? 因为既然要用神经网络去拟合任意function,光用线性拟合是不行的,因为…

The Unreasonable Effectiveness of Recurrent Neural Networks,http://karpathy.github.io/2015/05/21/rnn-effectiveness/ https://www.csdn.net/article/2015-08-28/2825569 RNN基础 rnn是的输入和输出都是序列,如图 所以rnn可以认为是用于学习序列和序列之间的匹配关系 如何用符号表示 X,Y表示输入,输出 <t>,表示序列中序号 (i)…

Lesson 1 Neural Network and Deep Learning 这篇文章其实是 Coursera 上吴恩达老师的深度学习专业课程的第一门课程的课程笔记. 参考了其他人的笔记继续归纳的. 逻辑回归 (Logistic Regression) 逻辑回归的定义 神经网络的训练过程可以分为前向传播(forward propagation) 和反向传播 (backward propagation) 的 过程.我们通过逻辑回归的例子进行说明. 逻辑回归是一个用于二分类 (binary c…

Coursera课程<Neural Networks and Deep Learning> deeplearning.ai Week2 Neural Networks Basics 2.1 Logistic Regression as a Neutral Network 2.1.1 Binary Classification 二分类 逻辑回归是一个用于二分类(binary classification)的算法.首先我们从一个问题开始说起,这里有一个二分类问题的例子,假如你有一张图片作为输入,比…

Coursera课程<Neural Networks and Deep Learning> deeplearning.ai Week1 Introduction to deep learning What is a Neural Network? 让我们从一个房价预测的例子开始讲起. 假设你有一个数据集,它包含了六栋房子的信息.所以,你知道房屋的面积是多少平方英尺或者平方米,并且知道房屋价格.这时,你想要拟合一个根据房屋面积预测房价的函数. 如果使用线性回归进行拟合,那么可以拟合出一条直线.但…

1 Introduction to Deep Learning 介绍了神经网络的定义,有监督学习,分析了为什么深度学习会崛起 1.1 结构化数据/非结构化数据 结构化数据:有一个确切的数据库,有key-value索引 非结构化数据:音频.图像等.没有确定的结构 1.2 为什么深度学习会兴起 数据规模.算力提升.算法创新 2 Neural Networks Basics 如何把逻辑回归问题当作一个神经网络,如何使用python,如何向量化 2.1 二分类问题 标签0代表不是猫,标签1代表猫 图片信…

最近花了半个多月把Mchiael Nielsen所写的Neural Networks and Deep Learning这本书看了一遍,受益匪浅. 该书英文原版地址地址:http://neuralnetworksanddeeplearning.com/ 回顾一下这本书主要讲的内容 1.使用神经网络识别手写数字 作者从感知器模型引申到S型神经元.然后再到神经网络的结构.并用一个三层神经网络结构来进行手写数字识别, 作者详细介绍了神经网络学习所使用到梯度下降法,由于当训练输入数量过大时,学习过程将变…

neural network and deep learning 这本书看了陆陆续续看了好几遍了,但每次都会有不一样的收获. DL领域的paper日新月异.每天都会有非常多新的idea出来,我想.深入阅读经典书籍和paper,一定能够从中发现remian open的问题.从而有不一样的视角. PS:blog主要摘取书中重要内容简述. 摘要部分 Neural networks, a beautiful biologically-inspired programming paradigm which…

Neural Networks and Deep Learning This is the first course of the deep learning specialization at Coursera which is moderated by moderated by DeepLearning.ai. The course is taught by Andrew Ng. Introduction to deep learning Be able to explain the maj…

About this Course If you want to break into cutting-edge AI, this course will help you do so. Deep learning engineers are highly sought after, and mastering deep learning will give you numerous new career opportunities. Deep learning is also a new "s…

第三周:浅层神经网络(Shallow neural networks) 神经网络概述(Neural Network Overview) 本周你将学习如何实现一个神经网络.在我们深入学习具体技术之前,我希望快速的带你预览一下本周你将会学到的东西.如果在本节课中的某些细节你没有看懂你也不用担心,我们将在后面的几节课中深入讨论技术细节. 现在我们开始快速浏览一下如何实现神经网络.首先你需要输入特征 \(x​\),参数 \(w​\) 和 \(b​\),通过这些你就可以计算出 \(z​\),接下来使用 \…

Week 3 Quiz - Shallow Neural Networks(第三周测验 - 浅层神经网络) \1. Which of the following are true? (Check all that apply.) Notice that I only list correct options(以下哪一项是正确的?只列出了正确的答案) [ ]…

1. Build a logistic regression model, structured as a shallow neural network2. Implement the main steps of an ML algorithm, including making predictions, derivative computation, and gradient descent.3. Implement computationally efficient, highly vect…

Deep Learning论文笔记之(四)CNN卷积神经网络推导和实现 zouxy09@qq.com http://blog.csdn.net/zouxy09          自己平时看了一些论文,但老感觉看完过后就会慢慢的淡忘,某一天重新拾起来的时候又好像没有看过一样.所以想习惯地把一些感觉有用的论文中的知识点总结整理一下,一方面在整理过程中,自己的理解也会更深,另一方面也方便未来自己的勘察.更好的还可以放到博客上面与大家交流.因为基础有限,所以对论文的一些理解可能不太正确,还望大家不吝指正…

Deep Learning论文笔记之(一)K-means特征学习 zouxy09@qq.com http://blog.csdn.net/zouxy09          自己平时看了一些论文,但老感觉看完过后就会慢慢的淡忘,某一天重新拾起来的时候又好像没有看过一样.所以想习惯地把一些感觉有用的论文中的知识点总结整理一下,一方面在整理过程中,自己的理解也会更深,另一方面也方便未来自己的勘察.更好的还可以放到博客上面与大家交流.因为基础有限,所以对论文的一些理解可能不太正确,还望大家不吝指正交流,…

 1. 直接上手篇 台湾李宏毅教授写的,<1天搞懂深度学习> slideshare的链接: http://www.slideshare.net/tw_dsconf/ss-62245351?qid=108adce3-2c3d-4758-a830-95d0a57e46bc&v=&b=&from_search=3 网盘下载链接:http://pan.baidu.com/s/1nv54p9R     密码:3mty. 中文在线课程:Hung-yi Lee (http://spe…

Deep Learning论文笔记之(八)Deep Learning最新综述 zouxy09@qq.com http://blog.csdn.net/zouxy09 自己平时看了一些论文,但老感觉看完过后就会慢慢的淡忘,某一天重新拾起来的时候又好像没有看过一样.所以想习惯地把一些感觉有用的论文中的知识点总结整理一下,一方面在整理过程中,自己的理解也会更深,另一方面也方便未来自己的勘察.更好的还可以放到博客上面与大家交流.因为基础有限,所以对论文的一些理解可能不太正确,还望大家不吝指正交流,谢谢.…

Deep Learning论文笔记之(三)单层非监督学习网络分析 zouxy09@qq.com http://blog.csdn.net/zouxy09          自己平时看了一些论文,但老感觉看完过后就会慢慢的淡忘,某一天重新拾起来的时候又好像没有看过一样.所以想习惯地把一些感觉有用的论文中的知识点总结整理一下,一方面在整理过程中,自己的理解也会更深,另一方面也方便未来自己的勘察.更好的还可以放到博客上面与大家交流.因为基础有限,所以对论文的一些理解可能不太正确,还望大家不吝指正交流,…

<Neural Network and Deep Learning>_chapter4: A visual proof that neural nets can compute any function文章总结(前三章翻译在百度云里) 链接:http://neuralnetworksanddeeplearning.com/chap4.html: Michael Nielsen的<Neural Network and Deep Learning>教程中的第四章主要是证明神经网络可以用…

Deep Learning论文笔记之(六)Multi-Stage多级架构分析 zouxy09@qq.com http://blog.csdn.net/zouxy09          自己平时看了一些论文,但老感觉看完过后就会慢慢的淡忘,某一天重新拾起来的时候又好像没有看过一样.所以想习惯地把一些感觉有用的论文中的知识点总结整理一下,一方面在整理过程中,自己的理解也会更深,另一方面也方便未来自己的勘察.更好的还可以放到博客上面与大家交流.因为基础有限,所以对论文的一些理解可能不太正确,还望大家不…

DA就是“Denoising Autoencoders”的缩写.继续给yusugomori做注释,边注释边学习.看了一些DA的材料,基本上都在前面“转载”了.学习中间总有个疑问:DA和RBM到底啥区别?(别笑,我不是“学院派”的看Deep Learning理论,如果“顺次”看下来,可能不会有这个问题),现在了解的差不多了,详情见:[deep learning学习笔记]Autoencoder.之后,又有个疑问,DA具体的权重更新公式是怎么推导出来的?我知道是BP算法,不过具体公示的推导.偏导数的求…

Spectral Norm Regularization for Improving the Generalizability of Deep Learning论文笔记 2018年12月03日 00:03:07 RRZS 阅读数 153更多 分类专栏: 深度学习 cv   版权声明:本文为博主原创文章,遵循CC 4.0 BY-SA版权协议,转载请附上原文出处链接和本声明. 本文链接:https://blog.csdn.net/beyondjv610/article/details/8472247…

14 TEMPORAL GRAPH NETWORKS FOR DEEP LEARNING ON DYNAMIC GRAPHS link:https://scholar.google.com.hk/scholar_url?url=https://arxiv.org/pdf/2006.10637.pdf%3Fref%3Dhttps://githubhelp.com&hl=zh-TW&sa=X&ei=oVakYtvtIo74yASQ1Jj4AQ&scisig=AAGBfm0bNv…