吴恩达+neural-networks-deep-learning+第二周作业

【吴恩达+neural-networks-deep-learning+第二周作业】的更多相关文章

cousera 吴恩达深度学习第一课第二周作业过拟合的表现

上图是课上的编程作业运行10000次迭代后,输出每一百次迭代训练准确度和测试准确度的走势图,可以看到在600代左右测试准确度为最大的,74%左右, 然后掉到70%左右,再掉到68%左右,然后升到70%,然后是68%, 然后稳定在70% , 这个设置的学习率为 0.005 . 这个是学习率设置为0.01的情况,在900代左右达到72%准确度的测试准确度, 7500代以后测试准确度也达到最大值 72% 根据这个小测试,一个小想法就是在训练最早到达最高值以后就可以停止训练了,但是什么时候到达的…

(Deep) Neural Networks (Deep Learning) , NLP and Text Mining

(Deep) Neural Networks (Deep Learning) , NLP and Text Mining 最近翻了一下关于Deep Learning 或者普通的Neural Network在NLP以及Text Mining方面应用的文章,包括Word2Vec等,然后将key idea提取出来罗列在了一起,有兴趣的可以下载看看: http://pan.baidu.com/s/1sjNQEfz 我没有把一些我自己的想法放到里面,大家各抒己见,多多交流. 下面简单概括一些其中的几篇p…

Github | 吴恩达新书《Machine Learning Yearning》完整中文版开源

吴恩达《深度学习》-第一门课 (Neural Networks and Deep Learning)-第二周：(Basics of Neural Network programming)-课程笔记

第二周:神经网络的编程基础 (Basics of Neural Network programming) 2.1.二分类(Binary Classification) 二分类问题的目标就是习得一个分类器,它以图片的特征向量(RGB值的矩阵,最后延展成一维矩阵x,如下)作为输入,然后预测输出结果…

吴恩达《深度学习》-第二门课 (Improving Deep Neural Networks:Hyperparameter tuning, Regularization and Optimization)-第一周：深度学习的实践层面 (Practical aspects of Deep Learning) -课程笔记

第一周:深度学习的实践层面 (Practical aspects of Deep Learning) 1.1 训练,验证,测试集(Train / Dev / Test sets) 创建新应用的过程中,不可能从一开始就准确预测出一些信息和其他超级参数,例如:神经网络分多少层:每层含有多少个隐藏单元:学习速率是多少:各层采用哪些激活函数.应用型机器学习是一个高度迭代的过程. 从一个领域或者应用领域得来的直觉经验,通常无法转移到其他应用领域,最佳决策取决于所拥有的数据量,计算机配置中输入特征的数量,…

吴恩达 Deep learning 第二周神经网络基础

逻辑回归代价函数(损失函数)的几个求导特性 1.对于sigmoid函数 2.对于以下函数 3.线性回归与逻辑回归的神经网络图表示利用Numpy向量化运算与for循环运算的显著差距 import numpy as np import time ar = np.array([[1,2,3],[4,5,6]] a1 = np.random.rand(10000000) a2 = np.random.rand(10000000) t1 = time.time() np.dot(a1,a2) c = 0…

吴恩达《深度学习》第二门课（3）超参数调试、Batch正则化和程序框架

3.1调试处理 (1)不同超参数调试的优先级是不一样的,如下图中的一些超参数,首先最重要的应该是学习率α(红色圈出),然后是Momentum算法的β.隐藏层单元数.mini-batch size(黄色圈出).再之后是Layer.learning rate decay(紫色圈出).最后是Adam算法中的β1.β2.ε. (2)用随机取值代替网格点取值.下图左边是网格点取值,如果二维参数中,一个参数调试的影响特别小,那么虽然取了25个点,其实只相当于取了5个不同的点:而右图中随机取值取了多少个点就代…

笔记 | 吴恩达新书《Machine Learning Yearning》

这本书共112页,内容不多,偏向于工程向,有很多不错的细节,在此记录一下. 0 书籍获取关注微信公众号"机器学习炼丹术",回复[MLY]获取pdf 1 测试集与训练集的比例 2 误差分析误差分析我感觉是一个成熟的AIer必备的能力.俗话说数据决定准确率的上线,模型只是在逼近这个值.模型效果的提升首先是需要去看数据样本的,把分类错误的样本一个一个看一看,然后心中自己会给出判断:是否有可能减少这种分类错误的样本?如何减少? [也许心中没有这样的判断,但是看一看错误的样本是很重要的.一般…

吴恩达(Andrew Ng)——机器学习笔记1

之前经学长推荐,开始在B站上看Andrew Ng的机器学习课程.其实已经看了1/3了吧,今天把学习笔记补上吧. 吴恩达老师的Machine learning课程共有113节(B站上的版本https://www.bilibili.com/video/av9912938).这篇学习笔记是结合第一.二部分(我所理解的): 第一部分:概览机器学习,介绍其中的一些专业名词及定义.Section 1-26 第二部分:如何使用Octave实现机器学习中的基本算法(Ocatave就是开源版的Matlab).Se…

吴恩达《深度学习》-课后测验-第一门课 (Neural Networks and Deep Learning)-Week 2 - Neural Network Basics（第二周测验 - 神经网络基础）

Week 2 Quiz - Neural Network Basics(第二周测验 - 神经网络基础) 1. What does a neuron compute?(神经元节点计算什么?) [ ] A neuron computes an activation function followed by a linear function (z = Wx + b)(神经元节点先计算激活函数,再计算线性函数(z = Wx + b)) [ ] A neuron computes a linear f…