深度学习概论 1.什么是神经网络? 2.用神经网络来监督学习 3.为什么神经网络会火起来? 1.什么是神经网络? 深度学习指的是训练神经网络.通俗的话,就是通过对数据的分析与计算发现自变量与因变量的映射关系(神经网络模型),这个映射关系可以是单层(一个神经元),也可以是网络(多个神经元),此过程可称为训练过程:其后根据此神经网络模型来对事物进行预测或分类. 通过一个例子来说明何为神经网络.房价的预测,影响房价的因素有很多,现在仅考虑房间大小,即只有一维特征.下图的红叉代表已知价格的房子大小,通过…

===========第2周 优化算法================ ===2.1 Mini-batch 梯度下降=== epoch: 完整地遍历了一遍整个训练集 ===2.2 理解Mini-batch 梯度下降=== Mini-batch=N,Batch GD.训练集小(<=2000),选Bath: Mini-batch=1,Stochastic GD.不会收敛,而是一直在最小值附近“波动”.噪声可以通过减小学习率在一定程度上得到减缓,但每次只处理一个样本,失去了向量化带来的好处 考虑到计算…

 =================第2周 神经网络基础=============== ===4.1  深层神经网络=== Although for any given problem it might be hard to predict in advance exactly how deep a neural network you would want,so it would be reasonable to try logistic regression,try one and then…

 =================第1周 循环序列模型=============== ===1.1 欢迎来到深度学习工程师微专业=== 我希望可以培养成千上万的人使用人工智能,去解决真实世界的实际问题,创造一个人工智能驱动的社会. ===1.2 什么是神经网络=== 实际上隐藏节点可能并没有左图那样明确的定义,你让神经网络自己决定这个节点是什么,我们只给你四个输入特征 随便你怎么计算.注意,当我们计算层数的时候,不计算输出层. ===1.3 用神经网络进行监督学习=== And then, f…

浅层神经网络 1.激活函数 在神经网络中,激活函数有很多种,常用的有sigmoid()函数,tanh()函数,ReLu函数(修正单元函数),泄露ReLu(泄露修正单元函数).它们的图形如下: sigmoid()激活函数,范围是y属于{0, 1},所以0<= y <=1.但是sigmoid函数平均收敛是1,最后的效果可能不太好. 在这个基础上有了tanh激活函数.图形如下: 主要是把sigmoid函数平移得到的.但是这样会有了优化,最终的平均收敛值为0,训练效果更好.所以在实际中,一般是选用ta…

浅层神经网络 初步了解了神经网络是如何构成的,输入+隐藏层+输出层.一般从输入层计算为层0,在真正计算神经网络的层数时不算输入层.隐藏层实际就是一些算法封装成的黑盒子.在对神经网络训练的时候,就是对神经网络的神经元求出最合适的参数. 从这图也也看出,每层神经网络的单个神经元就是一些算法计算. 并且是针对一层的每个神经元的计算逻辑都是一样的,只不过是样本不一样.因此,在这里引出向量化来简化计算. 右图看到如何把神经网络向量化 这里是m维特征输入的向量化过程. 小结 这里的笔记是第三周浅层神经网络的…

神经网络基础 1.图计算 计算时有两种方法:正向传播和反向传播.正向传播是从底层到顶层的计算过程,逐步推出所求公式.反向传播是从顶层到底层,从已知的式子求出因变量的影响关系. 在这里用到的反向传播算法就是为了通过似然函数(成本函数)来确定要计算的参数. 在这里,logistic回归应用了反向传播,主要是为了方便梯度下降算法的计算,来逐次逼近w和b.通过图片看到,反向传播其实就是微积分里的“链式法则”.这块可能要补补微积分才能更深入学习.这里先跳过,反正是明白了logistic回归中的梯度下降应用…

深层神经网络 深层神经网络的组成如图,这里主要是深层神经网络符号的定义. 为什么要用深层神经网络,有什么好处?这里主要是分层的思想.在软件工程中,如果问题遇到困难,一般是通过“加多”一层的方法来解决,通过分层的思想,把每一层的功能解耦.方便整个网络的搭建,方便开发和方便对问题的人脑模拟. 再看这图.分层的好处是每一层有特定的功能,然后组成更复杂的网络,这样可以实现解决更复杂的问题(比如异或) 矩阵的维数要如何确定?先通过W X来确定偏置b的维数,矩阵的维数影响整个网络的计算. 如图是搭建神经网络…

 =================第3周 浅层神经网络=============== ===3..1  神经网络概览=== ===3.2  神经网络表示=== ===3.3  计算神经网络的输出=== 方括号代表层数.   ===3.4  多个例子中的向量化=== ===3.5  向量化实现的解释===  方括号值的是层数,括号代表样本编号.ppt中显示的,不同row代表某一层的hidden unit,不同列代表各个样本,挺形象的呀,有趣.   ===3.6  激活函数=== tanh几乎各方…

 =================第2周 神经网络基础=============== ===2.1  二分分类=== ===2.2  logistic 回归=== It turns out, when you implement you implement your neural network, it will be easier to just keep b and w as separate parameters. 本课程中将分开考虑它们. ===2.3  logistic 回归损失函数…