Lecture 5 CNN 课堂笔记参见:https://zhuanlan.zhihu.com/p/22038289?refer=intelligentunit 不错的总结笔记:https://blog.csdn.net/sugar_girl/article/details/79108709 1.卷积核步长公式:(N-F+2*padding)/stride+1=new_N N:原图形宽,F:filter宽,padding:填充宽度 2.卷积核参数公式:5*5*3的10个filter:5*5*3+…

Lecture 7 神经网络二 课程内容记录:https://zhuanlan.zhihu.com/p/21560667?refer=intelligentunit 1．协方差矩阵: 协方差(Covariance)在概率论和统计学中用于衡量两个变量的总体误差.而方差是协方差的一种特殊情况,即当两个变量是相同的情况. 协方差表示的是两个变量的总体的误差,这与只表示一个变量误差的方差不同. 如果两个变量的变化趋势一致,也就是说如果其中一个大于自身的期望值,另外一个也大于自身的期望值,那么两个变量之间…

 反向传播 课程内容记录:https://zhuanlan.zhihu.com/p/21407711?refer=intelligentunit 雅克比矩阵(Jacobian matrix) 参见https://www.cnblogs.com/feifanrensheng/p/8615686.html 神经网络一 课程内容记录: (上)https://zhuanlan.zhihu.com/p/21462488?refer=intelligentunit (下)https://zhuanlan.z…

Lecture 4 最优化 课程内容记录: (上)https://zhuanlan.zhihu.com/p/21360434?refer=intelligentunit (下)https://zhuanlan.zhihu.com/p/21387326?refer=intelligentunit 1．代码注释: numpy.random.randn(): numpy.random.randn(d0,d1,…,dn):rand函数返回一个或一组样本,具有标准正态分布..dn对应每个维度,函数返回值为…

Lecture 9 CNN Architectures 参见:https://blog.csdn.net/qq_29176963/article/details/82882080#GoogleNet_83 一. LeNet-5: 神经网络的第一个实例,用于识别邮票上的手写数字,使用步长为1,大小为5*5的卷积核,对第一层进行操作,然后进行池化,通过几层卷积和池化,在网络的最后还有一些全连接层.LeNet在数据识别领域取得了成功. 二. AlexNet: Alexnet是2012年ImageNet…

Lecture 7  Training Neural Networks 2 课堂笔记参见:https://zhuanlan.zhihu.com/p/21560667?refer=intelligentunit 本节课主要讲述比较常用的优化算法,正则化方法以及迁移学习. 一.        优化: 随机梯度下降算法是有一些问题的,如图所示,如果目标类似于山坡的最低点,而我们的权重方向W1,W2正好一个竖直,一个水平,对应海森矩阵的最大奇异值和最小奇异值,那么Loss将会对水平更新非常不敏感.这是我…

Lecture 6  Training Neural Networks 课堂笔记参见:https://zhuanlan.zhihu.com/p/22038289?refer=intelligentunit 本节课内容主要包括三部分:训练前准备.训练和评分.具体包括激活函数的选择,预处理,权重初始化,正则化,梯度检查,监控学习进程,参数更新,超参数优化和最终的模型评估. 一.激活函数 激活函数就是f,在以往线性评分的基础上加上激活函数,引入了非线性项,整体作为评分. 1.     Sigmoid:…

Lecture 8  Deep Learning Software 课堂笔记参见:https://blog.csdn.net/u012554092/article/details/78159316 今天我们来介绍深度学习软件,它们的性能.优劣以及应用流程,包括CPU.GPU和一些流行的深度学习框架. 一.          CPU vs GPU GPU被称作显卡(graphics card),或者图形处理器(Graphics Processing Unit),是一种专门进行图像运算工作的微处理器…

Lecture 1 视频网址:https://www.bilibili.com/video/av17204303/?p=2 https://zhuanlan.zhihu.com/p/21930884?refer=intelligentunit 补充材料翻译笔记.https://blog.csdn.net/han_xiaoyang 作业参考 https://zhuanlan.zhihu.com/p/30748903 作业参考 David Marr的1970年出版的书籍<Vision>中认为,为了…

Lecture 3 课程内容记录:(上)https://zhuanlan.zhihu.com/p/20918580?refer=intelligentunit (中)https://zhuanlan.zhihu.com/p/20945670?refer=intelligentunit (下)https://zhuanlan.zhihu.com/p/21102293?refer=intelligentunit 1．线性分类器(linear classifer): 我们总是希望得到一个函数f(x,w…