一.进行误差分析 很多时候我们发现训练出来的模型有误差后,就会一股脑的想着法子去减少误差.想法固然好,但是有点headlong~ 这节视频中吴大大介绍了一个比较科学的方法,具体的看下面的例子 还是以猫分类器为例,假设我们的模型表现的还不错,但是依旧存在误差,预测后错误标记的数据中有一部分狗图片被错误的标记成了猫.这个时候按照一般的思路可能是想通过训练出狗分类器模型来提高猫分类器,或者其他的办法,反正就是要让分类器更好地区分狗和猫. 但是现在的问题是,假如错误分类的100个样本中,只有5个狗样本被…

第一章 神经网络与深度学习(Neural Network & Deeplearning) DeepLearning.ai学习笔记(一)神经网络和深度学习--Week3浅层神经网络 DeepLearning.ai学习笔记(一)神经网络和深度学习--Week4深层神经网络 第二章 改善深层神经网络 DeepLearning.ai学习笔记(二)改善深层神经网络:超参数调试.正则化以及优化--Week1深度学习的实用层面 DeepLearning.ai学习笔记(二)改善深层神经网络:超参数调试.正则化以…

一.基础模型 假设要翻译下面这句话: "简将要在9月访问中国" 正确的翻译结果应该是: "Jane is visiting China in September" 在这个例子中输入数据是10个中文汉字,输出为6个英文单词,\(T_x\)和\(T_y\)数量不一致,这就需要用到序列到序列的RNN模型. ​ 类似的例子还有看图说话: 只需要将encoder部分用一个CNN模型替换就可以了,比如AlexNet,就可以得到"一只(可爱的)猫躺在楼梯上"…

一.为什么要进行实例探究? 通过他人的实例可以更好的理解如何构建卷积神经网络,本周课程主要会介绍如下网络 LeNet-5 AlexNet VGG ResNet (有152层) Inception 二.经典网络 1.LeNet-5 该网络主要针对灰度图像训练的,用于识别手写数字. 该网络是在1980s提出的,当时很少用到Padding,所以可以看到随着网络层次增加,图像的高度和宽度都是逐渐减小的,深度则不断增加. 另外当时人们会更倾向于使用Average Pooling,但是现在则更推荐使用Max…

一.词汇表征 首先回顾一下之前介绍的单词表示方法,即one hot表示法. 如下图示,"Man"这个单词可以用 \(O_{5391}\) 表示,其中O表示One_hot.其他单词同理. 但是这样的表示方法有一个缺点,看是看下图中右侧给出的例子,比如给出这么一句不完整的话: **I want a glass of orange ___** 假设通过LSTM算法学到了空白处应该填"juice".但是如果将orange改成apple,即 **I want a glass…

一.为什么选择序列模型 序列模型可以用于很多领域,如语音识别,撰写文章等等.总之很多优点... 二.数学符号 为了后面方便说明,先将会用到的数学符号进行介绍. 以下图为例,假如我们需要定位一句话中人名出现的位置. 红色框中的为输入.输出值.可以看到人名输出用1表示,反之用0表示: 绿色框中的\(x^{<t>},y^{<t>}\)表示对应红色框中的输入输出值的数学表示,注意从1开始. 灰色框中的\(T_x,T_y\)分别表示输入输出序列的长度,在该例中,\(T_x=9,T_y=9\)…

1. Mini-batch梯度下降法 介绍 假设我们的数据量非常多,达到了500万以上,那么此时如果按照传统的梯度下降算法,那么训练模型所花费的时间将非常巨大,所以我们对数据做如下处理: 如图所示,我们以1000为单位,将数据进行划分,令\(x^{\{1\}}=\{x^{(1)},x^{(2)}--x^{(1000)}\}\), 一般地用\(x^{\{t\}},y^{\{t\}}\)来表示划分后的mini-batch. 注意区分该系列教学视频的符号标记: 小括号() 表示具体的某一个元素,指一个…

介绍 DeepLearning课程总共五大章节,该系列笔记将按照课程安排进行记录. 另外第一章的前两周的课程在之前的Andrew Ng机器学习课程笔记(博客园)&Andrew Ng机器学习课程笔记(CSDN)系列笔记中都有提到,所以这里不再赘述. 1.神经网络概要 注意:这一系列的课程中用中括号表示层数,例如\(a^{[1]}\)表示第二层(隐藏层)的数据. 2.神经网络表示 这个图的内容有点多,跟着下面的步骤来理解这个图吧: 首先看蓝色字体,这个2层的神经网络(输入层一般理解成第0层)有输入层…

一.什么是人脸识别 老实说这一节中的人脸识别技术的演示的确很牛bi,但是演技好尴尬,233333 啥是人脸识别就不用介绍了,下面笔记会介绍如何实现人脸识别. 二.One-shot(一次)学习 假设我们发财了,开了一家公司.然后作为老板的我们希望与时俱进,所以想使用人脸识别技术来实现打卡. 假如我们公司只有4个员工,按照之前的思路我们训练的神经网络模型应该如下: 如图示,输入一张图像,经过CNN,最后再通过Softmax输出5个可能值的大小(4个员工中的一个,或者都不是,所以一一共5种可能性).…

一.为什么是ML策略 如上图示,假如我们在构建一个喵咪分类器,数据集就是上面几个图,训练之后准确率达到90%.虽然看起来挺高的,但是这显然并不具一般性,因为数据集太少了.那么此时可以想到的ML策略有哪些呢?总结如下: 收集更多的数据 收集更多不同的训练集 结合梯度下降训练算法更长时间 尝试Adam算法 尝试更大的网路 尝试小一点的网络 试着用一下dropout算法 加上\(L_2\)正则项 改善网络结构,如 激活函数 隐藏层节点数量 and so on 二.正交化 正交这个词很好理解,即各个变量…