[DeeplearningAI笔记]ML strategy_2_3迁移学习/多任务学习

【[DeeplearningAI笔记]ML strategy_2_3迁移学习/多任务学习】的更多相关文章

[DeeplearningAI笔记]ML strategy_2_3迁移学习/多任务学习

机器学习策略-多任务学习 Learninig from multiple tasks 觉得有用的话,欢迎一起讨论相互学习~Follow Me 2.7 迁移学习 Transfer Learninig 神经网络可以从一个任务中习得知识,并将这些知识应用到另一个独立的任务中.例如:你已经训练好一个能够识别猫的系统,你利用这些知识或者这些知识的部分去完成更好的阅读X射线扫描图. 这就是所谓的-- 迁移学习 how-to 假设你已经训练好一个图像识别神经网络,首先用一个神经网络,在(x,y)对上训练,其…

[DeeplearningAI笔记]ML strategy_2_4端到端学习

机器学习策略-端到端学习 End-to-end deeplearning 觉得有用的话,欢迎一起讨论相互学习~Follow Me 2.9 什么是端到端学习-What is End-to-end deeplearning 以前有一些数据处理系统或者学习系统,它们需要多个阶段的处理. 端到端学习就是忽略中间的过程用单个神经网络代替它. Speech recognition example 你的目标是输入X,比如说一段音频,目标是将其映射到Y,就是这段音频的听写文本. 传统阶段上,语音识别需要很多阶段…

DLNg[结构化ML项目]第二周迁移学习+多任务学习

1.迁移学习比如要训练一个放射科图片识别系统,但是图片非常少,那么可以先在有大量其他图片的训练集上进行训练,比如猫狗植物等的图片,这样训练好模型之后就可以转移到放射科图片上,模型已经从其他图片中学习到了低层的特征,可能会对当前训练系统产生帮助.但要保证其他图片的量很多. 对迁移的模型只要修改输出层,进行重新训练最后一层或者最后一两层的参数即可,或者还可以在最后层进行添加神经网络层. 任务A和B有相同的输入x; 对任务A比任务B有更多的数据: A的低层特征对学习B有帮助. 2 多任务学习对于迁…

[DeeplearningAI笔记]改善深层神经网络_深度学习的实用层面1.10_1.12/梯度消失/梯度爆炸/权重初始化

觉得有用的话,欢迎一起讨论相互学习~Follow Me 1.10 梯度消失和梯度爆炸当训练神经网络,尤其是深度神经网络时,经常会出现的问题是梯度消失或者梯度爆炸,也就是说当你训练深度网络时,导数或坡度有时会变得非常大,或非常小,甚至以指数方式变小.这加大了训练的难度. 假设你正在训练一个很深的神经网络,并且将其权重命名为"W[1],W[2],W[3],W[4]......W[L]" 为了简化说明,我们选择激活函数为g(z)=z(线性激活函数),b[l]=0(即忽略偏置对神经网络的影响…

[DeeplearningAI笔记]改善深层神经网络_深度学习的实用层面1.9_归一化normalization

觉得有用的话,欢迎一起讨论相互学习~Follow Me 1.9 归一化Normaliation 训练神经网络,其中一个加速训练的方法就是归一化输入(normalize inputs). 假设我们有一个训练集,它有两个输入特征,所以输入特征x是二维的,这是数据集的散点图. 归一化输入需要两个步骤第一步-零均值化 subtract out or to zero out the mean 计算出u即x(i)的均值 \[u=\frac{1}{m}\sum^{m}_{i=1}x^{(i)}\] u是一个…

[DeeplearningAI笔记]ML strategy_1_3可避免误差与改善模型方法

机器学习策略 ML strategy 觉得有用的话,欢迎一起讨论相互学习~Follow Me 1.8 为什么是人的表现今天,机器学习算法可以与人类水平的表现性能竞争,因为它们在很多应用程序中更有生产力和更可行.并且设计和构建机器学习系统的工作流程都比以往更加高效.此外,人类所做的一些任务接近于"完美",这就是机器学习试图模仿人类水平表现的原因. 图中所示的是经过一段时间后人和机器的表现. 当算法逐渐逼近人类表现时,算法的准确率快速提高.但是当这个算法表现比人类更好时,进展和精确度的提…

[DeeplearningAI笔记]ML strategy_1_2开发测试集评价指标

机器学习策略 ML strategy 觉得有用的话,欢迎一起讨论相互学习~Follow Me 1.4 满足和优化指标 Stisficing and optimizing metrics 有时候把你要考虑的所有事情组合成单实数评估指标,有时候并不容易,这时候使用满足和优化指标很重要. 假设以下是一个猫分类器,在我们已经考虑准确度的情况下,我们还要考虑运行时间(即区分一张猫图片所用的时间) 我们的做法是在满足运行时间的条件下,最大限度的提高准确度.例如我们这里选取运行时间必须满足小于100ms的条件…