本系列主要是我对吴恩达的deeplearning.ai课程的理解和记录,完整的课程笔记已经有很多了,因此只记录我认为重要的东西和自己的一些理解. 第一门课 神经网络和深度学习(Neural Networks and Deep Learning) 第一周:深度学习引言(Introduction to Deep Learning) 1.常用神经网络的结构与对应的数据类型 数据类型 结构化数据:表格类型的数据,有明确的行和列. 非结构化数据:音频.视频.图像.文本等类型的数据. 网络结构 标准的NN结…

第二周:神经网络的编程基础(Basics of Neural Network programming) 1.逻辑回归的代价函数(Logistic Regression Cost Function) 逻辑回归需要注意的两个点是,sigmoid函数和log损失函数. sigmoid函数的函数表达式为 作为线性函数后的非线性转化,使得逻辑回归有别于硬分类的算法,例如SVM.逻辑回归对于分类的输出结果是[0,1]之间的一个值. 逻辑回归使用的损失函数(用于更新梯度)是 log损失函数,具体公式如下 y^…

第三周:浅层神经网络(Shallow neural networks) 1.激活函数(Activation functions) sigmoid函数和tanh函数两者共同的缺点是,在z特别大或者特别小的情况下,导数的梯度或者函数的斜率会变得特别小,最后就会接近于0,导致降低梯度下降的速度. Relu和Leaky ReLu相对于Sigmoid和tanh函数的优点如下: 第一,在的区间变动很大的情况下,激活函数的导数或者激活函数的斜率都会远大于0,在程序实现就是一个if-else语句,而sigmoi…

第四周:深层神经网络(Deep Neural Networks) 1.深层神经网络(Deep L-layer neural network) 在打算使用深层神经网络之前,先去尝试逻辑回归,尝试一层然后两层隐含层,把隐含层的数量看做是另一个可以自由选择大小的超参数,然后再保留交叉验证数据上评估,或者用你的开发集来评估. 2.前向传播和反向传播(Forward and backward propagation) 前向传播: 反向传播: 3.为什么使用深层表示?(Why deep representa…

从接触机器学习就了解到Andrew Ng的机器学习课程,后来发现又出来深度学习课程,就开始在网易云课堂上学习deeplearning.ai的课程,Andrew 的课真是的把深入浅出.当然学习这些课程还是要有一些基础的.线性代数,高等数学的一些知识. Andrew NG: Deep Learning.ai 网易云课堂(中文字幕) 推荐理由: Andrew Ng老师是讲课的能手,很多人认识他是从Stanford的经典<机器学习>课程上.Andrew老师授课思路清晰,简洁明了. 这是一份优美的信息图…

神经网络和深度学习这一块内容与机器学习课程里Week4+5内容差不多. 这篇笔记记录了Week4+5中没有的内容. 参考笔记:深度学习笔记 神经网络和深度学习 结构化数据:如数据库里的数据 非结构化数据:hard to understand:如图像.文本 一. 深度学习的优势 算法.硬件计算能力的提高使神经网络运行速度变快 大数据(带labels的)使得神经网络精确度更高 在数据集不多的时候深度学习的优势并不是很明显,但是在大数据的情况下,辅助以好的算法和强计算能力,会使神经网络的运行速度和精确…

目录 一. 改善过拟合问题 Bias/Variance 正则化Regularization 1. L2 regularization 2. Dropout正则化 其他方法 1. 数据变形 2. Early stopping 二. 特征缩放 1. 归一化 2. 标准化 三. 初始化参数 梯度消失.梯度爆炸 四. 梯度检验 在神经网络实施梯度检验的实用技巧和注意事项 五. 优化算法 1. mini-Batch梯度下降法 2. 动量梯度下降法 指数加权平均 指数平均加权的偏差修正 动量梯度下降法公式…

一.什么是ML策略 假设你正在训练一个分类器,你的系统已经达到了90%准确率,但是对于你的应用程序来说还不够好,此时你有很多的想法去继续改善你的系统: 收集更多训练数据 训练集的多样性不够,收集更多的具有多样性的实验数据和更多样化的反例集. 使用梯度下降法训练更长的时间 尝试一个不同的优化算法,例如Adam优化算法. 尝试更大的神经网络或者更小的神经网络 尝试dropout 尝试L2正则化 改变神经网络的结构: 修改激活函数 改变隐藏单元的数目 如果你使用了错误的方向,不仅会浪费大量的时间,而且…

目录 一. 正交化 二. 指标 1. 单一数字评估指标 2. 优化指标.满足指标 三. 训练集.验证集.测试集 1. 数据集划分 2. 验证集.测试集分布 3. 验证集.测试集大小 四. 比较人类表现水平 1. 贝叶斯最佳误差 2. 改进方向 全部来自同一分布 当训练集来自不同分布 五. 误差分析 错误标签 六. 快速搭建系统并迭代 七. 迁移学习 八. 多任务学习 九. 端到端的学习 参考笔记:深度学习笔记 一. 正交化 正交化就是将深度学习的整个过程的所有需要解决的问题独立开来.针对于某个方…

因为是Jupyter Notebook的形式,所以不方便在博客中展示,具体可在我的github上查看. 第一章 Neural Network & DeepLearning week2 Logistic Regression with a Neural Network mindset v3.ipynb 很多朋友反映找不到h5文件,我已经上传了,具体请戳h5文件 week3 Planar data classification with one hidden layer v3.ipynb week4…