这本书共112页,内容不多,偏向于工程向,有很多不错的细节,在此记录一下。

0 书籍获取

关注微信公众号“机器学习炼丹术”,回复【MLY】获取pdf

1 测试集与训练集的比例

2 误差分析

  • 误差分析我感觉是一个成熟的AIer必备的能力。俗话说数据决定准确率的上线,模型只是在逼近这个值。模型效果的提升首先是需要去看数据样本的,把分类错误的样本一个一个看一看,然后心中自己会给出判断:是否有可能减少这种分类错误的样本?如何减少?

【也许心中没有这样的判断,但是看一看错误的样本是很重要的。一般看100例分类错误样本就算很多了】

这里我给出自己遇到的几种常见的误差分析的结论:

  • 最基础的也是最严重的问题:标注错误。看错误的样本的时候很容易发现原因是标注错误。
  • 样本为某种新类别,训练集中没有对应样本。猫狗分类样本中,假如有一种狗耳朵的猫,而这种品种在训练集中从来没有出现过或者数量很少;
  • 分类错误的样本可能图像质量不好;
  • ......

3 方差与偏差

这一块说的很好,之前只知道模型有方差和偏差,但是不清楚:什么是模型的方差,什么是模型的偏差。

  • 偏差:算法在训练集上的误差;
  • 方差:算法在测试集上的表现和训练集上相差多少。

假设你希望构建一个误差为 5% 的猫识别器。而目前的训练集错误率为 15%,开发集(验证集)错误率为 16%。

  • 在上面的例子中,偏差为15%,方差为1%

在看几个例子:

这里还需要提出来一个最优错误率的概念

  • 世界上最好的算法,应该有什么样的错误率。比方说,猫狗分类,最好的算法“大脑”可以100%的分类正确,所以这个最优错误率为0%;如果是一个语音识别,人类会因为噪音问题识别率只有14%,那么最优错误率就是14%。
  • 对于上面的例子,假设这个语音识别问题的训练错误率15%,开发错误率30%,那么我们不能说这个模型存在高偏差和高方差,因为最优错误率就是不可避免偏差,可避免偏差只有1%,所以同样的偏差方差在不同的最优错误率下,要做不同的判断。这种情况下,语音识别算法为低偏差和高方差。

3.1 避免偏差的技术

3.2 避免方差的技术

4 判断增加数据是否有效

【就是绘制验证集的准确率和样本数量之间的曲线】

4.1 增加数据有效

  • 这张图中的绿线,是期望错误率,我们希望模型可以实现什么的精度;
  • 可以看到,随着数据集的增加,精度是越来越好的,所以后期我们还可以增加样本。

4.2 增加数据无效

  • 这张图中,可以看到增加数据集可坑并不会有很好的提升了。

通常,我们还会增加一条曲线训练误差曲线,单独的验证误差曲线可能存在波动和噪音。

  • 从这个图中,我们可以确定,增加数据并不能起到很好的效果了。
  • 蓝色的训练误差只会随着数据的增加而不断上升
  • 红色的验证误差通常是高于蓝色的训练误差。
  • 之前提到的偏差,为training error和desired performance之间的差值;
  • 之前提到的方差,为dev error和training error之间的距离。

4.3 其他情况

  • 蓝色训练误差曲线相对较低,红色的开发误差曲线比蓝色训练误差高得多。因此,偏差很小,但方差很大。添加更多的训练数据可能有助于缩小开发误差和训练误差之间的差距。

  • 这种情况下,训练误差很大,它比期望的性能水平要高得多,开发误差也比训练误差大得多。 因此,学习算法有着明显的偏差和方差。此时你必须找到一种方法来减少算法中的偏差和方差。

笔记 | 吴恩达新书《Machine Learning Yearning》的更多相关文章

  1. 吴恩达《Machine Learning Yearning》总结(1-10章)

    1.为什么选择机器学习策略 案例:建立猫咪图像识别app 系统的优化可以有很多的方向: (1)获取更多的数据集,即更多的图片: (2)收集更多多样数据,如处于不常见的位置的猫的图,颜色奇异的猫的照片等 ...

  2. 吴恩达《Machine Learning Yearning》总结(31-40章)

    31.解读学习曲线:其他情况 下图反映了高方差,通过增加数据集可以改善. 下图反映了高偏差和高方差,需要找到一种方法来同时减少方差和偏差. 32.绘制学习曲线 情况:当数据集非常小时,比如只有100个 ...

  3. 吴恩达《Machine Learning Yearning》总结(21-30章)

    21.偏差和方差举例 前提:对于人类而言,可以达到近乎完美的表现(即人类去做分类是误差可以接近0). (1)假设算法的表现如下:训练误差率:1%,开发误差率:11%:此时即为高方差(high vari ...

  4. 吴恩达《Machine Learning Yearning》总结(11-20章)

    11.何时修改开发集.测试集和度量指标 开展一个新项目,尽快选好开发集和测试集:例子,根据度量指标A分类器排在B分类器前面,但是团队认为B分类器在实际产品上优于A分类器,这时就需要考虑修改开发集和测试 ...

  5. Github | 吴恩达新书《Machine Learning Yearning》完整中文版开源

    最近开源了周志华老师的西瓜书<机器学习>纯手推笔记: 博士笔记 | 周志华<机器学习>手推笔记第一章思维导图 [博士笔记 | 周志华<机器学习>手推笔记第二章&qu ...

  6. Coursera课程《Machine Learning》吴恩达课堂笔记

    强烈安利吴恩达老师的<Machine Learning>课程,讲得非常好懂,基本上算是无基础就可以学习的课程. 课程地址 强烈建议在线学习,而不是把视频下载下来看.视频中间可能会有一些问题 ...

  7. 我在 B 站学机器学习(Machine Learning)- 吴恩达(Andrew Ng)【中英双语】

    我在 B 站学机器学习(Machine Learning)- 吴恩达(Andrew Ng)[中英双语] 视频地址:https://www.bilibili.com/video/av9912938/ t ...

  8. 吴恩达(Andrew Ng)——机器学习笔记1

    之前经学长推荐,开始在B站上看Andrew Ng的机器学习课程.其实已经看了1/3了吧,今天把学习笔记补上吧. 吴恩达老师的Machine learning课程共有113节(B站上的版本https:/ ...

  9. 【Deeplearning.ai 】吴恩达深度学习笔记及课后作业目录

    吴恩达深度学习课程的课堂笔记以及课后作业 代码下载:https://github.com/douzujun/Deep-Learning-Coursera 吴恩达推荐笔记:https://mp.weix ...

随机推荐

  1. Docker 笔记学习

    文章目录 概述 CentOS7 Docker 安装 启动 Docker 后台服务 镜像加速 Docker常用命令 如何创建一个镜像 存储和载入镜像 上传镜像 容器的基本操作 创建容器 终止容器 如何进 ...

  2. Java进阶:基于TCP通信的网络实时聊天室

    目录 开门见山 一.数据结构Map 二.保证线程安全 三.群聊核心方法 四.聊天室具体设计 0.用户登录服务器 1.查看当前上线用户 2.群聊 3.私信 4.退出当前聊天状态 5.离线 6.查看帮助 ...

  3. win7开机登录界面壁纸修改

    1.选择一张自己喜欢的图(一定要是jpg格式,亲测png格式不行),分辨率最好和自己电脑的分辨率差不多. 2.将图片改名为"backgroundDefault.jpg": 3.按下 ...

  4. Excel 冻结窗口

    1.冻结前五行 鼠标选中第六行,点击视图----> 冻结窗口 ----> 冻结拆分窗口 2.冻结第一列窗口 鼠标选中第1列,点击视图----> 冻结窗口 ----> 冻结首列窗 ...

  5. BP暴力破解

    BurpSuite暴力破解 1.设置代理 首先要用phpstudy打开Mysql和Apache,然后将设置浏览器代理,地址127.0.0.1  端口8080 2.进入dvwa靶场 进入dvwa时,要用 ...

  6. springMVC搭建分布式框架

    https://www.cnblogs.com/lr393993507/p/7652717.html https://www.cnblogs.com/Tpf386/p/10987931.html

  7. 什么是Cassandra数据库

    在本文中,我们将介绍Cassandra名字的含义.Cassandra的发展简史.Cassandra这项技术的特点及优势,以及对于这项技术的未来展望. 本文将用浅显易懂的方式,帮助您将对Cassandr ...

  8. java开发手册之哨兵语句

    if(条件判断1){ return; } if(条件判断2){ return; } //do  another things 注意事项:一定要避免多个if else 判断 带来逻辑混乱 可读性变差

  9. tabControl组件的吸顶效果

    最开始,还没有使用better-scroll插件的时候,直接在class中设定了一定的position为sticky,设置一定的top达成了效果.但是,使用better-scroll组件后,这些属性就 ...

  10. C#中存储过程和DataTable的应用

    存储过程p_OperatorDetails,有四个参数@sDatetime,@eDatetime,@operatorNo,@transdesc.其中@operatorNo和@transdesc为两个可 ...