orthogonalization/ one metric train.dev/test 划分 开发集和测试集一定来自同一分布  onthe  same distribution Human level performance & bayes error human level performance 接近 bayes error,training error 和 bayes 的差距 : bias(avoidable error),dev/test error: variance,决定先调优bi…

一.改进模型的几个方法 Collect more data Collect more diverse training set Train algorithm longer with gradient descent Try Adam instead of gradient descent Try bigger network Try dropout Add \(L_2\) regularization Network architecture Activation functions hidd…

Lesson 3 Structuring Machine Learning Projects 这篇文章其实是 Coursera 上吴恩达老师的深度学习专业课程的第三门课程的课程笔记. 参考了其他人的笔记继续归纳的. 迁移学习 (Transfer learning) 深度学习中,最强大的理念之一就是,有的时候神经网络可以从一个任务中习得知识,并将这些知识应用到另一个独立的任务中. 假如说我们已经训练好一个图像识别神经网络,如猫狗识别器之类的,然后我们让它适应或者说迁移到放射科诊断,类似 X 射线扫…

<Machine Learning>系列学习笔记 第一周 第一部分 Introduction The definition of machine learning (1)older, informal definition--Arthur Samuel--"the field of study that gives computers the ability to learn without being explicitly programmed." (2)modern d…

About this Course You will learn how to build a successful machine learning project. If you aspire to be a technical leader in AI, and know how to set direction for your team's work, this course will show you how. Much of this content has never been…

Common Pitfalls In Machine Learning Projects In a recent presentation, Ben Hamner described the common pitfalls in machine learning projects he and his colleagues have observed during competitions on Kaggle. The talk was titled "Machine Learning Grem…

<Machine Learning - 李宏毅> 学习笔记 b站视频地址:李宏毅2019国语 第一章 机器学习介绍 Hand crafted rules Machine learning ≈ looking for a function from data Speech recognition Image recognition Playing go Dialogue system Framework define a set of function goodness of function…

这是Coursera上比较火的一门机器学习课程,主讲教师为Andrew Ng.在自己看神经网络的过程中也的确发现自己有基础不牢.一些基本概念没搞清楚的问题,因此想借这门课程来个查漏补缺.目前的计划是先看到神经网络结束,后面的就不一定看了. 当然,看的过程中还是要做笔记做作业的,否则看了也是走马观花.此笔记只针对我个人,因此不会把已经会了的内容复述一遍,相当于是写给自己的一份笔记吧.如果有兴趣,可以移步<Machine Learning>仔细学习. 接下来是第一周的一些我认为需要格外注意的问题.…

Learning Goals Understand why Machine Learning strategy is important Apply satisficing and optimizing metrics to set up your goal for ML projects Choose a correct train/dev/test split of your dataset Understand how to define human-level performance U…

[]To help you practice strategies for machine learning, the following exercise will present an in-depth scenario and ask how you would act. Consider airplane pilots who’s training involves time spent in flight simulators. These flight simulators acce…

1 Machine Learning strategy 1.1 为什么有机器学习调节策略 当你的机器学习系统的性能不佳时,你会想到许多改进的方法.但是选择错误的方向进行改进,会使你花费大量的时间,但是无法得到想要的结果. 这一部分吴恩达老师将讲解一些他在国王总结的经验教训,改进策略,避免南辕北辙.而且现在深度学习的的策略变化日新月异. 1.2 Orthogonalization(正交化) 不耦合的.举例了控制电视屏幕,汽车. 1.2.1 chain of assumption in ML 下面这…

Lesson 1 Neural Network and Deep Learning 这篇文章其实是 Coursera 上吴恩达老师的深度学习专业课程的第一门课程的课程笔记. 参考了其他人的笔记继续归纳的. 逻辑回归 (Logistic Regression) 逻辑回归的定义 神经网络的训练过程可以分为前向传播(forward propagation) 和反向传播 (backward propagation) 的 过程.我们通过逻辑回归的例子进行说明. 逻辑回归是一个用于二分类 (binary c…

Week1 Bird recognition in the city of Peacetopia (case study)( 和平之城中的鸟类识别(案例研究)) 1.Problem Statement This example is adapted from a real production application, but with details disguised to protect confidentiality. (问题陈述:这个例子来源于实际项目,但是为了保护机密性,我们会对细节…

第一周 机器学习(ML)策略(1)(ML strategy(1)) 1.1 为什么是 ML 策略?(Why ML Strategy?) 希望在这门课程中,可以教给一些策略,一些分析机器学习问题的方法,可以指引朝着最有希望的方向前进.这门课中,我会分享我在搭建和部署大量深度学习产品时学到的经验和教训.比如说,很多大学深度学习课程很少提到这些策略.事实上,机器学习策略在深度学习的时代也在变化,因为现在对于深度学习算法来说能够做到的事情,比上一代机器学习算法大不一样. 1.2 正交化(Orthogon…

正交化 Orthogonalization单一评价指标保证训练.验证.测试的数据分布一致不同的错误错误分析数据分布不一致迁移学习 transfer learning多任务学习 Multi-task learning端到端的深度学习系统好处坏处Reference 这门课不是具体的技术,而是帮助你决定现在最有价值做的应该是什么 正交化 Orthogonalization 简单的说就是有些调整是不相互影响的,所以可以分开做 单一评价指标 一般来说有一个单一数值作为评价指标会更好 如果存在多个指标,一般…

[中文翻译] 为了帮助您练习机器学习的策略, 在本周我们将介绍另一个场景, 并询问您将如何行动.我们认为, 这个工作在一个机器学习项目的 "模拟器" 将给一个任务, 告诉你一个机器学习项目像什么! 你受雇于一自动驾驶汽车公司.您负责检测图像中的路标 (停车标志.行人过路标志.建筑前方标志) 和交通信号灯 (红色和绿色灯).目标是识别这些对象中的哪一个出现在每个图像中.举例来说, 上述图则载有行人过路标志及红色交通灯. 您的10万标签图像是使用你的车的前置摄像头拍的.这也是你最关心的关于…

Learning Goals Understand what multi-task learning and transfer learning are Recognize bias, variance and data-mismatch by looking at the performances of your algorithm on train/dev/test sets [中文翻译] 学习目标 了解什么是多任务学习和迁移学习 通过在训练/开发/测试集上查看算法的性能, 识别偏差.方差和…

1 特征 1-1 什么是特征? 我的理解就是,用于描述某个样本点,以哪几个指标来评定,这些个指标就是特征.比方说对于一只鸟,我们评定的指标就可以是:(a)鸟的翅膀大还是小?(b)鸟喙长还是短?(c)鸟下的蛋是多还是少?等等,这些都能被称之为“鸟”这个样本点的特征. 特征值的数量用“n”来表示.比如我们用一些特征来描述一栋房子,这些特征包括:(a)多少平米?(b)几室几厅?(c)有几层?(d)房子是新还是旧?那么这里就有4个特征,也就是n=4. 1-2 现在我们区分一下符号 (1)m:样本点的数目…

课程记录笔记如下: 1.目前ML的应用 包括:数据挖掘database mining.邮件过滤email anti-spam.机器人autonomous robotics.计算生物学computational biology.搜索引擎Google/Bing. 自动直升机autonomous helicopter.自然语言处理Natural Language Processing 2.ML的定义 3.目前ML的分类 监督学习Supervised Learning.无监督学习Unsupervised…

第二周 第一部分 Multivariate Linear Regression Multiple Features Note: [7:25 - θT is a 1 by (n+1) matrix and not an (n+1) by 1 matrix] Linear regression with multiple variables is also known as "multivariate linear regression". We now introduce notatio…

公开课笔记 Bias & variance bias: 1. more epoch 2. deeper network 3.hyperparameters variance : larger dataset 2. regularization regularization L2 norm: weight decay dropout regularization dropout:在反向传播误差更新权值时候,随机删除一部分hidden units,以防止过拟合. other methods for…

第二周:机器学习策略(2)(ML Strategy(2)) 误差分析(Carrying out error analysis) 你好,欢迎回来,如果你希望让学习算法能够胜任人类能做的任务,但你的学习算法还没有达到人类的表现,那么人工检查一下你的算法犯的错误也许可以让你了解接下来应该做什么.这个过程称为错误分析,我们从一个例子开始讲吧. 假设你正在调试猫分类器,然后你取得了 90% 准确率,相当于 10% 错误,,在你的开发集上做到这样,这离你希望的目标还有很远.也许你的队员看了一下算法分类出错的…

第三周 第一部分 Classification and Representation Classification 为了尝试分类,一种方法是使用线性回归,并将大于0.5的所有预测映射为1,所有小于0.5的预测作为0.然而,此方法不能很好地工作,因为分类实际上不是线性函数. 分类问题就像回归问题,只是我们现在想要预测的值y只包含少量的离散值.现在,我们将关注二进制分类问题,其中y只能取两个值0和1.(我们在这里说的大多数也将泛化到多类情况.)例如,如果我们尝试为电子邮件构建垃圾邮件分类器,则x(i…

Why ML stategy 怎么提高预测准确度?有了stategy就知道从哪些地方入手,而不至于找错方向做无用功. Satisficing and Optimizing metric 上图中,running time <= 100ms 就是satisficing,accuracy 就是 optimazing. Dev set and test set should be from same distribution. 传统的traing set/ dev set / test set 比例是6…

第一周:机器学习策略(1)(ML Strategy(1)) 为什么是ML策略?(Why ML Strategy) 大家好,欢迎收听本课,如何构建你的机器学习项目也就是说机器学习的策略.我希望通过这门课程你们能够学到如何更快速高效地优化你的机器学习系统.那么,什么是机器学习策略呢? 我们从一个启发性的例子开始讲,假设你正在调试你的猫分类器,经过一段时间的调整,你的系统达到了 90% 准确率,但对你的应用程序来说还不够好. 你可能有很多想法去改善你的系统,比如,你可能想我们去收集更多的训练数据吧.或…

第四周 Model Representation I 让我们来看看如何使用神经网络来表示假设函数.在非常简单的水平上,神经元基本上是将输入(树突)作为输入到输出(轴突)的电输入(称为"尖峰")的计算单元.在我们的模型中,我们的树突像输入特征x1 ... xn,输出是我们的假设函数的结果.在这个模型中,我们的x0输入节点有时被称为"偏置单元".它总是等于1.在神经网络中,我们使用与分类11 + e-θTx相同的逻辑函数,但我们有时称之为S形(逻辑)激活函数.在这种情况…

理解卷积公式. 卷积的物理意义. 图像的卷积操作. 卷积神经网络. 卷积的三层含义. 感知机. 感知机的缺陷. 总结. 神经网络. 缺陷. 激活函数…

此文是斯坦福大学,机器学习界 superstar - Andrew Ng 所开设的 Coursera 课程:Machine Learning 的课程笔记. 力求简洁,仅代表本人观点,不足之处希望大家探讨. 课程网址:https://www.coursera.org/learn/machine-learning/home/welcome Week 3: Logistic Regression & Regularization 笔记:http://blog.csdn.net/ironyoung/ar…

此文是斯坦福大学,机器学习界 superstar - Andrew Ng 所开设的 Coursera 课程:Machine Learning 的课程笔记. 力求简洁,仅代表本人观点,不足之处希望大家探讨. 课程网址:https://www.coursera.org/learn/machine-learning/home/welcome Week 2:Linear Regression with Multiple Variables笔记:http://blog.csdn.net/ironyoung…

强烈安利吴恩达老师的<Machine Learning>课程,讲得非常好懂,基本上算是无基础就可以学习的课程. 课程地址 强烈建议在线学习,而不是把视频下载下来看.视频中间可能会有一些问题让你回答,这种互动的方式挺好的. 然后由于我个人的笔记是做在Onenote的笔记本里的,公式输入方法和markdown还是蛮不一样的,就不把自己的笔记放在博客里了.(而且感觉自己在瞎做) 最后强烈安利另外一位朋友的笔记.有word版,markdown版,pdf版,html版等等,业界良心!…