注: 文章中所有的图片均来自台湾大学林轩田<机器学习基石>课程. 笔记原作者:红色石头 微信公众号:AI有道 上一节课,我们主要介绍了VC Dimension的概念.如果Hypotheses set的VC Dimension是有限的,且有足够多的资料\(N\),同时能够找到一个hypothesis使它的\(E_{in}\approx 0\),那么就能说明机器学习是可行的.本节课主要讨论数据集有Noise的情况下,是否能够进行机器学习,并且介绍了假设空间H下演算法\(\mathcal{A}\)的…

注: 文章中所有的图片均来自台湾大学林轩田<机器学习基石>课程. 笔记原作者:红色石头 微信公众号:AI有道 上节课,主要介绍了在有noise的情况下,VC Bound理论仍然是成立的.同时,介绍了不同的error measure方法.本节课介绍机器学习最常见的一种算法:Linear Regression. 一.线性回归问题 在之前的Linear Classification课程中,讲了信用卡发放的例子,利用机器学习来决定是否给用户发放信用卡.本节课仍然引入信用卡的例子,来解决给用户发放信用卡…

(一)Noise会不会对VC bound产生影响? 此笔记源于台湾大学林轩田老师<机器学习基石><机器学习技法> 答案是不会. 当信号中加入了Noise,其实对我们之前学过的内容不产生任何本质上的影响. 之前<机器学习真的起作用吗?>中的分析是基于:training dataset D的来源是:(x,f(x)).其中x从服从某一概率分布P. 现在noise对数据产生了什么影响?之前,f(x)是确定的.现在f(x)不确定了.因为Noise的存在会影响f(x)的值.此时y更…

注: 文章中所有的图片均来自台湾大学林轩田<机器学习基石>课程. 笔记原作者:红色石头 微信公众号:AI有道 上一节课,我们介绍了Logistic Regression问题,建立cross-entropy error,并提出使用梯度下降算法gradient descent来获得最好的logistic hypothesis.本节课继续介绍使用线性模型来解决分类问题. 一.Linear Models for Binary Classification 之前介绍的几种线性模型都有一个共同点,就是都有…

注: 文章中所有的图片均来自台湾大学林轩田<机器学习基石>课程. 笔记原作者:红色石头 微信公众号:AI有道 上一节课介绍了Linear Regression线性回归,用均方误差来寻找最佳的权重向量\(w\),获得最好的线性预测.本节课将介绍Logistic Regression逻辑回归问题. 一.Logistic Regression Problem 一个心脏病预测的问题:根据患者的年龄.血压.体重等信息,来预测患者是否会有心脏病.很明显这是一个二分类问题,其输出\(y\)只有\({0,1}…

机器学习基石 5 Training versus Testing Recap and Preview 回顾一下机器学习的流程图: 机器学习可以理解为寻找到 \(g\),使得 \(g \approx f\),也就是 \(E_{out}(g) \approx 0\) 的过程.为了完成这件事情,有两个关键的步骤,一个是保证 \(E_{out}(g) \approx E_{in}(g)\),另一个是保证 \(E_{in}(g) \approx 0\) (这两件事情通常由 "训练" 以及 &qu…

机器学习基石 4 Feasibility of Learning Learning is Impossible? 机器学习:通过现有的训练集 \(D\) 学习,得到预测函数 \(h(x)\) 使得它接近于目标函数 \(f(x)\). 问题:这种预测是可能的么?其泛化性的本质是什么?是什么保证了 \(h(x) \approx f(x)\) ? Probability to the Rescue 情景:有一个装有很多很多珠子的罐子,珠子的颜色是橙色和绿色,那么我们可以通过抽样的方法来估计橙色珠子的比…

机器学习基石 3 Types of Learning Learning with Different Output Space Learning with Different Data Label Learning with Different Protocol Learning with Different Input Space…

机器学习基石 2 Learning to Answer Yes/No Perceptron Hypothesis Set 对于一个线性可分的二分类问题,我们可以采用感知器 (Perceptron)这种假设集. 这种模型可以用下面的表达式表示出来: 其中不同的向量 \(w\) 代表了不同的假设函数 \(h(x)\),我们的目标是使用一些算法调整 \(w\) 的值,使得假设函数 \(h(x)\) 与我们要预测的函数 \(f(x)\) 尽可能的接近. 我们的想法是:如果 \(h(x)\) 与 \(f(…

机器学习基石 1 The Learning Problem Introduction 什么是机器学习 机器学习是计算机通过数据和计算获得一定技巧的过程. 为什么需要机器学习 1 人无法获取数据或者数据信息量特别大: 2 人的处理满足不了需求. 使用机器学习的三个关键要素 1 存在一个模式可以让我们对它进行改进: 2 规则不容易定义: 3 需要有数据. Components of Machine Learning Machine Learning and Other Fields ML VS DM…

大家好,我是Mac Jiang,非常高兴您能在百忙之中阅读我的博客!这个专题我主要讲的是Coursera-台湾大学-機器學習基石(Machine Learning Foundations)的课后习题解答.笔者是在学习了Ng的Machine Learning之后開始学习这门课程的.但还是感觉收获颇丰.Ng的课程主要站在计算机专业的角度.教你怎样使用机器学习.注重方法而不是数学推导,是一门非常好的新手教程.而林轩田老师的机器学习基石是站在统计分析角度,证明机器学习算法为什么要这么做,更加注重于理论的…

1  定义 机器学习 (Machine Learning):improving some performance measure with experience computed from data 2  应用举例 ML:an alternative route to build complicated systems 2.1  股票预测   2.2  图像识别 2.3  衣食住行    2.4  关键要素 在决定某些应用场景,是否适合使用机器学习时,常考虑以下三个要素: 1) exists s…

注: 文章中所有的图片均来自台湾大学林轩田<机器学习基石>课程. 笔记原作者:红色石头 微信公众号:AI有道 上一节课介绍了分类问题的三种线性模型,可以用来解决binary classification和multiclass classification问题.本节课主要介绍非线性的模型来解决分类问题. 一.Quadratic Hypothesis 之前介绍的线性模型,在2D平面上是一条直线,在3D空间中是一个平面.数学上,我们用线性得分函数\(s\)来表示:\(s=w^Tx\) .其中,\(x…

注: 文章中所有的图片均来自台湾大学林轩田<机器学习基石>课程. 笔记原作者:红色石头 微信公众号:AI有道 前几节课着重介绍了机器能够学习的条件并做了详细的推导和解释.机器能够学习必须满足两个条件: 当假设空间\(\mathcal{H}\)的Size M是有限的时候,则\(N\)足够大的时候,对于假设空间中任意一个假设\(g\),都有\(E_{out}\approx E_{in}\) . 利用算法A从假设空间\(\mathcal{H}\)中,挑选一个\(g\),使\(E_{in}(g)\ap…

课程的讲授从logo出发,logo由四个图案拼接而成,两个大的和两个小的.比较小的两个下一次课程就可能会解释到它们的意思,两个大的可能到课程后期才会解释到它们的意思(提示:红色代表使用机器学习危险,蓝色代表使用机器学习不危险). 机器学习是理论与实践相结合的一门学问.要怎么学习机器学习课程?我们可以从很理论的角度出发:机器学习有什么推论什么结论,它可以设计出什么样的东西,我们可以非常深入的了解这些相关知识.然后,我们感叹,哇- 这些前辈好伟大,怎么可以设计出这么漂亮的数学,这么漂亮的东西.可是,…

博客已经迁移至Marcovaldo's blog (http://marcovaldong.github.io/) 刚刚完毕机器学习基石的第三讲.这一讲主要介绍了机器学习的分类.对何种问题应该使用何种机器学习方法.将笔记整理在以下. Learning with Different Output Space 前面讲的信用卡发放问题是一个是非题,也就是说最后的输出仅仅有两种.是一个二元分类(binary classification).下图中给出了很多其它的二元分类问题的样例.对于这类问题我们要做的…

这门课的授课老师是个台湾人,师从Caltech的Yaser S. Abu-Mostafa,他们共同编撰了<Learning From Data>这本书.Yaser S. Abu-Mostafa在edx上也开设了机器学习的公开课,不过说实话,他的埃及口音英语实在很难听懂,而且讲的内容偏重理论,所以追了几节课就放弃了.这次他的学生带来了coursera的机器学习基石这门公开课,讲的内容和Yaser的公开课差不多,而且是中文授课(ppt是英文),这对于华语世界的学生来说是个福音.未来几周,我将把这门…

博客已经迁移至Marcovaldo's blog (http://marcovaldong.github.io/) Andrew Ng的Machine Learning比較简单,已经看完.林田轩的机器学习基石很多其它的是从概率论的角度来介绍机器学习,之前的视频已经听了大半.但好多都是模棱两可. 如今从头開始,认真整理笔记.笔记的结构遵从课程视频的结构. 以下是机器学习基石的第一讲:the learning problem Course Introduction 机器学习是一门理论和实践相结合的课…

(注:由于之前进行了吴恩达机器学习课程的学习,其中有部分内容与机器学习基石的内容重叠,所以以下该系列的笔记只记录新的知识) <机器学习基石>课程围绕着下面这四个问题而展开: 主要内容: 一.什么时候适合用机器学习? 二.该课程所采用的一套符号表示 三.机器学习的流程 四.感知机算法 五.学习的类型 六.机器学习的无效性 七.机器学习的可行性(在无效性的前提下加一些条件限制) 一.什么时候适合用机器学习? 对于第一点:我们学习的对象必须要存在某些显式的或者潜在的规律,否则,如果学习对象都毫无规律…

(转载)林轩田机器学习基石课程学习笔记1 - The Learning Problem When Can Machine Learn? Why Can Machine Learn? How Can Machine Learn? How Can Machine Learn Better? 每个部分由四节课组成,总共有16节课.那么,从这篇开始,我们将连续对这门课做课程笔记,共16篇,希望能对正在看这们课的童鞋有所帮助.下面开始第一节课的笔记:The Learning Problem. 一.What…

噪声:误标.对同一数据点的标注不一致.数据点信息不准确...... 噪声是针对整个输入空间的. 存在噪声的情况下,VC bound依旧有用: 存在噪声,就是f------>p(y|x),f是p的特殊情况:如p(0|x)=1,p(1|x)=0. VC bound本身就不管f的. 其实,推VC bound的时候第3步使用的是不放回的霍夫丁不等式,不要求独立同分布. 参照口袋算法,可以表明存在噪声情况下,VC bound依旧有用. 错误/代价:分类常用0/1错误,回归常用均方误差. false pos…

噪声:误标.对同一数据点的标注不一致.数据点信息不准确...... 噪声是针对整个输入空间的. 存在噪声的情况下,VC bound依旧有用: 存在噪声,就是f------>p(y|x),f是p的特殊情况:如p(0|x)=1,p(1|x)=0. VC bound本身就不管f的. 其实,推VC bound的时候第3步使用的是不放回的霍夫丁不等式,不要求独立同分布. 参照口袋算法,可以表明存在噪声情况下,VC bound依旧有用. 错误/代价:分类常用0/1错误,回归常用均方误差. false pos…

本章重点:  简单的论证了即使有Noise,机器依然可以学习,VC Dimension对泛化依然起作用:介绍了一些评价Model效果的Error Measurement方法. 一论证即使有Noisy,VC Dimension依然有效: 下图展示了主要思想,以前的数据集是确定的(Deterministic),现在加了Noisy变成了分布函数了,即对每个一x,y出现的概率是P(y|x).可以这么理解,概率表示的是对事件确定的程度,以前确定性的数据集是 P(y|x) = 1, for y = f(x)…

http://beader.me/mlnotebook/section2/noise-and-error.html 上面这个日志总结的已经很好了.这一章的内容,在后面具体的算法中cost function体会更好一些.没必要过于纠结.…

转自:http://blog.sina.com.cn/s/blog_641289eb0101e2ld.html Part 2总结一下一个粗略的建模过程: 首先,弄清楚问题是什么,能不能用机器学习的思路去考虑: 是否有pattern? 是否规则不明确? 是否有数据? 如果可以用,那么考虑,问题的学习目标是什么,有多少feature,有多少数据,应该用什么error measure(Learning from data 有一节专门讲这个,客户能提供吗?如果不能,我们找一个能说服自己的,或者找一个容易…

期末终于过去了,看看别人的总结:http://blog.sina.com.cn/s/blog_641289eb0101dynu.html 接触机器学习也有几年了,不过仍然只是个菜鸟,当初接触的时候英文不好,听不懂课,什么东西都一知半解.断断续续的自学了一些公开课和书以后,开始逐渐理解一些概念.据说,心得要写下来才记得住.据说,心得要与人分享.这里是自己一点非常粗浅的感想或者遇到的问题,不一定对,请自带滤镜.有大牛的看到了请指出错误,求轻拍,求指导.   先说说台大这门课,总体来说偏理论一些.本来…

第四讲 机器学习的可行性 一.Hoeffding's Inequality \(P[\left | \nu -\mu  \right |>\epsilon ] \leq 2exp(-2\epsilon^{2}N)\) (1) in-sample error, 也就是在样本里出现的error,\(E_{in}\) is probably close to out-of-sample error \(E_{out}\) (within \(\epsilon\)) 推出一个类似的公式: \(P[\le…

这一节讲述的是机器学习的核心.根本性问题——学习的可行性.学过机器学习的我们都知道,要衡量一个机器学习算法是否具有学习能力,看的不是这个模型在已有的训练数据集上的表现如何,而是这个模型在训练数据外的数据(一般我们称为测试数据)上性能的好坏,我们把这个性能称为泛化能力(generalization ability),机器学习中,我们的目标是寻找高泛化能力的模型:有些模型虽然在训练数据集上分类效果很好,甚至正确率达到100%,但是在测试数据集上效果很差,这样的模型泛化能力很差,这种现象也叫过拟合(O…

今天和大家分享coursera-NTU-機器學習基石(Machine Learning Foundations)-作业三的习题解答.笔者在做这些题目时遇到非常多困难,当我在网上寻找答案时却找不到,而林老师又不提供答案,所以我就想把自己做题时对题目怎样思考的写下来,为大家提供一些思路.当然,我对题目的理解不一定是正确的,假设各位博友发现错误请及时留言联系.谢谢!再次提醒:请不要以此博客作为通过考试的用途,还是更好学习.理解课程的途径! 希望我的博客对您的学习有所帮助! 本文出处:http://bl…

正则化的提出,是因为要解决overfitting的问题. 以Linear Regression为例:低次多项式拟合的效果可能会好于高次多项式拟合的效果. 这里回顾上上节nonlinear transform的课件: 上面的内容说的是,多项式拟合这种的假设空间,是nested hypothesis:因此,能否想到用step back的方法(即,加一些constraints的方法把模型给退化回去呢?) 事实上,是可以通过加入constraint使得模型退化回去的:但是,再优化的过程中涉及到了“判断每…