网易公开课,第9,10课
notes,http://cs229.stanford.edu/notes/cs229-notes4.pdf

这章要讨论的问题是,如何去评价和选择学习算法

 

Bias/variance tradeoff

还是用这组图,学习算法追求的是generalization error(对未知数据的预测误差),而不是training error(只是对训练集)

最左边,underfit,我们说这种学习算法有较大的bias
Informally, we define the bias of a model to be the expected generalization error even if we were to fit it to a very (say, infinitely) large training set.
即在用足够多的训练集的情况下,仍然有较大的generalization error

最右边,overfit, 我们说这种学习算法有较大的variance
在比较小或有限的训练集的情况下,更容易发生

所以对于学习算法,我们需要tradeoff bias VS. variance,避免过于简单或复杂的学习模型

 

Preliminaries

在这章为了达到评价和选择算法的目的,我们需要解决下面几个问题,

First, can we make formal the bias/variance tradeoff that was just discussed? The will also eventually lead us to talk about model selection methods, which can, for instance, automatically decide what order polynomial to fit to a training set.
是否可以形式化bias/variance,因为这样的话,我们就可以对每个学习模型计算出bias/variance ,从而可以自动选择模型

Second, in machine learning it’s really generalization error that we care about, but most learning algorithms fit their models to the training set. Why should doing well on the training set tell us anything about generalization error? Specifically, can we relate error on the training set to generalization error?
对于学习算法,我们真正关心的是generalization error,而我们之前都是用training error来作为优化目标
这样想当然应该是合理的,但是有理论依据吗?我们真的可以用training error来近似generalization error吗?他们之间有怎样的关系?
这是我们下面首先要讨论的问题

Third and finally, are there conditions under which we can actually prove that learning algorithms will work well?
结论性的问题,在满足什么样的条件下,我们就可以证明这个学习算法是work well的?

 

在讨论上面问题之前,先介绍两个lemma,后面会用到,
第一个是union bound,这个定理显而易见

第二个是Hoeffding inequality

其实要表达的意思是, 当m足够大的时候,预估值 会逼近真实值
给个例子,Z满足bernoulli分布,最好的例子就是抛硬币,对于均匀的硬币,正面的概率是1/2
但是如果你抛10次,计算出现正面的概念可能不是1/2,但如果你抛100万次或更多,你抛的越多,那么得到正面的概念一定是趋向于1/2(bernoulli大数定理)
参考,机器学习物语(2):大数定理军团 Free Mind

 

下面开始定义我们的问题,即上面提到的第二问题,

定义实验误差 ,对于训练集S,m个数据点
实验误差,实验值不等于真实值的个数/m,很容易理解
前面定义过 ,成立为1,不成立为0

定义真实误差 ,即给出一个新的满足D分布的点(x,y),预测出的h不等于真实值y的概率

现在为了阐述简单,假设h为线性分类函数
 
那么最简单的最基本的学习算法是,Empirical risk minimization (ERM),即以最小化training error为目标去求得最优参数

这个算法的问题是,往往很难求解,并且是非凸的,而逻辑回归或SVM都可以看做是ERM的凸化的近似优化算法
但这里讨论学习理论,出于简单考虑,就以ERM为例子

上面的ERM是以为优化参数,其实一个就对应于一个h
所以从通用考虑,我们这里用h做为优化参数,这样更通用,因为h可以为任意函数,只要可以将input映射到{0,1}即可

所以上面的ERM就表示成这样,容易理解吗?

 

The case of finite H

下面先讨论的case是,H用的h函数为有限个,我们要从有限个h中找到最优的h


好,然后这节的内容就是想证明,对于有限个,这里假设k个h,training error是对于generalization error的可靠的estimate

 

其实,我觉得的基于Hoeffding inequality,这个证明是显然成立的呵呵,当然下面的证明关键是可以给出formal的形式

对于 ,我们定义,
那么就有,只是把上面公式中的换成Z

然后我们的目标是,证明对于H中的所有h都满足, 是有个上届的,所以可以用后者来近似的预估后者

首先,H中存在h满足 的概念如下,存在即或,所以可以用union bound

并把Hoeffding inequality代入的到一个不等式

然后关键的一步,两边取反
存在h使,取反就是对于所有的h满足 ,这个的概率是

这个说明什么,即是有个上界 ,这个事件发生的概率当m足够大的时候是趋于1的,即必定发生,即完成证明

这个结果称为uniform convergence result,一致性收敛结果

这个式子中有3个要素,常量,样本大小m,和概率值

一致性收敛就是给定和m的情况下,如果算出概率值

当然这个式子,其实还有另外两种表达方式,

1. 给定和概率值 ,求出至少要多大的m

这个用上面的式子很容易算出,算出的m称为algorithm’s sample complexity,样本复杂度

可以理解为,需要多大的样本,样本误差才可以近似于一般误差,满足上面的不等式

2. 给定和m,求出上届

 

大家看看一致性收敛结果,证明半天,只是证明对于某个h,他的实验误差和真实误差之间的关系,我们可以更进一步,

,h hat表示通过实验误差最小化,找出的h,即训练出的h

,h star表示通过一般误差最小化,找出的h,即真正的最优的h

那么我们是否可以找出h hat和h star之间误差的关系了? 于是得到如下结论

第一个不等式就是h hat一致性收敛不等式的转换,
第二个不等式,因为对于实验误差 而言,h hat是最小的,所以h star的实验误差也至少>=h hat的实验误差
第三个不等式,将h star的一致性收敛不等式代入的结果,

所以大家看到,h hat和h star的一般性误差之间的差距也是有上界 的,即我们可以用h hat来近似h star

正式的写成Theorem,并且将其中的 替换成具体的公式

这个式子很有意思,可以非formal的反应出之前说的bias/variance之间的tradeoff

在模型选择时,目的是尽量减小 ,即我们训练出的h的真实误差
比较自然的想法是将hypothesis class H,推到更高的函数空间 ,比如将线性函数族扩展成二次函数族,后者是包含前者的,选择的对象函数多了,自然更有可能找到真实的h,即上面的第一项 会减小,所以可以将第一项用于表示bias

但更大的函数空间,会导致k变大,所以第二项会变大,这个对应于variance

最后,得到这个推论,即满足上面定理,m的样本复杂度,这个其实和前面那个一样,因为这个定理本身就是由一致性收敛推导出的,所以两个样本复杂度也是一样的

 

The case of infinite H

上面讨论的是有限的hypothesis,但对于一些hypothesis classes是包含无限的functions的,比如任何以real number作为参数的case
对于无限的case,我们是否仍然可以得到上面类似的结论?

我们先来直观的看一个argument,虽然不是很formal或right

我们假设H是以实数作为参数的,因为计算机里面是用64bit来表示实数的,当我们有d个参数的时候,
我们近似有 个hypothesis函数,可以看成无限个我们把k代入上面的Corollary定理,

可以看到那个log很关键,它把一个指数关系变成线性关系了
上面的式子说明,对于无限的hypothesis而言,如果要满足Corollary定理,样本复杂度m只需要和参数个数d满足线性关系

虽然这个argument不是那么正确或formal,不过很直观

下面我们更formal的来阐述这个argument,

先介绍一些定义,

首先是,shatter

直观的说,就是如果H中总能找到一个function可以正确的将S中的item正确分类(item可以任意取值)

看这个图,可以说明二维的线性分类是可以shatter这个3个元素的集合的

 

再者,定义VC维

H可以shatter的最大集合的size就是H的VC维
前面说明的二维的线性分类器的VC维就是3,你可以试试对于任意size为4的set,二维线性分类器都无法shatter
其实对于某些size为3的set,也无法shatter,比如下面这个set

但是只要存在size为3的set可以被H shatter,我们就可以说H的VC维为3

并且可以证明对于n维的线性分类器,它的VC维为n+1

 

故可以给出一致性收敛,

表明对于无限的H中的每个h,一般误差和实验误差的差值是有上届的,并且对于有限的VC维,只要让样本复杂度m足够大,就可以达到一致性收敛

第二个式子,因为对于有限的case,我们可以从一致性收敛推导出

故对于无限的case,这里可以直接代入,从而给出无限维的corollary定理

表明只需要样本复杂度m和H的VC维成线性关系,那么就可以满足一致性收敛

Andrew Ng机器学习公开课笔记 -- 学习理论的更多相关文章

  1. Andrew Ng机器学习公开课笔记 -- 支持向量机

    网易公开课,第6,7,8课 notes,http://cs229.stanford.edu/notes/cs229-notes3.pdf SVM-支持向量机算法概述, 这篇讲的挺好,可以参考   先继 ...

  2. Andrew Ng机器学习公开课笔记–Principal Components Analysis (PCA)

    网易公开课,第14, 15课 notes,10 之前谈到的factor analysis,用EM算法找到潜在的因子变量,以达到降维的目的 这里介绍的是另外一种降维的方法,Principal Compo ...

  3. Andrew Ng机器学习公开课笔记 -- Regularization and Model Selection

    网易公开课,第10,11课 notes,http://cs229.stanford.edu/notes/cs229-notes5.pdf   Model Selection 首先需要解决的问题是,模型 ...

  4. Andrew Ng机器学习公开课笔记–Reinforcement Learning and Control

    网易公开课,第16课 notes,12 前面的supervised learning,对于一个指定的x可以明确告诉你,正确的y是什么 但某些sequential decision making问题,比 ...

  5. Andrew Ng机器学习公开课笔记 – Factor Analysis

    网易公开课,第13,14课 notes,9 本质上因子分析是一种降维算法 参考,http://www.douban.com/note/225942377/,浅谈主成分分析和因子分析 把大量的原始变量, ...

  6. Andrew Ng机器学习公开课笔记–Independent Components Analysis

    网易公开课,第15课 notes,11 参考, PCA本质是旋转找到新的基(basis),即坐标轴,并且新的基的维数大大降低 ICA也是找到新的基,但是目的是完全不一样的,而且ICA是不会降维的 对于 ...

  7. Andrew Ng机器学习公开课笔记 -- Mixtures of Gaussians and the EM algorithm

    网易公开课,第12,13课 notes,7a, 7b,8 从这章开始,介绍无监督的算法 对于无监督,当然首先想到k means, 最典型也最简单,有需要直接看7a的讲义   Mixtures of G ...

  8. Andrew Ng机器学习公开课笔记 -- Online Learning

    网易公开课,第11课 notes,http://cs229.stanford.edu/notes/cs229-notes6.pdf   和之前看到的batch learning算法不一样,batch ...

  9. Andrew Ng机器学习公开课笔记 -- 线性回归和梯度下降

    网易公开课,监督学习应用.梯度下降 notes,http://cs229.stanford.edu/notes/cs229-notes1.pdf 线性回归(Linear Regression) 先看个 ...

随机推荐

  1. Javascript-DOM总结

    DOM总结 1.DOM的含义     DOM是Document Object Model文档对象模型的缩写.根据W3C DOM规范,DOM是一种与浏览器,平台,语言无关的接口,使得你可以访问页面其他的 ...

  2. python学习6 web开发

    wsgi自带,用语构建简单服务器 例子 from wsgiref.simple_server import make_server def index(env, res): res('200 ok', ...

  3. 2016 ACM/ICPC Asia Regional Dalian Online 1008 Function 二分+RMQ

    Time Limit: 7000/3500 MS (Java/Others)    Memory Limit: 262144/262144 K (Java/Others)Total Submissio ...

  4. Python2 新手 编码问题 吐血总结

    什么是编码 任何一种语言.文字.符号等等,计算都是将其以一种类似字典的形式存起来的,比如最早的计算机系统将英文文字转为数字存储(ASCII码),这种文字与数字(或其他)一一对应的关系我们称之为编码.由 ...

  5. iTunes使用总结

    UDID查询 将设备连接至电脑,打开iTunes至设备摘要页面,鼠标点击"序列号"区域切换显示UDID

  6. RESTFUL Architecture

    Just review some articles about RESTFUL stuff, my understanding is RESTFUL is another more general v ...

  7. Python3.5 Day1作业:实现用户密码登录,输错三次锁定。

    作业需求: 1.输入用户名密码 2.认证成功后显示欢迎信息 3.输错三次后锁定 实现思路: 1.判断用户是否在黑名单,如果在黑名单提示账号锁定. 2.判断用户是否存在,如果不存在提示账号不存在. 3. ...

  8. 常用的107条Javascript

    1.         document.write( " "); 输出语句 2.JS中的注释为// 3.传统的HTML文档顺序是:document- >html- >( ...

  9. css3 linear-gradient实现页面加载进度条效果

    最终效果图: html结构: <div>    <p class="p1">        <span></span>    < ...

  10. 工作中那些提高你效率的神器(第二篇)_Listary

    引言 无论是工作还是科研,我们都希望工作既快又好,然而大多数时候却迷失在繁杂的重复劳动中,久久无法摆脱繁杂的事情. 你是不是曾有这样一种想法:如果我有哆啦A梦的口袋,只要拿出神奇道具就可解当下棘手的问 ...