第四讲 机器学习的可行性

一、Hoeffding's Inequality

\(P[\left | \nu -\mu  \right |>\epsilon ] \leq 2exp(-2\epsilon^{2}N)\)              (1)

in-sample error, 也就是在样本里出现的error,\(E_{in}\) is probably close to out-of-sample error \(E_{out}\) (within \(\epsilon\))

推出一个类似的公式: \(P[\left | E_{in} - E_{out}  \right |>\epsilon ] \leq 2exp(-2\epsilon^{2}N)\)    (2)

也就是说,公式(2)说明了问题可以学习的两个条件:

(1)\( E_{in} \approx E_{out}\) :这个代表 \( E_{out}\) 要和 \( E_{in}\)差不多大

(2)\( E_{in}(h) \approx 0\) :这个代表\( E_{in}\)要差不多是0

这就推出,\( h \approx f\)  with respect to \(P\)

我们的学习思路就是,从一些hypothesis set 中找到最好的 \(h\),使得\( h \approx f\)

二、真实的学习

面对多个\( h \) 时,容易出现问题。

BAD Sample:\( E_{in} and E_{out} \) far away

那么,Bad Sample的概率有多大呢?我们认为,在众多的hypothesis set上的每一个\(h_{i}\),只要有一个是坏的,则都是坏的

\(P_{\mathfrak{D}}\left [ BAD   \mathfrak{D} \right ]  \)

\( = P_{\mathfrak{D}}\left [ BAD  \mathfrak{D}  for   h_{1} or  BAD   \mathfrak{D}  for  h_{2}  or ...  or  BAD  \mathfrak{D}  for  h_{M} \right ] \)

\( \leq P_{D} \left [ BAD  D for  h_{1} \right ] + P_{D} \left [ BAD  D for h_{2} \right] + ... +  P_{D} \left [ BAD  D for h_{M} \right] \)

(\( Union Bound \))

\( \leq 2exp(-2\epsilon^2N) + 2exp(-2\epsilon^2N) + ... + 2exp(-2\epsilon^2N) \)

\( = 2M\cdot exp(-2\epsilon^2N)\)

当hypothesis set为有限时,(\( M\) 固定),当\(N\)足够大时,因为后面的\(exp(-2\epsilon^2N)\) 随着\(N\)增大会变得特别小,故总体值是很小的。

此时学习是有效的。

当hypothesis set 为无穷大时,\( M = \infty \)  则有问题了,具体问题下一部分讨论。

机器学习基石的泛化理论及VC维部分整理的更多相关文章

  1. 机器学习基石的泛化理论及VC维部分整理(第六讲)

    第六讲 第五讲主要讲了机器学习可能性,两个问题,(1)\(E_{in} 要和 E_{out}\) 有很接近,(2)\(E_{in}\)要足够小. 对于第一个假设,根据Hoefding's Inequa ...

  2. 机器学习基石的泛化理论及VC维部分整理(第五讲)

    第五讲 Training versus Testing 一.问题的提出 \(P_{\mathcal{D}}\left [ BAD   \mathcal{D} \right ]  \leq 2M \cd ...

  3. 机器学习基石笔记:07 The VC Dimension

    当N大于等于2,k大于等于3时, 易得:mH(N)被Nk-1给bound住. VC维:最小断点值-1/H能shatter的最大k值. 这里的k指的是存在k个输入能被H给shatter,不是任意k个输入 ...

  4. 【机器学习基石笔记】七、vc Dimension

    vc demension定义: breakPoint - 1 N > vc dimension, 任意的N个,就不能任意划分 N <= vc dimension,存在N个,可以任意划分 只 ...

  5. 《机器学习基石》---VC维

    1 VC维的定义 VC维其实就是第一个break point的之前的样本容量.标准定义是:对一个假设空间,如果存在N个样本能够被假设空间中的h按所有可能的2的N次方种形式分开,则称该假设空间能够把N个 ...

  6. 机器学习基石7-The VC Dimension

    注: 文章中所有的图片均来自台湾大学林轩田<机器学习基石>课程. 笔记原作者:红色石头 微信公众号:AI有道 前几节课着重介绍了机器能够学习的条件并做了详细的推导和解释.机器能够学习必须满 ...

  7. 机器学习基石:07 The VC Dimension

    当N大于等于2,k大于等于3时, 易得:mH(N)被Nk-1给bound住. VC维:最小断点值-1/H能shatter的最大k值. 这里的k指的是存在k个输入能被H给shatter,不是任意k个输入 ...

  8. 【转载】VC维的来龙去脉

    本文转载自 火光摇曳 原文链接:VC维的来龙去脉 目录: 说说历史 Hoeffding不等式 Connection to Learning 学习可行的两个核心条件 Effective Number o ...

  9. 机器学习基石12-Nonlinear Transformation

    注: 文章中所有的图片均来自台湾大学林轩田<机器学习基石>课程. 笔记原作者:红色石头 微信公众号:AI有道 上一节课介绍了分类问题的三种线性模型,可以用来解决binary classif ...

随机推荐

  1. 【转】十二个移动App云测试服务盘点

    随着移动设备.操作系统版本的碎片化,测试工作对于移动开发团队而言越来越成为一个沉重的包袱,不过这也带来了商机,现在市场上有不少服务和平台提供云测试工具,可以对移动App进行自动化测试,提供测试报告和优 ...

  2. ASP.NET MVC Partial页输出JS

    很多情况Partial是需要引用到JS的,通常做法是吧JS在引用Partial的页面中加入JS文件或者JS代码. 前阵子网上看到一段代码可以在Partial页面中添加JS,输出道引用页面. publi ...

  3. mount loop最大数的调整

    mount: could not find any free loop device vi /etc/modules.conf Add "options loop max_loop=64&q ...

  4. update更新多行数据(oracle)

    转自:http://blog.itpub.net/25322446/viewspace-767505 说明:笔记总结了在工作中遇到过的几种update方法和各种方法适用的范围. 1.单表更新方案:使用 ...

  5. docker & nodejs

    Docker 部署 Node js demo程序 1.准备node js程序,使用express框架. mkdir demo 在demo文件夹下建立package.json { "name& ...

  6. js及jQuery实现checkbox的全选、反选和全不选

    html代码: <label><input type="checkbox" id="all"/>全选</label> < ...

  7. 一次完整的http请求所需要完成的步骤

    出处:简明现代魔法  http://www.nowamagic.net/librarys/veda/detail/1339 HTTP通信机制是在一次完整的HTTP通信过程中,Web浏览器与Web服务器 ...

  8. bzoj1018:[SHOI2008]堵塞的交通traffic

    思路:线段树好题,用线段树维护连通性. 区间[l,r]表示左端点为l,右端点为r,宽度为2的矩形,那么线段树区间维护的就是该区间内的四个角的连通情况,注意是该区间内的连通情况,也就是说只能通过该区间内 ...

  9. Ubuntu环境变量——添加与删除

    转自:http://beanocean.diandian.com/post/2013-11-09/40060047963 注: 1.作者的系统是Ubuntu 13.10,在其他linux发行版中环境变 ...

  10. GSM嗅探

    GSM初探 大家应该都听说过HTTP协议,又听说WEB服务,每一个服务的背后都有一个协议在工作着.所谓的没有规矩不成方圆,说的就是这个道理,每一个细小的部分,都已经规定好,只要按照协议执行,就不会出现 ...