Hoeffding公式为

\epsilon]\leq{2e^{-2\epsilon^2N}}">

如果把Training error和Test error分别看成的话,Hoeffding告诉我们,取样出来的v和总的u大部分是比较接近的,很小的概率是差很远的,即Ein和Eout差很远,这种情况称为Bad sample.
本来只有一个coin,丢5次,5次head的概率就是1/32。现在有150个coin,可以选择出现5次的那个coin,这时概率会大大增加,变成了1-(31/32)^150 = 99%。
现在的问题是,Algorithm要从H set中选择一个h,而不是force to pick this h。要做到给不同的data,通过A可以得到不同的h,即不同的分界线。但是现在如果只有一个h,则不是learning的过程。但是可以去verify这个h好不好,就看这个h的Ein(h)小不小了。
如果现在有multiple h,对应前面多个coin,其中有一个h在sample上全对,即这个coin5次都是head,说明这个h就很好吗?NO!!其实对于150个硬币,都是一样的,不存在好与坏。出现5次head也只是概率问题。假设我们选择了这块出现5次head的硬币,如果继续往下投,搞不好就不会出现这么多次head了。对应到h上,如果选择一个在sample上表现很好的h,即Ein(h)很小,但是把这个h放到out-of-sample里去,可能表现就会很差了(overfitting)。
我们可能有很多组的training set,这些training set在一个特定的h上表现不一,有的很好,有的则一般,但是这个h在out-of-sample上的表现,有可能和它在in-sample上的表现接近,也可能差很远。如果Ein和Eout差很多的话,可能是Ein很小,但是Eout很大,则这组产生这样的Ein的training set是一个Bad sample. Hoeffding保证的是这种情况的概率很小。

现在假设Hset里有M个h。各种数据集在h上的表现如下

D1在h1上产生很小的Ein,但是h1的Eout很大,则D1对于h1来所就是Bad data. 然而D1126就不是一个Bad data,对于Hset里面的任意一个h,Ein(h)都接近Eout(h)。
对于一个Bad data,它使得Ein far away from Eout的概率是:

但是我们还是可以在不知道Eout(h),同时也不知道f以及D的分布P的情况下,找到概率的upper bound,这个概率比较小,即Ein(g)=Eout(g) is PAC。(g就是由Algorithm选择产生Ein最小的那个h)。
结论

Hoeffding inequality的更多相关文章

  1. 机器学习(4)Hoeffding Inequality--界定概率边界

    问题 假设空间的样本复杂度(sample complexity):随着问题规模的增长导致所需训练样本的增长称为sample complexity. 实际情况中,最有可能限制学习器成功的因素是训练数据的 ...

  2. Andrew Ng机器学习公开课笔记 -- 学习理论

    网易公开课,第9,10课 notes,http://cs229.stanford.edu/notes/cs229-notes4.pdf 这章要讨论的问题是,如何去评价和选择学习算法   Bias/va ...

  3. Machine Learning——吴恩达机器学习笔记(酷

    [1] ML Introduction a. supervised learning & unsupervised learning 监督学习:从给定的训练数据集中学习出一个函数(模型参数), ...

  4. 【集成模型】Bootstrap Aggregating(Bagging)

    0 - 思想 如下图所示,Bagging(Bootstrap Aggregating)的基本思想是,从训练数据集中有返回的抽象m次形成m个子数据集(bootstrapping),对于每一个子数据集训练 ...

  5. Stanford CS229 Machine Learning by Andrew Ng

    CS229 Machine Learning Stanford Course by Andrew Ng Course material, problem set Matlab code written ...

  6. Chernoff-Hoeffding inequality -- Chernoff bounds, and some applications

    https://www.cs.utah.edu/~jeffp/teaching/cs5955/L3-Chern-Hoeff.pdf [大数据-通过随机过程降维 ] When dealing with ...

  7. Hoeffding连接到机器学习

    统计学场景: 一个罐子中有红球和绿球,红球比例$v$未知,数量未知,如何得到红球比例?方法---随机抽样N个球,在其中红球占比为$u$ 由hoeffding可以知道:$P(|u-v|>\epsi ...

  8. MM bound 与 Jensen's inequality

    MM bound 与 Jensen's inequality 简森不等式 在使用最大似然估计方法求解模型最优解的时候,如果使用梯度下降(GD or SGD)或者梯度上升(GA or SGA),可能收敛 ...

  9. Rearrangement inequality

    摘抄自:  https://en.wikipedia.org/wiki/Rearrangement_inequality#Proof In mathematics, the rearrangement ...

随机推荐

  1. MySQL-5.7 DELETE语句详解

    1.语法 (1)单表 DELETE [LOW_PRIORITY] [QUICK] [IGNORE] FROM tbl_name [PARTITION (partition_name [, partit ...

  2. Linux系统crontab定时调度Python脚本

    Linux系统crontab定时调度Python脚本 一.Python脚本随Linux开机自动运行 #Python脚本:/home/edgar/auto.py #用root权限编辑以下文件:/etc/ ...

  3. winform webbrowser禁用网页target=blank

    /// <summary> /// 屏蔽target=_blank 的弹出窗口 /// </summary> /// <param name="sender&q ...

  4. 定制kali linux

    Kali Linux Ps: Kali发布撸~ 写了个如此装13的标题.这是一个Guide… 都是些基本操作撸.定制为王实推 ArchLinux.  各位看官继续………………………………………号外.L ...

  5. jvm-内存区域与内存溢出异常

    内存区域与内存溢出异常 参考: http://www.cnblogs.com/ityouknow/p/5610232.html 所有的Java开发人员可能会遇到这样的困惑?我该为堆内存设置多大空间呢? ...

  6. unidbnavigator提示汉化

  7. Boot 横向布局

    <div class="form-group"> <label for="name" class="col-lg-2 control ...

  8. Sql Server 中关于@@ERROR的一个小小误区

    我们经常写存储过程的时候会用到@@ERROR来判断执行是否成功,很久没有写复杂点的存储过程了,今天发现前段时间写的一个proc出现了bug,由于定义参数时,字符串长度设的有点短,导致传进来的值中间被截 ...

  9. Codeforces Round #220 (Div. 2)

    链接 毒瘤场..... A题:,真码农题,直接干爆,枚举,注意越界问题,wa37的看这组数据1 10 1 5 2 2,应该是no //#pragma comment(linker, "/st ...

  10. 四十三 Python分布式爬虫打造搜索引擎Scrapy精讲—elasticsearch(搜索引擎)的mapping映射管理

    1.映射(mapping)介绍 映射:创建索引的时候,可以预先定义字段的类型以及相关属性elasticsearch会根据json源数据的基础类型猜测你想要的字段映射,将输入的数据转换成可搜索的索引项, ...