Break point and VC bound
Restriction of Break Point e.g: k=2 说明在所有的dichotomy中,任意两个点不能被shatter(shatter就是能够出现所有种排列组合),即不能出现这两个点的2^k=4种组合。
Bounding function B(N, k):
maximum possible when break point is k.
解释这张图:
如果k=1,则不管N等于多少,B都等于1,即H set要满足只有一个点都不能被shatter,即dichotomy set的大小不超过1。所以有+1就不能有-1,所以dichotomy set最多只能有1个dichotomy。所以B=1,第一列都为1. 如果N<k,即右上三角的部分,此时:任意k个点不能被shatter,即dichotomy set里面,对于那k个点不能出现2^k个组合。这个条件有和没有一样。所以右上三角的B值就为2^N。 如果N=k,当它们都等于2时,因为N=2不可以被shatter,即dichotomy set的大小要小于2^k=4,所以B(2,2)=3,其他对角线上的值同理,为(2^k)-1。
因此可以看出B是m_H的上限。
现在考虑下三角。 当N=4,k=3。现在有2^4=16种不同的dichotomy,从中选择不同的dichotomy set,有2^16种set,看看有没有违反3个点被shatter的set。通过遍历得到set的解为
所以B(4,3)=11 通过整理可得右上图。前4组,头3个点相同,x4不同。 B(4,3)=11=2alpha + beta。现在把x4去掉,只看x1-x3
这里有alpha+beta个dichotomy on x1-x3。 因为k=3,所以在N=4中任意3个x不能被shatter,包括x1-x3,所以alpha+beta<=B(3,3)。
如果只看alpha部分,在x1-x3内找出两个点,如果这两个点shatter了,加上x4,就变成了3个点shatter,这不满足条件,因此任意的在x1-x3内的两个点也不能shatter,所以alpha<=B(3,2) 所以有
所以:
所以B(N,k)有上限。
又因为B(N,k)是用来bound m_H(N)的,然后B(N,k)的上限是一个关于N的多项式,因此如果存在k的话,m_H(N)是有一个多项式的上限。
接下来用m_H(N)去取代Hoeffding里的M:
Break point and VC bound的更多相关文章
- 6 VC维
1 VC维的定义 VC维其实就是第一个break point的之前的样本容量.标准定义是:对一个假设空间,如果存在N个样本能够被假设空间中的h按所有可能的2的N次方种形式分开,则称该假设空间能够把N个 ...
- 【转载】VC维的来龙去脉
本文转载自 火光摇曳 原文链接:VC维的来龙去脉 目录: 说说历史 Hoeffding不等式 Connection to Learning 学习可行的两个核心条件 Effective Number o ...
- VC Dimension -衡量模型与样本的复杂度
(1)定义VC Dimension: dichotomies数量的上限是成长函数,成长函数的上限是边界函数: 所以VC Bound可以改写成: 下面我们定义VC Dimension: 对于某个备选函数 ...
- 机器学习基石的泛化理论及VC维部分整理(第六讲)
第六讲 第五讲主要讲了机器学习可能性,两个问题,(1)\(E_{in} 要和 E_{out}\) 有很接近,(2)\(E_{in}\)要足够小. 对于第一个假设,根据Hoefding's Inequa ...
- 机器学习基石的泛化理论及VC维部分整理(第五讲)
第五讲 Training versus Testing 一.问题的提出 \(P_{\mathcal{D}}\left [ BAD \mathcal{D} \right ] \leq 2M \cd ...
- VC维度
由vc bound可以知道: $P(\exists h\in H~s.t~|E_{in}(h)-E_{out}(h)|>\epsilon)\\ \leq 4M_H(2N)exp(-\frac{ ...
- 机器学习基石7-The VC Dimension
注: 文章中所有的图片均来自台湾大学林轩田<机器学习基石>课程. 笔记原作者:红色石头 微信公众号:AI有道 前几节课着重介绍了机器能够学习的条件并做了详细的推导和解释.机器能够学习必须满 ...
- VC维的来龙去脉——转载
VC维的来龙去脉——转载自“火光摇曳” 在研究VC维的过程中,发现一篇写的很不错的VC维的来龙去脉的文章,以此转载进行学习. 原文链接,有兴趣的可以参考原文进行研究学习 目录: 说说历史 Hoeffd ...
- VC dimension and Model complexity
可以把growth function m_H(N)的upper bound用N^(k-1)来限制, for N large, k>=3 Thus, 定义: VC Dimension: maxim ...
随机推荐
- Graph_Master(连通分量_C_Trajan缩点+最小路径覆盖)
hdu_3861 题目大意:给定一张有向图,若<u,v>可达(u可以走到v,或者 v可以走到u),则<u,v>需被划分在统一城邦,问最小划分城邦数. 题解:比较裸的题,可以看出 ...
- erwin逆向工程,logical模型列名修改为中文
逆向工程,应该选择physical template,这样拷贝到logical/physical 模型中,才可以将logical模型的列名修改为中文.
- Sublime使用记录之SublimeServer插件介绍
Sublime使用记录之SublimeServer插件介绍 介绍:sublimeServer
- Python学习札记(八) Basic5 循环
参考:循环 Note: A.for···in循环: 1.for x in ...循环就是把每个元素代入变量x,然后执行缩进块的语句. eg. #!/usr/bin/env python3 list_A ...
- ubuntu install vue , vue-cli , how to create project..
<<install node.js <<the n model is manage the node.js version npm install -g n n stable ...
- php-fpm 与 cgi
CGI是干嘛的?CGI是为了保证web server传递过来的数据是标准格式的,方便CGI程序的编写者. web server(比如说nginx)只是内容的分发者.比如,如果请求/index.html ...
- 深入浅出-Binding的源与路径
1.把控件作为Binding源与Binding标记扩展<TextBox x:Name="textBox1" Text="{Binding Path=Value, E ...
- 聚类效果评测-Fmeasure和Accuracy及其Matlab实现
聚类结果的好坏,有很多种指标,其中F-Measue即F值是常用的一种,其中包括precision(查准率或者准确率)和recall(查全率或者召回率). F-Measue是信息检索中常用的评价标准. ...
- CentOS6.6系统中安装配置Samba的教程
Samba是在Linux和UNIX系统上实现SMB协议的一个免费软件,由服务器及客户端程序构成.SMB(Server Messages Block,信息服务块)是一种在局域网上共享文件和打印机的一种通 ...
- Ansible 小手册系列 七(Ad-hoc)
Ansible提供两种方式去完成任务,一是 ad-hoc 命令,一是写 Ansible playbook.前者可以解决一些简单的任务, 后者解决较复杂的任务. ad hoc——临时的,在ansible ...