06 Theory of Generalization

【06 Theory of Generalization】的更多相关文章

06 Theory of Generalization

若H的断点为k,即k个数据点不能被H给shatter,那么k+1个数据点也不能被H给shatter,即k+1也是H的断点. 如果给定的样本数N是大于等于k的,易得mH(N)<2N,且随着N的增大,小得越来越多. 当断点为k时,记最大可能的成长函数mH(N)为bound函数,记为B(N,k).------只和N.k有关注意比较,发现bound函数比起成长函数消除了H. 如果无断点,自然没有B(N,k)什么事: 如果断点为k, 那么mH(N)是给定H下,可能的最大假设类数: B(N,k)是不限H下…

机器学习基石：06 Theory of Generalization

若H的断点为k,即k个数据点不能被H给shatter,那么k+1个数据点也不能被H给shatter,即k+1也是H的断点. 如果给定的样本数N是大于等于k的,易得mH(N)<2N,且随着N的增大,小得越来越多. 当断点为k时,记最大可能的成长函数mH(N)为bound函数,记为B(N,k).------只和N.k有关. 注意比较,发现bound函数比起成长函数消除了H. 如果无断点,自然没有B(N,k)什么事: 如果断点为k, 那么mH(N)是给定H下,可能的最大假设类数: B(N,k)是不限H…

机器学习基石笔记：06 Theory of Generalization

若H的断点为k,即k个数据点不能被H给shatter,那么k+1个数据点也不能被H给shatter,即k+1也是H的断点. 如果给定的样本数N是大于等于k的,易得mH(N)<2N,且随着N的增大,小得越来越多. 当断点为k时,记最大可能的成长函数mH(N)为bound函数,记为B(N,k).------只和N.k有关. 注意比较,发现bound函数比起成长函数消除了H. 如果无断点,自然没有B(N,k)什么事: 如果断点为k, 那么mH(N)是给定H下,可能的最大假设类数: B(N,k)是不限H…

Coursera台大机器学习课程笔记5 -- Theory of Generalization

本章思路: 根据之前的总结,如果M很大,那么无论假设泛化能力差的概率多小,都无法忽略,所以问题转化为证明M不大,然后上章将其转化为证明成长函数:mh(N)为多项式级别.直接证明似乎很困难,本章继续利用转化的思想,首先想想和mh(N)相关的因素可能有哪些?不难想到目前来看只有两个: 假设的抽样数据集大小N: break point k(这个变量确定了假设的类型): 那么,由此可以得到一个函数B,给定N和k可以确定该系列假设能够得到的最大的mh(N),那么新的目标便是证明B(N,k) <= Poly…

【Theory of Generalization】林轩田机器学习基石

紧接上一讲的Break Point of H.有一个非常intuition的结论,如果break point在k取到了,那么k+1, k+2,... 都是break point. 那么除此之外,我们还能获得那些讯息? 这里举了一些例子,核心就是说下面的事情简言之,如果H有Break Point k,那么当N大于k的时候,mH(N)会大大地缩减(对于binary classification来说是pow(2, N) ). 按照这个思路,自然就想知道,既然mH(N)会大大缩减,能缩减到啥程度?(如…

理解机器为什么可以学习（三）---Theory of Generalization

前边讨论了我们介绍了成长函数和break point,现在继续讨论m是否成长很慢,是否能够取代M. 成长函数就是二分类的排列组合的数量.break point是第一个不能shatter(覆盖所有情形)的点. 1.break point对成长函数的限制我们希望这里引入上限函数 bound function:给了break point,看看可以组成多少排列组合,下面证明boundfunction是多项式成长的. 右上角相当于没有加条件限制,对角线就是全部的减1嘛,因为全部不可能,小一点,找个上限…

zz先睹为快:神经网络顶会ICLR 2019论文热点分析

先睹为快:神经网络顶会ICLR 2019论文热点分析 - lqfarmer的文章 - 知乎 https://zhuanlan.zhihu.com/p/53011934 作者:lqfarmer链接:https://zhuanlan.zhihu.com/p/53011934来源:知乎著作权归作者所有.商业转载请联系作者获得授权,非商业转载请注明出处. ICLR-2019(International Conference on Learning Representations 2019),将于2019…