【Theory of Generalization】林轩田机器学习基石

紧接上一讲的Break Point of H。有一个非常intuition的结论，如果break point在k取到了，那么k+1, k+2,... 都是break point。

那么除此之外，我们还能获得那些讯息？

这里举了一些例子，核心就是说下面的事情

简言之，如果H有Break Point k，那么当N大于k的时候，mH(N)会大大地缩减（对于binary classification来说是pow(2, N) ）。

按照这个思路，自然就想知道，既然mH(N)会大大缩减，能缩减到啥程度？（如上图猜测，能否所见到N的polynomial的形式呢？）

接下来，引出了Bounding Function的概念：

这个概念的提出，就是为了看N个样本点，Break Point为k，到底能把mH(N)缩减到啥程度的？

另外，这里的B(N,k)只与N和k有关，与具体的假设集合H无关.

比如，在binary classification这个问题下，无论是positive intervals还是1D perceptrons，这个Bounding Function都是一样的。

现在的问题是怎么给Bounding Function的形式了。

根据下面几页PPT的内容：

猜测得出了Bounding Function的一个上界（本来Bouding Function就是一个上界了，这次得出的上界的上界）

这里我们看到了，Bounding Function的上界终于出现了我们喜欢的Polynomial的形式。

因此，得到了结论，只要Break Point存在，则mH(N)一定能够被一个多项式Bound住。

这里再明确一次：B(N,k)叫Bounding Function，是为了Bound住mH(N)（叫Growth Funciton）而生的；到了上面这块，我们找到的是Bounding Fucntion的一个上界，这个上界是一个关于N和k的多项式形式的式子；结论就是用Bounding Function的上界Bound住了Growth Function。

==================================================================

上面讲了一大堆，最后就是说mH(N)是可以在某种条件下（Break Point k）被Bound住的。这跟机器学习有啥关系呢？现在回到Hoeffding不等式的union bound形式

这里一个直观的想法就是，既然已经找到了mH(N)的上界（ 被B(N,k)的上界Bound住了 ），那直接带进Hoeffding不等式不就行了么。

这里忽略了Eout(h)是无限个。。。。

因此，第一步需要把Eout(h)给换成有限个，如下：

这里没有做严格的证明，只给了直观的解释：假设还有一笔资料D‘（数量也为N），sample的结果为Ein'；那么Ein与Eout发生BAD则，很可能Ein与Ein'也发生了BAD。

这里暂时记住，这一步用了有限代替无限，并做了一个放缩吧先。

第二步，把假设集合H分类。

利用第一步的结果，再直观想象下：为了产生Ein'，硬是多了N个样本点；那么此时Growth Function mH(N)中的‘N’自然就变成了‘2N’了

第三步，再用一下前人的智慧，想办法套Hoeffding Without Replacement

变换后就成了：原来有个2N个sample，现在抽了N个sample出来；这N个sample跟原来2N个sample的真实情况相比，发生BAD的概率是多少呢？

这就变成了很像Hoeffding不等式的条件，但这里的区别是无放回抽样，变成了Without Replacement；但最后的结果是不影响的

上面三步之后，得到了最后的Vapnik-Chervonenkis(VC) bound:

再回顾一下2D perceptron:

Break Point : k=4

mH(N) : O (N³）

因此2D perception由VC dimension理论可知，是可以从数据中学到东西的。