Adaptive Boosting

Boosting

boosting和bagging很类似，所使用的多个分类器类型都是一致的。另外，他们的主要区别点如下：

boosting中不同的分类器是通过串行得到的，每个分类器都是根据已经训练出来的分类器的性能来进行训练。 bagging中不同的分类器之前是没有影响的。

boosting最终的分类结果是各个基本分类器的加权得到，bagging分类器的权重是相等的。

boosting不改变所给的训练数据，只是改变所给训练数据的一个权值的分布。

Boosting的主要版本：AdaBoost, GBDT

接下来就介绍一下AdaBoost:

Ada Boost是一个Linear Aggregation的例子。是对分类错误的example权重提高，一步一步的得到不同的弱分类器，最后融合这些分类器的算法。

从样本中有放回抽样得到每次的训练集，以u纪录出现的次数。

在原始数据集上来看，就相当于是对不同的样本错误采取加权来计算Ein，当前g就是寻找这些加权后的最小Ein，现在我换一种思路，不再是每次放回抽样，然后怎样怎样，而是：

我现在有了g1,g1在一些样本上分类错误，在另一些样本上分类正确，我要怎么由g1得到g2呢？

由于我们希望不同的g差别很大，所以我们希望在新样本上，g1的表现很差，什么叫表现很差呢？就是和你随便猜的表现差不多，

也就是在 u(t + 1)上g1一半分错，一半分对。

所以就可以由之前的数据，进行“加权”得到新的数据进行训练得到g2。

假设之前的错误率为 r，那么正确分类的数据就要乘以 r，错误分类的数据就要乘以(1 - r)

定义方块t:

也就是说，如果这次分对了，那么权重就乘以方块t,分错了就除以方块t。这样对于错误率小于1/2的弱分类器，方块t就会大于1，错误的数据的权重就会得到加强。

好了，有了以上的描述，那么接下来就正式一点的来理一理这个算法Ada boost.

就是首先因为是平方误差，所以初始化权重u为1/N，然后每次就是在数据上找一个g，这基于 min Ein.然后由分类数据的对错确定数据之后的一个权重。

得到新数据之后再训练得到g2，然后得到新权重，然后。。。鸡生蛋，蛋生鸡，子子孙孙无穷尽也。。。

这其中，不能再使用uniform aggregation了，因为你第一次好的数据，在第二次差到极致，你这么组合有意思么？所以，这里采用Linear aggregation。而且这里的权重为ln(方块t)

所以，我们的AdaBoost只要搭配一个弱弱的演算法就好了，那么现在就介绍一个弱弱的演算法Decision Stump

就看单一的feature，在里面决定你要切在哪里，哪边为正，哪边为负。那么我们可以搜索所有参数的组合，得到最好的Decision Stump

物理上看，就比如一个二维的。每次只能切水平刀，竖直刀。

对于权重和更新参数的另一种更新规则，统计学习方法教材上有更详细的描述，而且我觉得那种更新方法似乎更有道理。

Adaboost优缺点：

优点：分类时，分类精度高

　　　　弱分类器好选择

　　　　构造简单，结果可理解

　　　　不容易产生过拟合

缺点：对异常值明感