随机森林之Bagging法

摘要：在随机森林介绍中提到了Bagging方法,这里就具体的学习下bagging方法。

Bagging方法是一个统计重采样的技术,它的基础是Bootstrap。基本思想是：利用Bootstrap方法重采样来生成多个版本的预测分类器,然后把这些分类器进行组合。通常情况下组合的分类器给出的结果比单一分类器的好,因为综合了各个分类器的特点。之所以用可重复的随机采样技术Bootstrap,是因为进行重复的随机采样所获得的样本可以得到没有或者含有较少的噪声数据。

在训练集上采样Bootstrap的方法进行采样，平均1/3的样本不会出现在采样的样本集合中,这就意味着训练集中的噪声点可能不会出现在Bootstrap所采集的样本集合中,所以与在原始样本集合上构建分类器相比,Bootstrap方法可以更容易的获得好的分类器。

在Leo Breiman的论文 ：Bagging Predictors 中他研究了不稳定性问题。他指出神经网络,分类和回归树,线性回归等方法的子集选择都不是稳定的。K-nearest相邻方法是稳定的。在论文中表明,Bagging方法可以正常的处理不稳定情况。实践和理论证明Bagging方法可以将一个好的不稳定的过程推向最优化方向发展。

Bagging算法流程如下：

1：对于给定的训练样本集合,通过n次的随机可重复的采样,从原始的样本集合中构建一个Bootstrap样本集合。

2：对于每一个Bootstrap样本集合构建一颗决策树。

3：重复1-2步，获取更多的决策树。

4：让每一棵决策树对输入量X进行投票

5：计算所有的投票数目，并以投票最多的一个分类标签作为X的类型。