Adaboost分类器

2019-08-31

非集成的机器学习算法就像古代皇帝一样,一个人说了算;集成学习算法类似于现在的国会,需要听取在会所有人的意见。

Adaboost是一个集成学习算法,下面将会对算法进行拆解,以使我们明白Adaboost的内部原理。

Adboost算法核心内容可以划分为两个问题:

(1)如何构建弱分类器;

(2)如何组合这些弱分类器。

其中(1)又可以细化为:

1)使用哪种模型作为弱分类器的主算法?SVM还是DecisionTree,又或者是LogisticRegression;

2)如何使用原始数据?全部使用还是随机抽取又或者是分批使用;

3)到底应该训练出多少个弱分类器?

解决完这些问题,整个Adaboost算法就非常清晰了。

1.构建弱分类器

1.1 弱分类器的主算法

这个由设计者自己选择,Adboost算法不强制规定选择那种算法作为弱分类器的主算法。

1.2 原始数据集的使用

Adaboost算法会使用全部的训练集来训练弱分类器,并不会进行类似于随机抽取或者分批的操作;但是Adaboost会给每个训练数据添加一个权重系数。

目前只需要直到Adboost算法使用全部的训练集训练模型,并为每个数据增加了一个权重系数这两点就可以了。

1.3 弱分类器的个数

这个Adaboost算法中也没有强制规定,开发人员可以自己规定弱分类器个数,或者自己设置停止迭代的条件。

1.4 弱分类器训练过程

假设总训练集为D,训练集的样本个数为N,最多训练M个弱分类器;

m代表正准备训练的分类器的编号;

$W_{i}$表示第i个弱分类器的权重列表,$W_{i,j}$代表第i个弱分类器的第j个数据的权值,i,j都从0开始计

在这些条件下,弱分类器的训练过程如下:

1)初始化权重系数W并初始化m=0;

$W_{0,j} = \frac{1}{N}\, \, \, \, \, \, \, \, \, j\in [0,1,2\cdots N-1]$

2)若m大于M-1,停止弱分类器训练,准备组合弱分类器;

3)否则使用带权重的训练数据训练弱分类器,得到弱分类器$G_{m}(x)$;

4)计算弱分类器$G_{m}(x)$在训练集上的错误率:

$\widehat{y}_{m}=G_{m}(x)$

$\varepsilon _{m}=W_{m}\cdot (\widehat{y}_{m}\neq y)$

5)计算相关系数:

$\alpha_{m}=0.5log\frac{1-\varepsilon _{m}}{\varepsilon _{m}}$

6)更新权重:

$W_{m+1}=W_{m}\times exp(-\alpha_{m}\times \widehat{y}\times y)$

归一化权重

$W_{m+1}=W_{m+1}/(\sum W_{m+1,j}\,\,)$

7)令$m = m+1$,查是否达到迭代终止条件,否的话跳到第2)步继续;

8)达到条件的话终止迭代,准备组合弱分类器。

2.组合弱分类器

这个时候上一节中求的相关系数就用上了,最终的强分类器$F(x)$:

$F(x)=\sum_{i=0}^{M-1}\alpha_{i}G_{i}(X)$

当$F(x)>0$,预测为正

Adaboost分类器的更多相关文章

  1. 使用OpenCV训练Haar like+Adaboost分类器的常见问题

    <FAQ:OpenCV Haartraining>——使用OpenCV训练Haar like+Adaboost分类器的常见问题 最近使用OpenCV训练Haar like+Adaboost ...

  2. OpenCV学习记录(二):自己训练haar特征的adaboost分类器进行人脸识别 标签: 脸部识别opencv 2017-07-03 21:38 26人阅读

    上一篇文章中介绍了如何使用OpenCV自带的haar分类器进行人脸识别(点我打开). 这次我试着自己去训练一个haar分类器,前后花了两天,最后总算是训练完了.不过效果并不是特别理想,由于我是在自己的 ...

  3. 6-8 adaboost分类器2

    重点分析了Adaboost它的分类结构,以及如何使用Adaboost.这一节课讲解Adaboost分类器它训练的步骤以及训练好之后的XML文件的文件结构.所以这节课的核心是Adaboost分类器它的训 ...

  4. 6-7 adaboost分类器1

    如何利用特征来区分目标,进行阈值判决.adaboost分类器它的优点在于前一个基本分类器分出的样本,在下一个分类器中会得到加强.加强后全体的样本那么再次进行整个训练.加强后的全体样本再次被用来训练下一 ...

  5. 关于adaboost分类器

    我花了将近一周的时间,才算搞懂了adaboost的原理.这根骨头终究还是被我啃下来了. Adaboost是boosting系的解决方案,类似的是bagging系,bagging系是另外一个话题,还没有 ...

  6. 使用 AdaBoost 元算法提高分类器性能

    前言 有人认为 AdaBoost 是最好的监督学习的方式. 某种程度上因为它是元算法,也就是说它会是几种分类器的组合.这就好比对于一个问题能够咨询多个 "专家" 的意见了. 组合的 ...

  7. 第九篇:使用 AdaBoost 元算法提高分类器性能

    前言 有人认为 AdaBoost 是最好的监督学习的方式. 某种程度上因为它是元算法,也就是说它会是几种分类器的组合.这就好比对于一个问题能够咨询多个 "专家" 的意见了. 组合的 ...

  8. 机器学习实战 - 读书笔记(07) - 利用AdaBoost元算法提高分类性能

    前言 最近在看Peter Harrington写的"机器学习实战",这是我的学习笔记,这次是第7章 - 利用AdaBoost元算法提高分类性能. 核心思想 在使用某个特定的算法是, ...

  9. 【原】训练自己haar-like特征分类器并识别物体(2)

    在上一篇文章中,我介绍了<训练自己的haar-like特征分类器并识别物体>的前两个步骤: 1.准备训练样本图片,包括正例及反例样本 2.生成样本描述文件 3.训练样本 4.目标识别 == ...

  10. Real Adaboost总结

    Real Adaboost分类器是对经典Adaboost分类器的扩展和提升,经典Adaboost分类器的每个弱分类器仅输出{1,0}或{+1,-1},分类能力较弱,Real Adaboost的每个弱分 ...

随机推荐

  1. 巴恩斯利蕨 The Barnsley Fern

    巴恩斯利蕨学习链接 下面用R画一下: npts<-50000 point_mat<-matrix(data=NA,nrow=npts,ncol=2) list_fun<-list( ...

  2. 2022.11.09 NOIP2022 模拟赛六

    科学 Source:CF461C Appleman and a Sheet of Paper,*2200. 注意到对于 \(p\le \lfloor \frac {now}{2}\rfloor\),直 ...

  3. PLSQL中文乱码问题(显示问号)解决办法

    select userenv('language') from dual; 在环境变量的系统变量中添加配置: NLS_LANG SIMPLIFIED CHINESE_CHINA.ZHS16GBK 这个 ...

  4. 结构体struct

    在 C# 中,结构体是值类型数据结构.它使得一个单一变量可以存储各种数据类型的相关数据.struct 关键字用于创建结构体. 结构体是用来代表一个记录.假设您想跟踪图书馆中书的动态.您可能想跟踪每本书 ...

  5. 用深度学习模型Word2Vec探索《红楼梦》人物关系

    先来看一看结果,发现: 1.贾宝玉和袭人的关系最近. 2.薛宝钗和自己的妈妈关系最近. 3.贾宝玉和林黛玉逼格比较统一,薛宝钗属于独树一帜的逼格调性. 4.大观园中可以看到邢岫烟经常出没... 还有更 ...

  6. Java基础——(综合练习)买飞机票和找素数

    package com.zhao.test; import java.util.Scanner; public class Test14 { /* 需求:机票价格按照淡季旺季.头等舱和经济舱收费. 输 ...

  7. 057_Apex 开发中的问题

    2019/12/27 补充内容: 1. %2F 由于页面的按钮点击或者Detail 页面编辑url中会生成 returnURL=%2F id,需要注意下 2. Trigger 中, __r 与触发条件 ...

  8. RN 手势响应系统基本用法和获取坐标判断用户手势方向

    1. 基本使用,注意两点 (1)将手势系统的函数放在"componentWillMount"生命周期函数里面,当时会有警告,警告自己看吧 (2)将方法使用ES6扩展运算符展开 im ...

  9. HTML复习(17.表格样式)

    重点 掌握caption-side(表格标题位置) 掌握border-collapse(表格边框合并) 掌握border-spacing(表格边框间距) 表格标题位置在CSS中,我们可以使用capti ...

  10. kali2020-bash: openvas-setup:未找到命令 ,解决办法

    将openvas-setup命令换成 gvm-setup命令即可