Adaboost分类器
Adaboost分类器
2019-08-31
非集成的机器学习算法就像古代皇帝一样,一个人说了算;集成学习算法类似于现在的国会,需要听取在会所有人的意见。
Adaboost是一个集成学习算法,下面将会对算法进行拆解,以使我们明白Adaboost的内部原理。
Adboost算法核心内容可以划分为两个问题:
(1)如何构建弱分类器;
(2)如何组合这些弱分类器。
其中(1)又可以细化为:
1)使用哪种模型作为弱分类器的主算法?SVM还是DecisionTree,又或者是LogisticRegression;
2)如何使用原始数据?全部使用还是随机抽取又或者是分批使用;
3)到底应该训练出多少个弱分类器?
解决完这些问题,整个Adaboost算法就非常清晰了。
1.构建弱分类器
1.1 弱分类器的主算法
这个由设计者自己选择,Adboost算法不强制规定选择那种算法作为弱分类器的主算法。
1.2 原始数据集的使用
Adaboost算法会使用全部的训练集来训练弱分类器,并不会进行类似于随机抽取或者分批的操作;但是Adaboost会给每个训练数据添加一个权重系数。
目前只需要直到Adboost算法使用全部的训练集训练模型,并为每个数据增加了一个权重系数这两点就可以了。
1.3 弱分类器的个数
这个Adaboost算法中也没有强制规定,开发人员可以自己规定弱分类器个数,或者自己设置停止迭代的条件。
1.4 弱分类器训练过程
假设总训练集为D,训练集的样本个数为N,最多训练M个弱分类器;
m代表正准备训练的分类器的编号;
$W_{i}$表示第i个弱分类器的权重列表,$W_{i,j}$代表第i个弱分类器的第j个数据的权值,i,j都从0开始计
在这些条件下,弱分类器的训练过程如下:
1)初始化权重系数W并初始化m=0;
$W_{0,j} = \frac{1}{N}\, \, \, \, \, \, \, \, \, j\in [0,1,2\cdots N-1]$
2)若m大于M-1,停止弱分类器训练,准备组合弱分类器;
3)否则使用带权重的训练数据训练弱分类器,得到弱分类器$G_{m}(x)$;
4)计算弱分类器$G_{m}(x)$在训练集上的错误率:
$\widehat{y}_{m}=G_{m}(x)$
$\varepsilon _{m}=W_{m}\cdot (\widehat{y}_{m}\neq y)$
5)计算相关系数:
$\alpha_{m}=0.5log\frac{1-\varepsilon _{m}}{\varepsilon _{m}}$
6)更新权重:
$W_{m+1}=W_{m}\times exp(-\alpha_{m}\times \widehat{y}\times y)$
归一化权重
$W_{m+1}=W_{m+1}/(\sum W_{m+1,j}\,\,)$
7)令$m = m+1$,查是否达到迭代终止条件,否的话跳到第2)步继续;
8)达到条件的话终止迭代,准备组合弱分类器。
2.组合弱分类器
这个时候上一节中求的相关系数就用上了,最终的强分类器$F(x)$:
$F(x)=\sum_{i=0}^{M-1}\alpha_{i}G_{i}(X)$
当$F(x)>0$,预测为正
Adaboost分类器的更多相关文章
- 使用OpenCV训练Haar like+Adaboost分类器的常见问题
<FAQ:OpenCV Haartraining>——使用OpenCV训练Haar like+Adaboost分类器的常见问题 最近使用OpenCV训练Haar like+Adaboost ...
- OpenCV学习记录(二):自己训练haar特征的adaboost分类器进行人脸识别 标签: 脸部识别opencv 2017-07-03 21:38 26人阅读
上一篇文章中介绍了如何使用OpenCV自带的haar分类器进行人脸识别(点我打开). 这次我试着自己去训练一个haar分类器,前后花了两天,最后总算是训练完了.不过效果并不是特别理想,由于我是在自己的 ...
- 6-8 adaboost分类器2
重点分析了Adaboost它的分类结构,以及如何使用Adaboost.这一节课讲解Adaboost分类器它训练的步骤以及训练好之后的XML文件的文件结构.所以这节课的核心是Adaboost分类器它的训 ...
- 6-7 adaboost分类器1
如何利用特征来区分目标,进行阈值判决.adaboost分类器它的优点在于前一个基本分类器分出的样本,在下一个分类器中会得到加强.加强后全体的样本那么再次进行整个训练.加强后的全体样本再次被用来训练下一 ...
- 关于adaboost分类器
我花了将近一周的时间,才算搞懂了adaboost的原理.这根骨头终究还是被我啃下来了. Adaboost是boosting系的解决方案,类似的是bagging系,bagging系是另外一个话题,还没有 ...
- 使用 AdaBoost 元算法提高分类器性能
前言 有人认为 AdaBoost 是最好的监督学习的方式. 某种程度上因为它是元算法,也就是说它会是几种分类器的组合.这就好比对于一个问题能够咨询多个 "专家" 的意见了. 组合的 ...
- 第九篇:使用 AdaBoost 元算法提高分类器性能
前言 有人认为 AdaBoost 是最好的监督学习的方式. 某种程度上因为它是元算法,也就是说它会是几种分类器的组合.这就好比对于一个问题能够咨询多个 "专家" 的意见了. 组合的 ...
- 机器学习实战 - 读书笔记(07) - 利用AdaBoost元算法提高分类性能
前言 最近在看Peter Harrington写的"机器学习实战",这是我的学习笔记,这次是第7章 - 利用AdaBoost元算法提高分类性能. 核心思想 在使用某个特定的算法是, ...
- 【原】训练自己haar-like特征分类器并识别物体(2)
在上一篇文章中,我介绍了<训练自己的haar-like特征分类器并识别物体>的前两个步骤: 1.准备训练样本图片,包括正例及反例样本 2.生成样本描述文件 3.训练样本 4.目标识别 == ...
- Real Adaboost总结
Real Adaboost分类器是对经典Adaboost分类器的扩展和提升,经典Adaboost分类器的每个弱分类器仅输出{1,0}或{+1,-1},分类能力较弱,Real Adaboost的每个弱分 ...
随机推荐
- 钉钉群机器人群发[ PHP ]
// secret 机器人设置 - 加签秘钥 // access_token 机器人设置 - Webhook带此参数 // message 机器人设置- 关键词设置的内容需要和message一致 pu ...
- java的Stream
代码 List<Student> all = Student.getAll(); // 转换成数组 过滤所有的男性 Student[] students = all.stream().fi ...
- python批量更改文件名并移动到新的文件夹
python批量更改文件名并移动到新的文件夹 前言: 1. 这里的代码以批量命名如: 路径"E:\下载\1\xxxx.mp4"."E:\下载\2\xxxx.mp4&quo ...
- 35.Linux 性能监控常用命令
内存 top CPU yum install -y sysstat mpstat 网络 netstat //参数说明 //-n:拒绝显示别卖,能显示数字的全部转化数字 //-l:仅列出Listen(监 ...
- 实践:腾讯云COS备份本地数据以及异地备份
在当前大数据时代背景下,数据在业务中占有不可低估的地位,数据备份已然成为了最后一道屏障. 腾讯云对象存储COS,提供数据备份.共享.大数据处理.线上数据托管一站式解决方案,成为了不少企业和个人用户备份 ...
- imputation-综述文章:关于网络推理的scRNA序列插补工具基准突出了高稀疏性水平下的性能缺陷
文章题目: Benchmarking scRNA-seq imputation tools with respect to network inference highlights 中文题目: 关于网 ...
- Android中操作 SDCard文件
1 import android.content.Context; 2 import android.graphics.Bitmap; 3 import android.graphics.Bitmap ...
- python实现PDF转PNG
说明 为了方便将pdf格式发票转为图片,找到以下方法,转换后的效果非常不错,特此记录在自己的笔记中,根据自己的需要,代码稍微有所优化修改 参考网址:https://zhuanlan.zhihu.com ...
- Windows本地文件上传到Linux服务器(腾讯云)
环境 本地 操作系统:Window 10 企业版LTSC;内存:8GB;操作类型:64位. 服务器 CentOS 8(1核2GB,1Mbps) 64位 ,已安装Docker(CentOS 8 的doc ...
- memoのls
memoのls 测试环境是Big Sur 11.2.2 在windows下都不知道cd /D E:\xxx\xxx可以直接切换盘符.今天才发现,ls命令我也不会用-- ls命令是真强大啊,之前只知道l ...