首先用一个形象的例子来说明AdaBoost的过程:

1. 每次产生一个弱的分类器,把本轮错的样本增加权重丢入下一轮

2. 下一轮对上一轮分错的样本再加重学习,获得另一个弱分类器

经过T轮之后,学得了T个弱分类器,再将这T个弱分类器组合在一起,形成了一个强分类器。

由于每一轮样本的权重都在变化,因此分类器学习的目标函数也产生了变化:

无论是SVM还是Logistic Regression都可以用这种方式学习,给每个样本增加不同的权重。

接下来问题就变成了,如何调整样本的权重?目的是什么?

林介绍了一个原则:

目的:如果想要多个分类器的组合效果好,多个分类器之间的差异就要大一些

方法:上一轮分对的样本在下一轮权重降低,上一轮分错的样本在下一轮提高,这样gt和gt+1的对不同样本的分类能力就有区别了

林接着介绍了一种有实际操作可行性的re-weighting方法。

分对样本权重乘以错误率,分对样本权重乘以(1-错误率):上张PPT提到了,这样做的结果就是ut+1对于gt分类器来说是random的;但是,本轮对ut+1的学习结果gt+1分类器(如果真的学的靠谱)肯定要优于random的,;这样一来,既保证了差异性,又不至于调整的太过分。

每一轮分类器怎么学习解决了,但是分类器怎么组合还没有提到。

林介绍了一种Linear Aggregation on the Fly的方法:

这种方法每一轮学完分类器,分类器前面的权重也就有了:

对scaling factor取一个ln当成分类器权重

1)系数为正,表示分类器能起到一定的正确分类作用

2)系数为0,表示分类器跟随机的效果一样

3)系数为负,表示分类器判断结果与真实结果更可能是相反的

如果是工程化编程,这里需要考虑如果error rate=0的情况,做一个特殊的处理。

最后林从理论上讲了AdaBoost的依据:

这种方法为什么能行呢?

1)每次前进一小步,Ein可能会越来越小

2)样本量足够多,VC bound可以保证Ein与Eout接近(泛化性好)

林接着介绍了一个AdaBoost的经典例子:

要想找一个弱分类器,那没有比one-dimension stump更弱的了,但就是这么弱的分类器,经过组合也产生了伟大的工作。

工作就是实时人脸识别。

【Adaptive Boosting】林轩田机器学习技法的更多相关文章

  1. 【Matrix Factorization】林轩田机器学习技法

    在NNet这个系列中讲了Matrix Factorization感觉上怪怪的,但是听完第一小节课程就明白了. 林首先介绍了机器学习里面比较困难的一种问题:categorical features 这种 ...

  2. 【Deep Learning】林轩田机器学习技法

    这节课的题目是Deep learning,个人以为说的跟Deep learning比较浅,跟autoencoder和PCA这块内容比较紧密. 林介绍了deep learning近年来受到了很大的关注: ...

  3. 【Neural Network】林轩田机器学习技法

    首先从单层神经网络开始介绍 最简单的单层神经网络可以看成是多个Perception的线性组合,这种简单的组合可以达到一些复杂的boundary. 比如,最简单的逻辑运算AND  OR NOT都可以由多 ...

  4. 【Radial Basis Function Network】林轩田机器学习技法

    这节课主要讲述了RBF这类的神经网络+Kmeans聚类算法,以及二者的结合使用. 首先回归的了Gaussian SVM这个模型: 其中的Gaussian kernel又叫做Radial Basis F ...

  5. 【Random Forest】林轩田机器学习技法

    总体来说,林对于random forest的讲解主要是算法概况上的:某种程度上说,更注重insights. 林分别列举了Bagging和Decision Tree的各自特点: Random Fores ...

  6. 【Decision Tree】林轩田机器学习技法

    首先沿着上节课的AdaBoost-Stump的思路,介绍了Decision Tree的路数: AdaBoost和Decision Tree都是对弱分类器的组合: 1)AdaBoost是分类的时候,让所 ...

  7. 【Linear Support Vector Machine】林轩田机器学习技法

    首先从介绍了Large_margin Separating Hyperplane的概念. (在linear separable的前提下)找到largest-margin的分界面,即最胖的那条分界线.下 ...

  8. 【Support Vector Regression】林轩田机器学习技法

    上节课讲了Kernel的技巧如何应用到Logistic Regression中.核心是L2 regularized的error形式的linear model是可以应用Kernel技巧的. 这一节,继续 ...

  9. 【Dual Support Vector Machine】林轩田机器学习技法

    这节课内容介绍了SVM的核心. 首先,既然SVM都可以转化为二次规划问题了,为啥还有有Dual啥的呢?原因如下: 如果x进行non-linear transform后,二次规划算法需要面对的是d`+1 ...

随机推荐

  1. [原创][Windows] Win7安装visual c++ 2015 redistributable x64失败

    在win7中安装visual c++ 2015 redistributable x64 时会卡住,原因是visual c++ 2015 redistributable x64 需要KB2999226, ...

  2. Arduino-舵机控制Servo

    以前没有接触过硬件,因为把弄APM2.5不得不去接触arduino板.Arduino是块极易上手的控板,不像单片机,你要花费大量的时间去学习预备知识,它只要你稍微懂点C语言既能上手.对于我这种业余爱好 ...

  3. selenium安装及官方文档

    selenium-python官方文档: https://selenium-python.readthedocs.io/ python3.5已安装的情况下,安装示意图如下 命令行输入 pip3 ins ...

  4. poj 3485 区间选点

    题目链接:http://poj.org/problem?id=3485 题意:X轴上公路从0到L,X轴上下有一些点给出坐标代表村庄,问在公路上最少建几个出口才能使每个村庄到出口的距离不超过D. 以村庄 ...

  5. P1909 买铅笔

    题目描述 P老师需要去商店买n支铅笔作为小朋友们参加NOIP的礼物.她发现商店一共有 33种包装的铅笔,不同包装内的铅笔数量有可能不同,价格也有可能不同.为了公平起 见,P老师决定只买同一种包装的铅笔 ...

  6. ssd论文解读

    https://www.sohu.com/a/168738025_717210 https://www.cnblogs.com/lillylin/p/6207292.html https://blog ...

  7. npm run build根据不同参数打包不同环境url

    config文件夹下 dev.env.js中修改代码 'use strict' const merge = require('webpack-merge') const prodEnv = requi ...

  8. 简单了解:Web前端攻击方式及防御措施

    一.XSS [Cross Site Script]跨站脚本攻击  恶意攻击者往Web页面里插入恶意Script代码,当用户浏览该页之时,嵌入其中Web里面的Script代码会被执行,从而达到恶意攻击用 ...

  9. JS - CommonJS、AMD、CMD

    CommonJS CommonJS是一种JS模块定义规范,它出现之初是为了解决JS天生没有模块管理的缺陷,它的终极目标是提供一个类似Python.Ruby和Java标准库.NodeJS的模块系统就是参 ...

  10. linux安装openldap步骤

    目录 虚拟机环境:centos 7 一.环境准备 1.关闭 selinux firewalld 临时: setenforce 0  永久: vi /etc/sysconfig/selinux SELI ...