线性可分支持向量机--SVM (1)

给定线性可分的数据集

假设输入空间(特征向量)为,输出空间为
输入
表示实例的特征向量,对应于输入空间的点;
输出
表示示例的类别。

线性可分支持向量机的定义:

通过间隔最大化或者等价的求出相应的凸二次规划问题得到的分离超平面

以及决策函数:

*什么是间隔最大化呢?
首先需要定义间隔, 下面介绍了函数间隔几何间隔,几何间隔可以理解为训练点到超平面的距离, 二维中就是点到直线的距离,我们要做的就是最小化几何间隔


函数间隔和几何间隔

函数间隔
给定训练数据集T和超平面(w, b)
定义超平面(w,b)关于点(xi, yi)的函数间隔

*函数间隔的理解
描述了点x距离超平面的远近,对于正确分类的点来说,这个式子与函数间隔是相等的。因此,函数间隔可以表示分类预测的正确性和确信度
但是,由于函数间隔会随着w, b 的改变而改变。例如,(w,b)和(2w, 2b)刻画的是同一个超平面,但是函数间隔却变为之前的2倍。因此要引入几何间隔的概念。

定义超平面(w,b)关于训练数据集T的函数间隔

几何间隔
当样本点(xi, yi)被正确分类时,点xi与超平面(w,b)的距离可以表示为:

(可以联系二维空间中点到直线的距离来理解)
所以定义超平面(w,b)关于点(xi, yi)的几何间隔

定义超平面(w,b)关于训练数据集T的几何间隔:

如图:

*几何间隔的理解
几何间隔其实就是对函数间隔的规范化, 联系计算点到直线的公式, 几何间隔计算出来的就是欧几里得距离。

间隔最大化

间隔最大化可以写束最优化问题:

因为我们想要每一个最大化超平面(w,b)关于训练数据集的集合间隔
约束条件表示的是超平面(w, b)距离每个训练样本点的距离都至少是
代入函数间隔和几何间隔的关系, 得到:

不妨取= 1,那么问题就变成了最大化了,而

为什么取呢?下面化简的时候就知道了。
那么我们得到凸二次规划问题如下:

* = 1的原因和影响
原因就是上面说到的函数间隔会随着 w 的改变而改变,所以的取值其实是不会影响最终的结果的,只需要优化 w 就可以了。
影响是, 如果取函数间隔 = 1, 那么满足的点就是支持向量(最上面图中虚线上的两个点)

学习的对偶算法

将上面的二次规划问题转换成对偶问题(参考拉格朗日对偶性(Lagrange duality)),首先引入拉格朗日函数

原始问题是极小极大问题:

对偶问题是极大极小问题:

原理:
通过求对偶问题的最大值即可求得元问题的最小值

对偶问题的求解:

(1)求
对w,b求导得到:

得到Lagrange函数:

即:

(2)求的极大,即是对偶问题:

即对偶问题为:

解出w, b

设求出了最优的一组解
其中至少有一个,可以求出最优的w, b
理由(反证法)(参考拉格朗日乘子(Lagrange multify)和KKT条件):
假如,则由可知,w = 0,这肯定不是最优解
因此, 至少有一个, 求得最优的w, b

分类决策函数可以写成:

算法的综述:

线性可分支持向量机--SVM(1)的更多相关文章

  1. 统计学习:线性可分支持向量机(SVM)

    模型 超平面 我们称下面形式的集合为超平面 \[\begin{aligned} \{ \bm{x} | \bm{a}^{T} \bm{x} - b = 0 \} \end{aligned} \tag{ ...

  2. 线性可分支持向量机与软间隔最大化--SVM(2)

    线性可分支持向量机与软间隔最大化--SVM 给定线性可分的数据集 假设输入空间(特征向量)为,输出空间为. 输入 表示实例的特征向量,对应于输入空间的点: 输出 表示示例的类别. 我们说可以通过间隔最 ...

  3. svm 之 线性可分支持向量机

    定义:给定线性可分训练数据集,通过间隔最大化或等价的求解凸二次规划问题学习获得分离超平面和分类决策函数,称为线性可分支持向量机. 目录: • 函数间隔 • 几何间隔 • 间隔最大化 • 对偶算法 1. ...

  4. 统计学习2:线性可分支持向量机(Scipy实现)

    1. 模型 1.1 超平面 我们称下面形式的集合为超平面 \[\begin{aligned} \{ \bm{x} | \bm{a}^{T} \bm{x} - b = 0 \} \end{aligned ...

  5. 支持向量机(SVM)的推导(线性SVM、软间隔SVM、Kernel Trick)

    线性可分支持向量机 给定线性可分的训练数据集,通过间隔最大化或等价地求解相应的凸二次规划问题学习到的分离超平面为 \[w^{\ast }x+b^{\ast }=0\] 以及相应的决策函数 \[f\le ...

  6. 统计学习:线性支持向量机(SVM)

    学习策略 软间隔最大化 上一章我们所定义的"线性可分支持向量机"要求训练数据是线性可分的.然而在实际中,训练数据往往包括异常值(outlier),故而常是线性不可分的.这就要求我们 ...

  7. 以图像分割为例浅谈支持向量机(SVM)

    1. 什么是支持向量机?   在机器学习中,分类问题是一种非常常见也非常重要的问题.常见的分类方法有决策树.聚类方法.贝叶斯分类等等.举一个常见的分类的例子.如下图1所示,在平面直角坐标系中,有一些点 ...

  8. 机器学习之支持向量机—SVM原理代码实现

    支持向量机—SVM原理代码实现 本文系作者原创,转载请注明出处:https://www.cnblogs.com/further-further-further/p/9596898.html 1. 解决 ...

  9. 复习支持向量机(SVM)没空看书时,掌握下面的知识就够了

    支持向量机(support vector machines, SVM)是一种二类分类模型.它的基本模型是定义在特征空间上的间隔最大的线性分类器:支持向量机还包括核技巧,这使它成为实质上的非线性分类器. ...

随机推荐

  1. 12 文件流(Unity3D)

      关于文件操作在脚本中可以通过xml或其他的与文件相关的类中封装的一些方法可读取本地Asset文件夹下的xml文档和json文档到游戏中.但是这样操作文件难免会有拖延,C#提供了一种文件操作的方法, ...

  2. 读书笔记 - js高级程序设计 - 第八章 BOM

      BOM的核心对象是window 它表示浏览器的一个实例,在浏览器中,window对象有双重角色,它既是通过js访问浏览器窗口的一个接口,又是ECMAScript规定的Global对象,这意味着在网 ...

  3. 国内OLED产业与三星到底是差之千里还是近在咫尺?

    此前,市面上几乎大部分智能手机搭载的刘海屏,都是来自三星的AMOLED屏幕.虽然三星总是被诟病为中国手机厂商提供的是"次品",不过没办法,OLED屏幕的核心技术.产能等都掌握在三星 ...

  4. sql server 日期时间数据类型

    1.日期和时间数据类型 (1)在sqlserver 2008之前,SQL Server 支持datetime 和 smalldatetime 两种日期时间数据类型.这两种数据类型日期和时间是不可分割的 ...

  5. linux 批量kill php进程

    一.执行以下命令 ps -ef|grep php|grep -v grep|cut -c 9-15|xargs kill -9     管道符“|”用来隔开两个命令,管道符左边命令的输出会作为管道符右 ...

  6. C3P0模板

    1.创建c3p0-config.xml配置文件放在src下 <?xml version="1.0" encoding="UTF-8"?> <c ...

  7. 201803-2 碰撞的小球 Java

    思路: 直接按照题意模拟,感觉没什么太好的办法.另外注意:int这种基础数据类型不能用equals这个方法 ,必须是Integer类型 import java.util.Scanner; public ...

  8. 吴裕雄--天生自然 PHP开发学习:数据类型

    <?php $x = "Hello world!"; echo $x; echo "<br>"; $x = 'Hello world!'; e ...

  9. Android自定义View——彩色圆环统计图

      1.初始化变量 圆的粗细:圆环的大小. 标注:文字前面的圆点. 分配比例大小:由于需要计算圆环扫过的角度,计算方法使用:(比例/100)*360度,用百分比算出360度占用了多少,由于比例/100 ...

  10. POJ1200 A - Crazy Search(哈希)

    A - Crazy Search Many people like to solve hard puzzles some of which may lead them to madness. One ...