svm 之 线性可分支持向量机
定义:给定线性可分训练数据集,通过间隔最大化或等价的求解凸二次规划问题学习获得分离超平面和分类决策函数,称为线性可分支持向量机。
目录:
• 函数间隔
• 几何间隔
• 间隔最大化
• 对偶算法
1、函数间隔
考虑分类算法的两个方面:确信度 + 正确性
确信度:用点到分离超平面的距离表示,间接表示为$w ⋅x_i+b$,分类的结果有多大的自信保证它是正确的;
正确性:$y_i$ 与 $w ⋅x_i+b$的符号是否一致,表征分类是否正确;
结合以上两点,
某一实例点的函数间隔的定义即:$γ ̂_i= y_i (w⋅x_i+b)$;
训练数据集的函数间隔定义为:$γ ̂*=min\quadγ ̂*_i$;
确信度:$w⋅x_i+b$可以间接的表示点到超平面的距离,距离越小,说明确信度越低,反之;
正确性:当 $y_i$ 与 $w⋅x_i+b$ 的符号一致时,函数间隔为正,此时分类是正确的,反之,分类错误;
2、几何间隔
但是.........
当w,b成倍的变化,变成了ℷw,ℷb时,超平面没有发生变化,但是函数间隔却变化了 ℷ 倍,基于此,
某一实例点的几何间隔就被定义为:$γ_i=y_i\frac{(w⋅x_i+b)}{‖w‖}$;
训练数据集的几何间隔定义为:$γ=min\quadγ_i$;
几何间隔不会随着w和b的比例变化而同比例的变化;
而且,$\frac{(w⋅x_i+b)}{‖w‖}$ 也是点到超平面真正的距离(不再是间接的表示了),所以几何间隔其实是带符号的距离;
几何间隔和函数间隔之间的关系:$γ=\frac{γ^*}{‖w‖}$
3、间隔最大化
线性可分支持向量机的目的是:正确的分离超平面 + 最大的几何间隔
最大的几何间隔直观的解释:以最大的确信度分离数据集,即使是最难分的实例点也可以被分的很好(大的确信度);
最大化几何间隔:
$max\quadγ$ ;
$s.t.\quad\frac{(y_i (w⋅x_i+b))}{‖w‖} ≥γ ,\qquad i=1,2……N$ ;
带入函数间隔:
$max\quad\frac{γ^*}{‖w‖}$ ;
$s.t.\quad y_i (w⋅x_i+b)≥γ^*, \qquad i=1,2……N$;
考虑上优化问题,可知$γ^*$ 的取值不会影响优化问题(当w和b成比例变化时,$γ^*$也会成比例变化,优化问题不变),可取$γ^*$ 为1,又可知最大化 $\frac1{‖w‖}$ 等价与最小化 $\frac1{2} ‖w‖^2$,故优化问题就可以写成一个凸二次规划问题:
$min\quad\frac{1}{2} ‖w‖^2$ ;
$s.t. \quad y_i (w⋅x_i+b)≥1 ,\qquad i=1,2…N$;
算法:线性可分支持向量机学习算法 -- 最大间隔算法
输入:训练数据集 $T{(x_1,y_1 ),(x_2,y_2 ),…,(x_n,y_n )} , x∈R^n , y∈ \left \{ +1,-1 \right \} $;
输出:分离超平面和分类决策函数;
(1)构造并求解凸二次规划问题:
$min\quad\frac1{2} ‖w‖^2$ ;
$s.t.\quad y_i (w⋅x_i+b)≥1 , \qquad i=1,2…N$;
得到问题的解:$w^∗, b^∗ $ ;
(2)得到分离超平面:$w^∗⋅x+b^∗=0$ ;
分类决策函数:$f(x)=sign(w^∗⋅x+b^∗ )$;
支持向量:距离超平面最近的实例点,(那些最难分类的实例点)
间隔边界:
$H_1 : w⋅x+b=1$;
$H_2 : w⋅x+b=−1$;
4、对偶算法
根据拉格朗日对偶性,求对偶问题即可求原始问题。对偶问题一般更容易求解。
构建拉格朗日函数:$L(w,b,α)=\frac1{2} ‖w‖^2−∑α_i y_i (w⋅x_i+b)+∑α_i $;
根据拉格朗日对偶性,原始问题的对偶问题是极大极小问题:max min L(w,b,α)
(1)求解极小问题 min L(w,b,α) 分别对w和b求导:
$\frac{\partial L(w,b,\alpha)}{\partial w}=w-\sum_{i=1}^N\alpha_iy_ix_i=0$ ; $\frac{\partial L(w,b,\alpha)}{\partial b}=-\sum_{i=1}^N\alpha_iy_i=0$
得到:
$w=\sum_{i=1}^N\alpha_iy_ix_i$;
$\sum_{i=1}^N\alpha_iy_i=0$;
带入到极小问题中:
$min\quad L(w,b,α)=-\frac{1}{2}\sum_{i=1}^N\sum_{j=1}^N\alpha_i\alpha_jy_iy_j(x_i\cdot{x_j})+\sum_{i=1}^N\alpha_i$
(2)求解极大问题:max min L(w,b,α)
$max\quad-\frac{1}{2}\sum_{i=1}^N\sum_{j=1}^N\alpha_i\alpha_jy_iy_j(x_i\cdot{x_j})+\sum_{i=1}^N\alpha_i$
$s.t.\quad\sum_{i=1}^N\alpha_iy_i=0 , \alpha_i\geqslant 0,i=1,2,...,N$
等价于:
$min\quad\frac{1}{2}\sum_{i=1}^N\sum_{j=1}^N\alpha_i\alpha_jy_iy_j(x_i\cdot{x_j})-\sum_{i=1}^N\alpha_i$
$s.t.\quad\sum_{i=1}^N\alpha_iy_i=0 , \alpha_i\geqslant 0,i=1,2,...,N$
我们的原始问题是:
$min\quad \frac1{2} ‖w‖^2$ ;
$s.t. \quad y_i (w⋅x_i+b)≥1$;
原始问题满足定理C.3(统计机器学习附录)的条件,故可以通过求解对偶问题来求解原始问题;
定理:设$α^∗$ 是对偶问题的解,则存在$α_j>0$,按下式求原始问题的解:
$w^∗=∑α_i^∗ y_i x_i$;
$b^∗=y_j−∑α_i^∗ y_i (x_i⋅x_j )$;
证明:
根据KKT的互补条件:$α_i c_i (x)=0,若α_j>0,则c_j (x)=0;y_j (w⋅x_j+b)−1=0≫ y_j^2 (w⋅x_j+b)−y_j=0≫b=y_j−w⋅x_j$
至此,就得到了分离超平面和分类决策函数。
算法:线性可分支持向量机 -- 对偶学习算法
输入:训练数据集 $T{(x_1,y_1 ),(x_2,y_2 ),…,(x_n,y_n )} , x∈R^n , y ∈ \left \{ +1,-1 \right \} $ ;
输出:分离超平面和分类决策函数;
(1)构造并求解原始问题的对偶问题:
$min\quad\frac{1}{2}\sum_{i=1}^N\sum_{j=1}^N\alpha_i\alpha_jy_iy_j(x_i\cdot{x_j})-\sum_{i=1}^N\alpha_i$
$s.t.\quad\sum_{i=1}^N\alpha_iy_i=0 , \alpha_i\geqslant 0,i=1,2,...,N$
得到解为$α^∗$;
(2)根据对偶问题的解求原始问题的解:
$w^∗=∑α_i^∗ y_i x_i$;
$b^∗=y_j−∑α_i^∗ y_i (x_i⋅x_j )$;
(3)得到分离超平面和分类决策函数;
支持向量:$α_i^∗>0$的实例点,
根据KKT互补条件,对于$α_i^∗>0$的实例点,$y_j (w⋅x_j+b)−1=0 ≫ w⋅x_j+b=±1$ ,即实例点在间隔边界上,这个定义和之前的定义是一致的;
至此,线性可分支持向量机完结。
但是...........
线性可分支持向量机(硬间隔最大化)针对的是线性可分训练数据集,然而,现实世界里有很多数据集是线性不可分的(样本数据中有噪声或特异点),这种情况下改怎么办?
svm 之 线性可分支持向量机的更多相关文章
- 线性可分支持向量机与软间隔最大化--SVM(2)
线性可分支持向量机与软间隔最大化--SVM 给定线性可分的数据集 假设输入空间(特征向量)为,输出空间为. 输入 表示实例的特征向量,对应于输入空间的点: 输出 表示示例的类别. 我们说可以通过间隔最 ...
- 线性可分支持向量机--SVM(1)
线性可分支持向量机--SVM (1) 给定线性可分的数据集 假设输入空间(特征向量)为,输出空间为. 输入 表示实例的特征向量,对应于输入空间的点: 输出 表示示例的类别. 线性可分支持向量机的定义: ...
- 统计学习:线性可分支持向量机(SVM)
模型 超平面 我们称下面形式的集合为超平面 \[\begin{aligned} \{ \bm{x} | \bm{a}^{T} \bm{x} - b = 0 \} \end{aligned} \tag{ ...
- 统计学习2:线性可分支持向量机(Scipy实现)
1. 模型 1.1 超平面 我们称下面形式的集合为超平面 \[\begin{aligned} \{ \bm{x} | \bm{a}^{T} \bm{x} - b = 0 \} \end{aligned ...
- SVM-线性可分支持向量机
SVM-线性可分支持向量机 如果您想体验更好的阅读:请戳这里littlefish.top 函数间隔和几何间隔 给定线性可分训练数据集,通过间隔最大化或等价地求解相应的凸二次规划问题学习得到的分离超平面 ...
- OpenCV支持向量机SVM对线性不可分数据的处理
支持向量机对线性不可分数据的处理 目标 本文档尝试解答如下问题: 在训练数据线性不可分时,如何定义此情形下支持向量机的最优化问题. 如何设置 CvSVMParams 中的参数来解决此类问题. 动机 为 ...
- SVM清晰讲解——线性可分问题
转载作者:liangdas 引言: 1995年Cortes和Vapnik于首先提出了支持向量机(Support Vector Machine),由于其能够适应小样本的分类,分类速度快等特点,性能不差于 ...
- SVM明确的解释1__
线性可分问题
笔者:liangdas 出处:简单点儿,通俗点儿,机器学习 http://blog.csdn.net/liangdas/article/details/44251469 引言: 1995年Cor ...
- 线性可分SVM中线性规划问题的化简
在网上找了许多关于线性可分SVM化简的过程,但似乎都不是很详细,所以凭借自己的理解去详解了一下. 线性可分SVM的目标是求得一个超平面(其实就是求w和b),在其在对目标样本的划分正确的基础上,使得到该 ...
随机推荐
- LintCode之删除排序链表中的重复元素
题目描述: 我的代码: /** * Definition for ListNode * public class ListNode { * int val; * ListNode next; * Li ...
- 解决Mac下使用root 权限依旧无法读写文件的问题
当时在学习selenium的时候,需要配合使用chromedriver 和phantomjs 进行浏览器的自动化测试.. chromedriver下载结束后.无法移动到/user/bin下面 会提示权 ...
- jquery 合并两个 json 对象
jQuery.extend( [ deep ], target, object1, [ objectN ] )合并对象到第一个对象 //deep为boolean类型,其它参数为object类型 var ...
- 【转】Selenium 加载Chrome/Firefox浏览器配置文件
原文地址:https://www.cnblogs.com/eastonliu/p/9083982.html Selenium启动浏览器时,默认是打开一个新用户,不会加载原有的配置以及插件.但有些时候我 ...
- configure error libmcrypt was not found解决方法
安装到mcrypt的时候出现了问题./configure提示出错,首先提示*** Could not run libmcrypt test program, checking why-*** The ...
- Hibernate 异常org.hibernate.LazyInitializationException: could not ini...
错误页面提示 could not initialize proxy - no Session 控制台 org.hibernate.LazyInitializationException: could ...
- mybatis的一些小细节
Mybatis要解决的问题: 1. 将sql语句硬编码到java代码中,如果修改sql语句,需要修改java代码,重新编译.系统可维护性不高. 设想如何解决? 能否将sql单独配置在配置文件中. 2. ...
- django 视图与网址
我是一个新手,内容粗糙,望大家多多指点.在这里我只是总结自身所学. 视图与网址 操作文件:urls.py.views.py urls.py 作用:用于处理前台的链接(如前台访问:127.0.0.1:8 ...
- Deepin环境下安装科学研究版Python和Pytorch--防网卡
Deepin环境下安装科学研究版Python和Pytorch--防网卡 由于本教程所引起的一切损失作者概不负责,本教程不使用pip和conda命令,因此下载好包后配合U盘可以给某个机器进行离线安装 · ...
- Action.c(28): Error -27796: Failed to connect to server "xxxx": [10060] Connection timed out
Error -27796: Failed to connect to server "125.93.51.230:8080": [10061] Connection refused ...