对于PLA算法来说,最终得到哪一条线是不一定的,取决于算法scan数据的过程。
  
  从VC bound的角度来说,上述三条线的复杂度是一样的
  
  Eout(w)≤Ein0+Ω(H)dvc=d+1
  
  直观来看,最右边的线是比较好的hyperplane。
  
  为什么最右边的分隔面最好?
  
  对于测量误差的容忍度是最好的。例如对于每张图片中左下角的样本点,当未来要判定与该点非常接近的点(有可能它们的feature本来就是一样的,只不过因为测量的误差的存在,所以feature变得有点不同了)的label的时候,最右边的hyperplane对这些误差会有最大的容忍度。
  
  tolerate more noise ⟶ more robust to overfitting
  
  当对测量误差有更大的容忍度的时候,就能更加避免过拟合的情况出现。
  
  所以我们想要找的超平面就是能够更大的容忍测量误差的超平面。直观上来说,就是找这样的一个超平面,离这个超平面最近的点的到这个超平面的距离也是很大的。
  
  这里写图片描述
  
  “胖”分割面
  
  如下图所以,我们想要找的是“最胖”的那条线。
  
  这里写图片描述
  
  最大间隔分类超平面
  
  maxwsubject to fatness(w)w classifies every (xn,yn) correctlyfatness(w)=minn−1,⋯,N distance(xn,w)
  
  即我们要找一条线w,首先这条线要正确的划分每一个实例(w classifies every (xn,yn) correctly)。其次这条线要是最”胖”的(maxw fatness(w))。线w的”胖”的衡量方法是:到所有的点中距离最近的点的长度作为该w的fatness(胖瘦程度)。一句话:找能正确划分数据的最胖的线。
  
  fatness: 正式的表达为margin
  
  correctness: 要求yn=sign(wTxn)
  
  上述的表达可以进一步数学化为:
  
  maxwsubject to margin(w) every ynwTxn>0margin(w)=minn−1,⋯,N distance(xn,w)
  
  goal: 找最大间隔(margin)的分类超平面
  
  最大间隔问题
  
  点到超平面的距离
  
  上面提到了我们要找最“胖”的线,这里涉及到了一个距离的计算。那么怎么算一个点x到平面wTx+b=0的距离。
  
  这里写图片描述
  
  考虑在平面上的两个点x′,x′′, 那么有
  
  wTx′=−b, wTx′′=−b
  
  两式相减:
  
  wT(x′′−x′)vector www.txfenfenc11.cn on hyperplane=0
  
  所以可以得到w是该平面的法向量。(x′′−x′是该平面的任意向量,w和该平面的任意向量垂直)。
  
  那么x到平面的距离公式如下(投影):
  
  distance(x,b,w)=|wT||w||(x−x′)|=1||w|||wTx+b|
  
  其中,b,w代表平面。距离即是求x−x′在w上投影的长度。第二步化简用到wTx′=−b。
  
  到分隔超平面的距离
  
  上一节中推导了点到平面的距离计算方法,
  
  distance(x,b,w)=1||w|||wTx+b|
  
  对于我们最终想要得到的分隔超平面,我们可以得到如下的结果:
  
  yn(wTxn+b)>0
  
  那么任意一个点到分隔超平面的距离可以变为:
  
  distance(xn,b,w)=1||w||yn(wTxn+b)
  
  即我们想要做的事情变为:
  
  maxw.bsubject to margin(w,b) every yn(wTxn+b)>0margin(w,b)=minn=1,⋯,N 1||w||yn(wTxn+b)
  
  我们最终想要找的是一个hyperplane,也就是wTx+b=0(我们现在在选择它的系数w和b)。情况是这样的: wTx+b=0和3wTx+3b=0是没有什么差别的,只是进行了系数的放缩,其实是一个超平面,在二维就表示一条直线。那么在这里我们考虑一个很特别的放缩使得:
  
  minn=1,⋯,N yn(wTxn+b)=1
  
  这样的放缩总是可以做到的。这样的话:
  
  margin(w,b)=1||w||
  
  原来的问题变为:
  
  maxw.bsubject to 1||w|| every yn(wTxn+b)>0minn=1,⋯,N yn(wTxn+b)=1
  
  进一步可以变为:
  
  maxw.bs.t. 1||w|| minn=1,⋯,N yn(wTxn+b)=1
  
  条件minn=1,⋯,N yn(wTxn+b) www.wmyl11.com =1包括every www.zbcppt.com yn(wTxn+b)>0, 所以后者可以去掉。
  
  最大间隔问题
  
  我们进一步得到了描述比较简单的间隔最大化问题的需求。
  
  maxw.bs.t. 1||w|| www.caihonyule.com/ minn=1,⋯,N www.chushiyl.cn/ yn(wTxn+b)=1
  
  现在的目标是要把条件中的min操作去掉。我们将条件minn=1,⋯,N yn(wTxn+b)=1放宽至:for all n都有yn(wTxn+b)≥1。现在我们担心的问题是:原来的条件要求最小的yn(wTxn+b)等于1, 而现在要求所有的yn(wTxn+b)大于等于1。那么在新的条件下会不会正好存在这样的w使得所有的yn(wTxn+b)都大于1了,这样我们放宽条件就出了问题,因为求得的解不在满足原来的条件了。
  
  以下将证明,即使放宽了条件,最佳解依然满足
  
  反证法:
  
  如果最佳解使得所有的都是大于1的, 例如, 那么我们进行一下缩放可知也是放松后问题的解。但是此时显然比会有更大的。 所以假设:最佳解使得所有的都是大于1, 是错误的。
  
  现在问题的形式变为:
  
  变为最小为问题:
  
  支撑向量机
  
  一个特例
  
  这里写图片描述
  
  图中的样本点和信息如下:
  
  根据最优化问题的要求我们需要满足一下4个条件:
  
  根据以上的两个式子可以得到:
  
  所以我们可以令。这样的话不仅仅满足了条件,也使得target function取得了最小的值。其中b的值可以通过计算一个范围得到。这样我们就得到了我们最想要的hyperplane:。这就是我们想要找的支撑向量机。
  
  此时。
  
  这里写图片描述
  
  我们可以看到有一些离hyperplane很近的点,也就是如图用方框框起来的那些点。这些点就可以确定我们想要的hyperplane,我们把这些点叫做Support Vector。可以理解为这些支撑向量就可以确定我们想要的分割超平面,而不需要其他的点。
  
  SVM的一般解法
  
  通过分析可知,我们想要最小化的问题是个的二次函数,该问题的条件是的线性一次式。我们把这样的问题叫做二次规划(Quadratic programming)
  
  所以我们的一个解法是将我们的问题表示为二次规划的标准形式,然后就可以调用二次规划的包进行运算。
  
  标准的二次规划问题
  
  所以我们要确定其中的系数
  
  线性可分的硬间隔SVM算法
  
  使用二次规划解决SVM
  
  表示为规范的问题,
  
  return as
  
  note:
  
  hard-margin:表明我们坚持要将正例和负例完全的分开。
  
  linear:表明我们是在使用来训练SVM,我们得到的是在空间中的分割超平面。而没有经过任何的特转换
  
  所以如果我们想要一个非线性的hyperplane,可以使用

SVM学习笔记-线性支撑向量机的更多相关文章

  1. 统计学习方法:支撑向量机(SVM)

    作者:桂. 时间:2017-05-13  21:52:14 链接:http://www.cnblogs.com/xingshansi/p/6850684.html 前言 主要记录SVM的相关知识,参考 ...

  2. 8.支撑向量机SVM

    1.什么是SVM 下面我们就来介绍一些SVM(Support Vector Machine),首先什么是SVM,它是做什么的?SVM,中文名是支撑向量机,既可以解决分类问题,也可以解决回归问题,我们来 ...

  3. 走过路过不要错过 包你一文看懂支撑向量机SVM

    假设我们要判断一个人是否得癌症,比如下图:红色得癌症,蓝色不得. 看一下上图,要把红色的点和蓝色的点分开,可以画出无数条直线.上图里黄色的分割更好还是绿色的分割更好呢?直觉上一看,就是绿色的线更好.对 ...

  4. 支撑向量机(SVM)

    转载自http://blog.csdn.net/passball/article/details/7661887,写的很好,虽然那人也是转了别人的做了整理(最原始文章来自http://www.blog ...

  5. SVM支撑向量机原理

    转自:http://blog.csdn.net/v_july_v/article/details/7624837 目录(?)[-] 支持向量机通俗导论理解SVM的三层境界 前言 第一层了解SVM 1分 ...

  6. SVM学习笔记(一)

    支持向量机即Support Vector Machine,简称SVM.一听这个名字,就有眩晕的感觉.支持(Support).向量(Vector).机器(Machine),这三个毫无关联的词,硬生生地凑 ...

  7. SVM学习笔记

    一.SVM概述 支持向量机(support vector machine)是一系列的监督学习算法,能用于分类.回归分析.原本的SVM是个二分类算法,通过引入“OVO”或者“OVR”可以扩展到多分类问题 ...

  8. 模式识别笔记3-支持向量机SVM

    1. 线性SVM 对两类点的划分问题,这里对比下逻辑回归和SVM的区别: 逻辑回归的思想是,将所有点到决策平面的距离作为损失来进行训练,目标是到决策平面的距离和最小 SVM的思想是,只关注支持向量(图 ...

  9. 第11章 支撑向量机SVM

    Support Vector Machine ,  问题:如果决策边界不唯一 , , , , , , , ,  s.t.(such that):之前都是全局最优化问题,这次是有条件的最优化问题 har ...

随机推荐

  1. CF613D Kingdom and its Cities 虚树

    传送门 $\sum k \leq 100000$虚树套路题 设$f_{i,0/1}$表示处理完$i$以及其所在子树的问题,且处理完后$i$所在子树内是否存在$1$个关键点满足它到$i$的路径上不存在任 ...

  2. 开源的mqtt服务器

    看介绍挺强大,开源,可运行在Linux和Windows,文档中有相关测试工具,及客户端介绍. 希望有机会应用.http://www.emqtt.com/

  3. ThinkPad T43续命记

    // Description: 原作于2016年8月25日. Mr. Robot 最近有部叫<黑客军团>(Mr. Robot)的戏比较火.目前第二季已经出到一大半了,深得技术宅和技术宅仰慕 ...

  4. LiveCharts文档-3开始-2基础

    原文:LiveCharts文档-3开始-2基础 LiveCharts文档-3开始-2基础 基本使用 LiveCharts设计的很容易使用,所有的东西都可以自动的实现更新和动画,库会在它觉得有必要更新的 ...

  5. C# DllImport 相对路径无法找到dll

    原文:C# DllImport 相对路径无法找到dll 如题,近期在开发过程中,需要调用C++的库,一般来说,使用下面的方法即可正常调用: [DllImport("hci_sys.dll&q ...

  6. 【转】浅谈JavaScript中forEach与each

    forEach是ES5中操作数组的一种方法,主要功能是遍历数组,例如: var arr = [1,2,3,4]; arr.forEach(alert); 等价于: var arr = [1, 2, 3 ...

  7. JS 数据处理技巧及小算法汇总

    前言: 金秋九月的最后一天,突然发现这个月博客啥也没更新,不写点什么总觉得这个月没啥长进,逆水行舟,不进则退,前进的路上贵在坚持,说好的每个月至少一到两篇,不能半途而废!好多知识写下来也能加深一下自身 ...

  8. [开源 .NET 跨平台 Crawler 数据采集 爬虫框架: DotnetSpider] [三] 配置式爬虫

    [DotnetSpider 系列目录] 一.初衷与架构设计 二.基本使用 三.配置式爬虫 四.JSON数据解析与配置系统 五.如何做全站采集 上一篇介绍的基本的使用方式,自由度很高,但是编写的代码相对 ...

  9. CSS 内边距 (padding) 实例

    CSS 内边距 (padding) 实例元素的内边距在边框和内容区之间.控制该区域最简单的属性是 padding 属性. CSS padding 属性定义元素边框与元素内容之间的空白区域.CSS 内边 ...

  10. 解决error while loading shared libraries: libXXX.so.X: cannot open shared object file: No such file

    原文地址:http://blog.csdn.net/yjk13703623757/article/details/53217377 一.问题 运行hydra时,提示错误: hydra : error ...