样本(\(x_{i}\),\(y_{i}\))个数为\(m\):

\[\{x_{1},x_{2},x_{3}...x_{m}\}
\]

\[\{y_{1},y_{2},y_{3}...y_{m}\}
\]

其中\(x_{i}\)为\(n\)维向量:

\[x_{i}=\{x_{i1},x_{i2},x_{i3}...x_{in}\}
\]

其中\(y_i\)为类别标签:

\[y_{i}\in\{-1,1\}
\]

其中\(w\)为\(n\)维向量:

\[w=\{w_{1},w_{2},w_{3}...w_{n}\}
\]

函数间隔\(r_{fi}\):

\[r_{fi}=y_i(wx_i+b)
\]

几何间隔\(r_{di}\):

\[r_{di}=\frac{r_{fi}}{\left \| w \right \|}
=\frac{y_i(wx_i+b)}{\left \| w \right \|}
\]

最小函数间隔\(r_{fmin}\):

\[r_{fmin}=\underset{i}{min}\{y_i(wx_i+b)\}
\]

最小几何间隔\(r_{dmin}\):

\[r_{dmin}=\frac{r_{fmin}}{\left \| w \right \|}
=\frac{1}{\left \| w \right \|}*\underset{i}{min}\{y_i(wx_i+b)\}
\]

目标是最大化最小几何间隔\(r_{dmin}\):

\[max\{r_{dmin}\}=
\underset{w,b}{max}\{\frac{1}{\left \| w \right \|}*\underset{i}{min}\{y_i(wx_i+b)\}\}
\]

最小几何间隔的特点:等比例的缩放\(w,b\),最小几何间隔\(r_{dmin}\)的值不变。

因此可以通过等比例的缩放\(w,b\),使得最小函数间隔\(r_{fmin}\)=1,即:

\[\underset{i}{min}\{y_i(wx_i+b)\}=1
\]

此时会产生一个约束条件:

\[y_i(wx_i+b)\geq 1
\]

最终优化目标为:

\[\left\{\begin{matrix}
\underset{w,b}{max}\frac{1}{\left \| w \right \|}
\\
y_i(wx_i+b)\geq 1
\end{matrix}\right.
=
\left\{\begin{matrix}
\underset{w,b}{min}\frac{1}{2}{\left \| w \right \|}^2
\\
y_i(wx_i+b)\geq 1
\end{matrix}\right.
\]

支持向量机SVM推导的更多相关文章

  1. [转] 从零推导支持向量机 (SVM)

    原文连接 - https://zhuanlan.zhihu.com/p/31652569 摘要 支持向量机 (SVM) 是一个非常经典且高效的分类模型.但是,支持向量机中涉及许多复杂的数学推导,并需要 ...

  2. 以图像分割为例浅谈支持向量机(SVM)

    1. 什么是支持向量机?   在机器学习中,分类问题是一种非常常见也非常重要的问题.常见的分类方法有决策树.聚类方法.贝叶斯分类等等.举一个常见的分类的例子.如下图1所示,在平面直角坐标系中,有一些点 ...

  3. 机器学习之支持向量机—SVM原理代码实现

    支持向量机—SVM原理代码实现 本文系作者原创,转载请注明出处:https://www.cnblogs.com/further-further-further/p/9596898.html 1. 解决 ...

  4. 一步步教你轻松学支持向量机SVM算法之案例篇2

    一步步教你轻松学支持向量机SVM算法之案例篇2 (白宁超 2018年10月22日10:09:07) 摘要:支持向量机即SVM(Support Vector Machine) ,是一种监督学习算法,属于 ...

  5. OpenCV 学习笔记 07 支持向量机SVM(flag)

    1 SVM 基本概念 本章节主要从文字层面来概括性理解 SVM. 支持向量机(support vector machine,简SVM)是二类分类模型. 在机器学习中,它在分类与回归分析中分析数据的监督 ...

  6. 转:机器学习中的算法(2)-支持向量机(SVM)基础

    机器学习中的算法(2)-支持向量机(SVM)基础 转:http://www.cnblogs.com/LeftNotEasy/archive/2011/05/02/basic-of-svm.html 版 ...

  7. 【Supervised Learning】支持向量机SVM (to explain Support Vector Machines (SVM) like I am a 5 year old )

    Support Vector Machines 引言 内核方法是模式分析中非常有用的算法,其中最著名的一个是支持向量机SVM 工程师在于合理使用你所拥有的toolkit 相关代码 sklearn-SV ...

  8. OpenCV支持向量机SVM对线性不可分数据的处理

    支持向量机对线性不可分数据的处理 目标 本文档尝试解答如下问题: 在训练数据线性不可分时,如何定义此情形下支持向量机的最优化问题. 如何设置 CvSVMParams 中的参数来解决此类问题. 动机 为 ...

  9. 【机器学习】支持向量机SVM

    关于支持向量机SVM,这里也只是简单地作个要点梳理,尤其是要注意的是SVM的SMO优化算法.核函数的选择以及参数调整.在此不作过多阐述,单从应用层面来讲,重点在于如何使用libsvm,但对其原理算法要 ...

随机推荐

  1. oracle中plsql练习-----在控制台输出1到100以内的素数。

    一.思路:首先需要知道素数的概念即质数定义为在大于1的自然数中,除了1和它本身以外不再有其他因数. 中心思想是,外循环所有的自然数,内循环折半查询,增加代码的速度,注意:从1开始,需要大于1,但是pl ...

  2. 同网页的WebRTC实现与源码分析

    基本按照Real time communication with WebRTC搭建(下面简称该网站为官方tutorial) 本文重视WebRTC的基于同页面通信的代码实现,主要讲述顺序是WebRTC的 ...

  3. 基于.NetCore3.1搭建项目系列 —— 使用Swagger做Api文档 (下篇)

    前言 回顾上一篇文章<使用Swagger做Api文档 >,文中介绍了在.net core 3.1中,利用Swagger轻量级框架,如何引入程序包,配置服务,注册中间件,一步一步的实现,最终 ...

  4. SpringBoot2整合Redis多数据源

    配置文件属性 spring: redis: database: 1 host: 192.168.50.144 port: 6379 password: timeout: 600 #Springboot ...

  5. Java 中,如何对日期进行加减操作

    今天在做项目时,遇到了对时间的加减进行操作的需求,根据传入的日期字符串,操作参数("+","-"),加数(要操作的天数),对日期进行加减操作,经查询资料,自己写 ...

  6. Java流中的map算子和flatMap算子的区别

    map算子和flatMap算子 map和flatMap都是映射(转换),那么他们之间究竟有什么区别呢? 1.我们先简单了解下map算子: @org.junit.Test public void tes ...

  7. [线段树]Codeforces 339D Xenia and Bit Operations

    Xenia and Bit Operations time limit per test 2 seconds memory limit per test 256 megabytes input sta ...

  8. TCP、UDP服务器模型 在网络程序里面,通常都是一

    TCP.UDP服务器模型 在网络程序里面,通常都是一个服务器处理多个客户机,为了出个多个客户机的请求,服务器端的程序有不同的处理方式. 目前最常用的服务器模型: 循环服务器:循环服务器在同一时刻只能响 ...

  9. ArcGIS中影像图去黑边

    通常情况下有些影像图的背景会显示黑色,所以需要将影像图的格式转换一下,将黑色背景转换为透明色.具体去除河边的步骤如下: 1.在catalog中,选中要转换的影像图: 2.右键——导出——将栅格导出为不 ...

  10. 史上最详细的Docker安装手册

    概述: 这个安装手册我已经使用了将近2年的时间,一直在进行完善(可以用于生产级别).使用了Centos 7系统. 一.Docker简单介绍 Docker是一个容器,使用的是Linux现有的技术,准确来 ...