SVM

　　时间复杂度一般为O（N³）

　　最重要的是推导过程

　　NIPS（机器学习顶级会议）

　　如果给定一个训练集，我们的目标是给定一个边界（一条线），离他最近的训练集样本路越宽越好

下面的几张图反映了SVM的推导过程，可惜，这个文本编辑框不太熟，没法解释具体个中过程，只好

　　先说中间涉及的各个知识。

KEY IDEAS

推导过程：

　　

　　　　　　　　　　　　　　　　图（1）

　　涉及到向量的投影，，以中间距离正负样本点几乎等宽的粗线为分界线 l，从原点引出一条向量W，垂直于 l，X正为正样本点，

X负为负样本点，大于1为正，小于1为负，以此分开。

　　 

　　　　　　　　　　　　　　　　图（2）

将图（1）中右侧两个式子合并，得到②式，X为样本区域附近

　　

　　　　　　　　　　　　　　　　图（3）

　　向量W的max是（正样本点-负样本点）*单位1，WIDTH的式子展开，将左下角的②式带入，

消元，只剩下2倍的向量W的长度值。

　　 

　　　　　　　　　　　　　　　　图（4）

　　转化成求左下角的式子。。。

　　

　　　　　　　　　　　　　　图（5）

　　上图此处要用到多元偏导的知识，求极值，得出方框里的值

　　

　　　　　　　　　　　　　　图（6）

　　化简后的值。

　　

　　　　　　　　　　　　　　　　图（7）

　　终极BOSS!

核函数的作用: 将高维映射为低维，这一点涉及的知识点比较系统，有时间的话，重新整理发布一下，^_^

　　　　　　　　　　　　　　　　图（8）

　　

　　　　　　　　　　　　　　　　图（9）

五、SVM推导过程的更多相关文章

  1. [ML从入门到入门] 支持向量机：从SVM的推导过程到SMO的收敛性讨论

    前言 支持向量机(Support Vector Machine,SVM)在70年代由苏联人 Vladimir Vapnik 提出,主要用于处理二分类问题,也就是研究如何区分两类事物. 本文主要介绍支持 ...

  2. 机器学习笔记4:SVM支持向量积的推导过程

    内容来自:https://github.com/GreedyAIAcademy/Machine-Learning 最初 支持向量机的目的:找到一条好的分割线 什么杨的分割线最好? 有最大间隔的分割线最 ...

  3. SVM计算过程，对偶形式，核函数

    SVM是一个分类方法,用w^X+b定义分类函数, 于是求w.b,为寻最大间隔,引出1/2||w||^2,继而引入拉格朗日因子,化为对单一因数对偶变量a的求解(求解过程中会涉及到一系列最优化或凸二 次规 ...

  4. XGBoost 完整推导过程

    参考: 陈天奇-"XGBoost: A Scalable Tree Boosting System" Paper地址: <https://arxiv.org/abs/1603 ...

  5. 关于opengl中的矩阵平移，矩阵旋转，推导过程理解 OpenGL计算机图形学的一些必要矩阵运算知识

    原文作者:aircraft 原文链接:https://www.cnblogs.com/DOMLX/p/12166896.html 为什么引入齐次坐标的变换矩阵可以表示平移呢? - Yu Mao的回答 ...

  6. BP神经网络推导过程详解

    BP算法是一种最有效的多层神经网络学习方法,其主要特点是信号前向传递,而误差后向传播,通过不断调节网络权重值,使得网络的最终输出与期望输出尽可能接近,以达到训练的目的. 一.多层神经网络结构及其描述 ...

  7. 1014 C语言文法定义与C程序的推导过程 程序：冒泡算法C程序（语法树）

    阅读并理解提供给大家的C语言文法文件. 参考该文件写出一个自己好理解版的现实版的完整版的C语言文法. 给出一段C程序,画出用上述文法产生这段C程序的完整语法树. 程序:冒泡算法C程序 点此文字查看原图 ...

  8. 1029 C语言文法定义与C程序的推导过程

    1 阅读并理解提供给大家的C语言文法文件. 2 参考该文件写出一个自己好理解版的现实版的完整版的C语言文法. 3 给出一段C程序,写出用上述文法产生这段C程序的推导过程. program → exte ...

  9. 吴恩达深度学习第1课第4周-任意层人工神经网络(Artificial Neural Network，即ANN)（向量化）手写推导过程（我觉得已经很详细了）

    学习了吴恩达老师深度学习工程师第一门课,受益匪浅,尤其是吴老师所用的符号系统,准确且易区分． 遵循吴老师的符号系统,我对任意层神经网络模型进行了详细的推导,形成笔记． 有人说推导任意层MLP很容易,我 ...

随机推荐

  1. Java集合原理分析和知识点大杂烩（多图初学者必备！！）

    一.数据结构 ​ 数据结构就是计算机存储.组织数据的方式. ​ 在计算机科学中,算法的时间复杂度是一个函数,它定性描述了该算法的运行时间,常用O符号来表述. ​ 时间复杂度是同一问题可用不同算法解决, ...

  2. 软件篇-05-融合ORB_SLAM2和IMU闭环控制SLAM底盘运动轨迹

      前面我们已经得到了当前底盘在世界坐标系中的位姿,这个位姿是通过融合ORB_SLAM2位姿和IMU积分得到的,在当前位姿已知的case下,给SLAM小车设置一个goal,我这里是通过上位机设置,然后 ...

  3. 分布式任务调度系统：xxl-job

    任务调度,通俗来说实际上就是"定时任务",分布式任务调度系统,翻译一下就是"分布式环境下定时任务系统". xxl-job一个分布式任务调度平台,其核心设计目标是 ...

  4. hdu4403暴力搜索

    题意:      给你一个数字串,让你在里面添加一个=和若干个+,使等式成立. 思路:      lmax最大是15,直接暴搜,无压力,关键是判重,要在答案的时候判重,一开始在进队列之前判的,各种wa ...

  5. hdu4118

    题意:       给你一颗无向带权树,每个定点上有一个人,问所有定点都不在自己位置上的最长路径总和是多少..   思路:       其实很简单,贪心的想下,既然要求全局最大,那么对于每一条边用的次 ...

  6. [CTF]Rabbit加密

    [CTF]Rabbit加密 ---------------------  作者:adversity`  来源:CSDN  原文:https://blog.csdn.net/qq_40836553/ar ...

  7. Spring Cloud Gateway之动态路由（数据库版）

    1.实现动态路由的关键是RouteDefinitionRepository接口,该接口存在一个默认实现(InMemoryRouteDefinitionRepository) 通过名字我们应该也知道该实 ...

  8. kubernetes dashboard延长自动超时注销

    方法1:部署清单时,修改yaml文件,添加 container.Args 增加 --token-ttl=43200 其中43200是设置自动超时的秒数.也可以设置 token-ttl=0 以完全禁用超 ...

  9. mysqldMY-010457] [Server] --initialize specified but the data directory has files in it. Aborting. 2020-12

    删除mysql的/var/lib/mysql目录下的所有文件 https://blog.csdn.net/tr1912/article/details/81271851 # mysqld --init ...

  10. （代替人类）很多操作都在Settings里面。 5.安装第三方库

    2020-02-01 pycharm 使用教程 LingSmart关注 0.0842020.02.07 15:08:50字数 1,394阅读 680 实在无聊,就来学习吧.学习pycharm的使用教程 ...