Roadmap Course Introduction Large-Margin Separating Hyperplane Standard Large-Margin Problem Support Vector Machine Reasons behind Large-Margin Hyperplane Summary…

Roadmap Course Introduction Large-Margin Separating Hyperplane Standard Large-Margin Problem Support Vector Machine Reasons behind Large-Margin Hyperplane Summary…

Roadmap Kernel Ridge Regression Support Vector Regression Primal Support Vector Regression Dual Summary of Kernel Models Map of Linear Models Map of Kernel Models possible kernels: polynomial, Gaussian,..., your design (with Mercer’s condition), coup…

Roadmap Motivation and Primal Problem Dual Problem Messages behind Soft-Margin SVM Model Selection Summary…

Roadmap Kernel Trick Polynomial Kernel Gaussian Kernel Comparison of Kernels Summary…

Roadmap Motivation of Dual SVM Lagrange Dual SVM Solving Dual SVM Messages behind Dual SVM Summary…

从这一节开始学习机器学习技法课程中的SVM, 这一节主要介绍标准形式的SVM: Linear SVM 引入SVM 首先回顾Percentron Learning Algrithm(感知器算法PLA)是如何分类的,如下图,找到一条线,将两类训练数据点分开即可: PLA的最后的直线可能有很多条,那到底哪条好呢?好坏的标准则是其泛化性能,即在测试数据集上的正确率,如下,下面三条直线都能正确的分开训练数据,那到底哪个好呢?SVM就是解决这个问题的. SVM求解 直觉告诉我们最右的要好一些,因为测试数据的…

第一阶段技法: large margin (the relationship between large marin and regularization), hard-SVM,soft-SVM,dual problem(解对偶问题),kernel trick,kernel logistic regression, 主要思路是:(这里不区分线性与非线性,差别只是特征空间转换,X空间与Z空间的关系) 1. 从PLA出发,对于二维平面的二分类问题,PLA可能得出一堆能够正确分类的直线,但是哪一条直线…

Lecture 12 支持向量机 Support Vector Machines 12.1 优化目标 Optimization Objective 支持向量机(Support Vector Machine) 是一个更加强大的算法,广泛应用于工业界和学术界.与逻辑回归和神经网络相比, SVM在学习复杂的非线性方程时提供了一种更为清晰,更加强大的方式.我们通过回顾逻辑回归,一步步将其修改为SVM. 首先回顾一下逻辑回归: 其 cost function 公式如下(这里稍微有点变化,将负号移到了括号内…

首先从介绍了Large_margin Separating Hyperplane的概念. (在linear separable的前提下)找到largest-margin的分界面,即最胖的那条分界线.下面开始一步步说怎么找到largest-margin separating hyperplane. 接下来,林特意强调了变量表示符号的变化,原来的W0换成了b(这样的表示利于推导:觉得这种强调非常负责任,利于学生听懂,要不然符号换来换去的,谁知道你说的是啥) 既然目标是找larger-margin s…