上一篇博客讨论了高维映射和核函数,也通过例子说明了将特征向量映射到高维空间中可以使其线性可分.然而,很多情况下的高维映射并不能保证线性可分,这时就可以通过加入松弛变量放松约束条件.同样这次的记录仍然通过例子来说明松弛变量的作用和必要性.转: 参考文献:http://www.cnblogs.com/jerrylead/archive/2011/03/18/1988415.html…

快毕业啦~~记得上一篇论文利用JointBoost+CRF做手绘草图的分割项目在3月份完结后,6月份去实习,9月份也没怎么认真找工作就立刻回来赶论文(由于分割项目与人合作难以写入毕业论文),从9月到1月一直狂写程序,其中过程就如去年10月开始做分割项目一样艰辛,不过现在工作也定了,论文也差不多了,可喜可贺~.这次的论文主要以手绘草图的分类为主,而分类方法我还是用的SVM支持向量机,用SVM做多分类,现在程序也基本完成了,所以想记录一下毕业论文中遇到个各种难题,我看了一些SVM,由于自己数学功底有…

上篇记录了一些决策树算法,这篇是借OC-SVM填回SMO在SVM中的数学推导这个坑. 参考文献: http://research.microsoft.com/pubs/69644/tr-98-14.pdf https://inst.eecs.berkeley.edu/~ee227a/fa10/login/l_dual_strong.html https://inst.eecs.berkeley.edu/~ee127a/book/login/l_sdual_slater.html http://w…

上一篇博客将了在数据集线性可分的情况下的支持向量机,这篇主要记录如何通过映射到高维解决线性不可分的数据集和如何通过核函数减少内积计算量的理论思想. [5]径向基函数的核函数:https://www.quora.com/Why-does-the-RBF-radial-basis-function-kernel-map-into-infinite-dimensional-space…

原文 接下来要说的东西其实不是松弛变量本身,但由于是为了使用松弛变量才引入的,因此放在这里也算合适,那就是惩罚因子C.回头看一眼引入了松弛变量以后的优化问题: 注意其中C的位置,也可以回想一下C所起的作用(表征你有多么重视离群点,C越大越重视,越不想丢掉它们).这个式子是以前做SVM的人写的,大家也就这么用,但没有任何规定说必须对所有的松弛变量都使用同一个惩罚因子,我们完全可以给每一个离群点都使用不同的C,这时就意味着你对每个样本的重视程度都不一样,有些样本丢了也就丢了,错了也就错了,这些就给一…

我们之前讨论的情况都是建立在样例线性可分的假设上,当样例线性不可分时,我们可以尝试使用核函数来将特征映射到高维,这样很可能就可分了.然而,映射后我们也不能100%保证可分.那怎么办呢,我们需要将模型进行调整,以保证在不可分的情况下,也能够尽可能地找出分隔超平面. 看下面两张图: 可以看到一个离群点(可能是噪声)可以造成超平面的移动,间隔缩小,可见以前的模型对噪声非常敏感.再有甚者,如果离群点在另外一个类中,那么这时候就是线性不可分了. 这时候我们应该允许一些点游离并在在模型中违背限制条件(函数间…

SMO的数学公式通过Platt的论文和看这个博客:http://www.cnblogs.com/jerrylead/archive/2011/03/18/1988419.html,大概弄懂了.推导以后再写,贴上一个自己写的SMO的代码. function [ model ] = smoSolver( designMatrix, targetGroup ) numChanged = 0; examineAll = 1; tolerance = 0.001; total_runtimes = 500…

LanguageTool Development LanguageTool Supported Languages Share your knowledge about LT - LanguageTool Developing Chinese rules - LanguageTool How To Avoid Mistakes When Writing Rules - LanguageTool Tips and Tricks - LanguageTool en-grammar.xml Brown…

1.函数dataset3Params(),如何计算模型估计偏差的? model=svmTrain(X,y,c_array,@(x1,x2)gaussianKernel(x1,x2,sigma_array(j))); predictions=svmPredict(model,Xval); error_array(i,j)=mean(double(predictions~=yval)); 2.MATLAB具体细节没有搞清楚,需要花时间搞明白.…

一.SVM概述 支持向量机(support vector machine)是一系列的监督学习算法,能用于分类.回归分析.原本的SVM是个二分类算法,通过引入“OVO”或者“OVR”可以扩展到多分类问题.其学习策略是使间隔最大化,也就是常说的基于结构风险最小化寻找最优的分割超平面.SVM学习问题可以表示为凸优化问题,也可以转变为其对偶问题,使用SMO算法求解.线性SVM与LR有很多相似的地方,分类的准确性能也差不多,当数据量比较少时SVM可能会占据优势,但是SVM不方便应用于软分类(probabi…