Coursera台大机器学习技法课程笔记05-Kernel Logistic Regression

这一节主要讲的是如何将Kernel trick 用到 logistic regression上。

从另一个角度来看soft-margin SVM，将其与 logistic regression进行对比，发现可将

SVM看作一个正则化模型：

将SVM看作一个regularize model，是为了更好的延伸到其他模型上。

下面从erro measure的角度来分析二者相似性：

再从binary classfication的角度来比对：做了一个LogReg就相当于做了SVM，那SVM的结果能否用到LogReg上呢？

能否将SVM与LogReg进行融合呢？

先由SVM跑出一个分数，然后引入两个变量将其引入到LogReg：

更具体：

上面得到的是在Z空间的近似解，如果想要得到一个准确解呢？

回想之前能用kernel trick的关键，是因为w能表示成z的线性组合。那能否推广这个结论呢？

用反证法对这个想法进行了证明：任何 L2-regularized都能被kernelized

将kernel用到logistic regression上：

另一个角度看 logistic regression:

参考：http://www.cnblogs.com/xbf9xbf/p/4633775.html