逻辑回归（LR）和支持向量机（SVM）的区别和联系

1. 前言

在机器学习的分类问题领域中，有两个平分秋色的算法，就是逻辑回归和支持向量机，这两个算法个有千秋，在不同的问题中有不同的表现效果，下面我们就对它们的区别和联系做一个简单的总结。

2. LR和SVM的联系

1. 都是监督的分类算法。
2. 都是线性分类方法 (不考虑核函数时）。
3. 都是判别模型。

3. LR和SVM的不同

1. 损失函数的不同，LR是对数损失函数，SVM是hinge损失函数。
2. SVM不能产生概率，LR可以产生概率。
3. SVM自带结构风险最小化，LR则是经验风险最小化。
4. SVM会用核函数而LR一般不用核函数。
5. LR和SVM在实际应用的区别：根据经验来看，对于小规模数据集，SVM的效果要好于LR，但是大数据中，SVM的计算复杂度受到限制，而LR因为训练简单，可以在线训练，所以经常会被大量采用。

4. 概念解释

• 判别模型：是直接生成一个表示或者的判别函数（或预测模型），SVM和LR，KNN，决策树都是判别模型。
• 生成模型：是先计算联合概率分布然后通过贝叶斯公式转化为条件概率，朴素贝叶斯，隐马尔可夫模型是生成模型。
• 经验风险：对所有训练样本都求一次损失函数，再累加求平均。即，模型\(f(x)\)对训练样本中所有样本的预测能力。
• 期望风险：对所有样本（包含未知样本和已知的训练样本）的预测能力，是全局概念。（经验风险则是局部概念，仅仅表示决策函数对训练数据集里的样本的预测能力。）
• 结构风险：对经验风险和期望风险的折中，在经验风险函数后面加一个正则化项（惩罚项），是一个大于0的系数\(\lambda\)。\(J(f)\)表示的是模型的复杂度。