机器学习基石笔记：11 Linear Models for Classification

一、二元分类的线性模型

线性分类、线性回归、逻辑回归：

可视化这三个线性模型的代价函数，

SQR、SCE的值都是大于等于0/1的。

理论分析上界：

将回归应用于分类：

线性回归后的参数值常用于pla/pa/logistic regression的参数初始化。

二、随机梯度下降

两种迭代优化模式：

利用全部样本------>利用随机的单个样本，

梯度下降------>随机梯度下降。

SGD与PLA的相似性：

当迭代次数足够多时，停止。

步长常取0.1。

三、使用逻辑回归的多分类问题

是非题------>选择题：

每次识别一类A，将其他类都视作非A类，

结果出现问题。

将是不是A类变为是A类的可能性：软分类，

分别计算属于某类的概率，取概率值最大的类为最后的分类结果。

OVA总结：

注意每次计算一类概率时都得利用全部样本。

四、使用二元分类的多分类问题

OVA经常不平衡，即属于某类的样本过多时，分类结果往往倾向于该类。

为更加平衡，使用OVO。

OVA保留一类，其他为非该类，每次利用全部样本；

OVO保留两类，每次只利用属于这两类的样本，

通过投票得出最终分类结果。

OVO总结：

OVA vs OVO：