Python数据科学手册-机器学习：线性回归

朴素贝叶斯是解决分类任务的好起点，线性回归是解决回归任务的好起点。

简单线性回归

将数据拟合成一条直线。

y = ax + b , a 是斜率， b是直线截距

原始数据如下：

使用LinearRegression评估器来拟合数据

除了简单的直线拟合，还可以处理多维度的线性回归模型。

基函数回归

使用基函数 对原始数据进行变换，从而将变量间的线性回归模型 转换为非线性回归模型。

一维的输入变量x 转换成了 三维变量 x1 x2 x3.

转换后的模型仍然是一个线性模型。将一维的x投影到了高维空间

• 多项式基函数
  
  多项式投影非常有用。 使用PloynomialFeatures转换器。
  
  
  
  转换器通过指数函数，将一维数组转换成了三维数组，这个新的高维数组之后可以放在多项式回归模型中。

使用管道实现这些过程。

• 高斯基函数
  
  

阴影部分代表不同规模的基函数。把他们放在一起是就会产生平滑的曲线。

正则化

在线性回归引入基函数会让模型变得灵活，但是也更容易过拟合，



当 基函数 重叠的时候，通常就表明出现了过拟合： 相邻基函数的系数相互抵消。 这显然是有问题的。如果对较大的模型参数进行惩罚， penalize .从而一直模型的剧烈波动。这个惩罚机制 被称为 正则化。

• 岭回归 L2范数正则化
  
  正则化最常见的形式就是 岭回归 ridge regression. 处理方法是 对模型系数 平方和进行惩罚，
  
  

a 是一个自由参数，用来控制惩罚力度，这种带惩罚项的模型内置在Scikit-Learn的Ridge评估器中。

• Lasso正则化
  
  其处理方法是堆模型系数绝对值的和 进行惩罚。
  
  
  
  通过lasso回归惩罚，大多数基函数的系数都变成了0. 所以模型变成了原来基函数的一小部分

案列：预测自行车流量

数据源自不同天气 季节和其他条件通过 美国 西雅图 的一座桥的自行车流量