回归（regression）的理解（regressor，回归子）

1. 基本概念

回归（regression）是监督学习（given {(xi,yi)}）的一个重要分类。回归用于预测输入变量（自变量，Xi）与输出变量（因变量，Yi） 之间的关系，特定是当输入变量的值发生变化时，输出变量的值随之发生的变化。

回归模型正是表示从输入变量（xi∈Rn）到输出变量（y∈R，也就是一个一维的数值，如果输出也是多维呢？至少不是一个分类任务了）之间映射的函数。回归问题的学习等价于函数拟合，选择一条函数曲线使其很好地拟合已知数据且很好地预测未知数据。

• 学习 ⇒ 学习系统（learning phase）⇒ 对象（输入）是训练数据
• 预测 ⇒ 预测系统（predicate phase）⇒ 对象（输入）是测试数据

回归问题分为学习和预测两个过程。首先给定一个训练数据集：

T={(x1,y1),…,(xN,yN)}

学习系统基于训练数据构建一个模型，即函数 Y=f(X)；对新的输入 xN+1，预测系统根据学习到的模型 Y=f(X)，确定相应的输出（预测输出）yN+1。

• 回归问题按照输入变量的个数，分为一元回归和多元回归；
• 按照输入变量和输出变量之间关系（即模型的类型），分为线性模型和非线性模型；

二者一组合，就得出四种回归的分类了：一元线性，一元非线性，多元线性，多元非线性。

回归学习最常用到的损失函数是平方损失函数，在此问题下，回归问题可以由著名的最小二乘法（least squares）求解。

比如注明的线性回归问题：

Xβ=y⇒∥Xβ−y∥2=0⇒β^=(XTX)−1XTy

2. regressor 等概念的认识

Linear Regression with One Regressor

考虑如下的线性方程，

Yi=β0+β1Xi+ui

• β0 是（直线的）截距；
• β1 是斜率；

• 该线性方程，是一个具有单回归子（regressor）的回归模型，

  • Y 是因变量，
  • X 是独立变量（自变量）或者叫回归子（regressor）

• β0+β1Xi 表示着总体回归函数，

  • β0,β1 是参数（parameters）或者系数（coefficients）

• ui 则是误差项（error term）

3. exponential regression model

What does a “closed-form solution” mean?

考虑如下的简单指数型回归模型，其唯一的 regressor 就是截距：

E[y]=exp{α}

目标函数为：

QN(α)=−12N∑iN(yi−exp{α})2

求和号展开，并对 α 求导，置 0，最终得，α⋆=lny¯