Dykin's blog

回归分析是一种很重要的预测建模技术。主要是研究自变量与因变量之间的因果关系。本文将会从数学角度与代码角度分析不同类型的回归。当你想预测连续型的非独立变量，或者对一系列独立变量或输入项有所反应时，就会使用到回归分析。如果非独立变量是二分的，那么我们将会使用到逻辑回归。

对于回归技术的分类，在这里我不想过多细分，但是一般回归会依赖于三个方面进行区分：
+自变量数目
+回归函数曲线的形状
+因变量的类型

首先我们来了解下面几种常用的回归算法模型

简单线性回归（Simple Linear Regression）

简单线性回归是最基础的一种回归模型，自变量只有一个，函数曲线为直线，因变量为连续型，自变量可以是连续的或者是离散的。函数表示如下：

其中 y 是因变量， x是自变量， β0 和 β1 属于起始值和系数，ε 为偏移量，为了使得到的函数模型更加准确，最后会加上偏移量。

线性回归一般使用最小二乘法来求解函数模型级求解 β0 和 β1 。 方法如下：最小二乘法

如图中四个点为数据（x,y）:（1,6）（2,5）（3,7）（4,10）。我们需要根据红色的数据来求蓝色的曲线。目前我们已知这四个点匹配直线y= β1 + β2x 。所以我们要找到符合这条直线的最佳情况，即最合适的β0 和 β1。

最小二乘法就是尽量取两边方差的最小值，这样可以找到最拟合的曲线。

然后我们我们同时对β0和β1求其偏导数

这样我们很容易就解除方程组的解

所以我们就得到了直线 y=3.5 + 1.4x

用Python和Java代码表示如下：

# -*- coding: utf-8 -*-
"""
Created on Thu Dec 01 00:02:49 2016

@author: steve
"""

def SLR(x,y):
    intercept = 0.0
    slope = 0.0
    n = len(x)

    sumx = 0.0
    sumy = 0.0
    sumx2 = 0.0

# 第一次循环，得到平均值
    for i in range(n):
        sumx += x[i]
        sumy += y[i]
        sumx2 += x[i]*x[i]

    xbar = sumx/n
    ybar = sumy/n

    xxbar = 0.0
    yybar = 0.0
    xybar = 0.0

# 第二次循环，得到方差
    for i in range(n):
        xxbar += (x[i] - xbar) * (x[i] - xbar);
        yybar += (y[i] - ybar) * (y[i] - ybar);
        xybar += (x[i] - xbar) * (y[i] - ybar);

# 计算斜率和intercept
    slope  = xybar / xxbar
    intercept = ybar - slope * xbar

    print "slope is {}, intercept is {}".format(slope, intercept)
## 其他统计变量我就不写了。

x=[1,2,3,4]
y=[6,5,7,10]
SLR(x,y)

package regression;

public class SLR {

	// 这是用二分法做的简单线性回归

	private final double intercept, slope;
	private final double r2;
	private final double svar0, svar1;

	public SLR(double[] x, double[] y) {

		if (x.length != y.length) {
			throw new IllegalArgumentException("lengths doesn't match!!!");
		}

		int n = x.length;

		// 第一次循环，找到 所有x和y的平均值

		double sumx = 0.0;
		double sumy = 0.0;
		double sumx2 = 0.0;

		for (int i=0; i<n; i++) {
			sumx += x[i];
			sumy += y[i];
			sumx2 += x[i]*x[i];
		}

		double xbar = sumx / n;
		double ybar = sumy / n;

		// 第二次计算，求出方差
        double xxbar = 0.0;
        double yybar = 0.0;
        double xybar = 0.0;
        for (int i = 0; i < n; i++) {
            xxbar += (x[i] - xbar) * (x[i] - xbar);
            yybar += (y[i] - ybar) * (y[i] - ybar);
            xybar += (x[i] - xbar) * (y[i] - ybar);
        }
        System.out.println(xxbar);
        System.out.println(yybar);
        System.out.println(xybar);
        slope  = xybar / xxbar;  //求偏导数的过程
        intercept = ybar - slope * xbar;

        // 其他的统计数据
        double rss = 0.0;      // residual sum of squares
        double ssr = 0.0;      // regression sum of squares
        for (int i = 0; i < n; i++) {
            double fit = slope*x[i] + intercept;
            rss += (fit - y[i]) * (fit - y[i]);
            ssr += (fit - ybar) * (fit - ybar);
        }

        int degreesOfFreedom = n-2;
        r2    = ssr / yybar;
        double svar  = rss / degreesOfFreedom;
        svar1 = svar / xxbar;
        svar0 = svar/n + xbar*xbar*svar1;		

	}

	public double intercept() {
		return intercept;

	}

	大专栏  Dykin's blogn class="kd">public double slope() {
		return slope;

	}

	public double R2() {
		return r2;
	}

	public double slopeStdErr() {
		return Math.sqrt(svar1);
	}

	public double interceptStdErr() {
		return Math.sqrt(svar0);
	}

	//这是预测方法，在机器学习中的函数
	public double predict(double x) {
		return slope*x + intercept;
	}

	public String toString() {
		StringBuilder s = new StringBuilder();
		s.append(String.format("%.2f n + %.2f", slope(), intercept()));
		s.append("  (R^2 = " + String.format("%.3f", R2()) + ")");
		return s.toString();
	}

}

多元线性回归类似于简单线性回归，只不过自变量不止一个，但是过程和方法与简单线性回归一样。这里我只把代码放出来。

多项式回归（Polynomial Regression）

如果一个方程，自变量的指数大于1，那么所有拟合这个方程的点就符合多项式回归。

多项式回归有个很重要的因素就是指数（degree）。如果我们发现数据的分布大致是一条曲线，那么很可能符合多项式回归，但是我们不知道degree是多少。所以我们只能一个个去试，直到找到最拟合分布的degree。这个过程我们可以交给数据科学软件完成。需要注意的是，如果degree选择过大的话可能会导致函数过于拟合， 意味着对数据或者函数未来的发展很难预测，也许指向不同的方向。

这个回归的计算需要用到矩阵数据结构。有的编程语言可能需要导入外库。

我们对所有拟合这个公式的点，用矩阵表示他们的关系

如果用矩阵符号表示：

多项式回归向量的系数（使用最小二乘法）：

Java 和 Python 代码如下：

package regression;
import Jama.Matrix;
import Jama.QRDecomposition;

public class PR {

	private final int N;
	private final int degree;
	private final Matrix beta;
	private double SSE;
	private double SST;

	public PR(double[] x, double[] y, int degree) {
		this.degree = degree;
        N = x.length;

        // build Vandermonde matrix
        double[][] vandermonde = new double[N][degree+1];
        for (int i = 0; i < N; i++) {
            for (int j = 0; j <= degree; j++) {
                vandermonde[i][j] = Math.pow(x[i], j);
            }
        }
        Matrix X = new Matrix(vandermonde);

        // 从向量中增加一个矩阵
        Matrix Y = new Matrix(y, N);

        // 找到最小的平方值
        QRDecomposition qr = new QRDecomposition(X);
        beta = qr.solve(Y);

        // 得到y的平均值
        double sum = 0.0;
        for (int i = 0; i < N; i++)
            sum += y[i];
        double mean = sum / N;

        // total variation to be accounted for
        for (int i = 0; i < N; i++) {
            double dev = y[i] - mean;
            SST += dev*dev;
        }

        // variation not accounted for
        Matrix residuals = X.times(beta).minus(Y);
        SSE = residuals.norm2() * residuals.norm2();
	}

	public double beta(int j) {
		return beta.get(j, 0);
	}

	public int degreee() {
		return degree;
	}

	public double R2() {
		return 1.0 - SSE/SST;
	}

	public double predict(double x) {

		double y = 0.0;
		for (int j = degree; j>=0; j--) {
			y = beta(j) + (x*y);
		}
		return y;
	}

	public String toString() {
        String s = "";
        int j = degree;

        // 忽略系数为0.
        while (Math.abs(beta(j)) < 1E-5)
            j--;

        // create remaining terms
        for (j = j; j >= 0; j--) {
            if      (j == 0) s += String.format("%.2f ", beta(j));
            else if (j == 1) s += String.format("%.2f N + ", beta(j));
            else             s += String.format("%.2f N^%d + ", beta(j), j);
        }
        return s + "  (R^2 = " + String.format("%.3f", R2()) + ")";
    }

}

逻辑回归（Logistic Regression）

逻辑回归是我最喜欢的一种回归，因为表达的是概率事件。

Probit model

逐步回归（Stepwise Regression）

岭回归（Ridge Regression）

套索回归（Lasso Regression）

弹性网（Elastic net）

本文参考了Sunil Ray的7 Types of Regression Techniques you should know!