1.1、Logistics Regression模型

1、线性可分VS线性不可分

　　对于一个分类问题，通常可以分为线性可分与线性不可分两种 。如果一个分类问题可以使用线性判别函数正确的分类，则称该问题为线性可分。如图所示为线性可分，否则为线性不可分：

下图为线性不可分：

1.2、Logistics Regression模型

　　Logistics Regression模型为广义的线性模型的一种，属于线性的分类模型。对于线性可分问题，需要找到一条直线，能够将两个不同的类分开，这条直线也称为超平面。对于上述超平面，可以使用如下的线性函数表示：

其中W为权重，b为偏置。若在多维的情况下，权重W和偏置b均为向量。在Logistic Regression算法中，通过对训练样本的学习，最终得到该超平面，将数据分成正负两个类别。此时可以使用阈值函数，将样本映射到不同的类别中，常见的阈值函数有Sigmoid函数，其形式如下：

Sigmoid函数的图像如图所示。

从Sigmoid函数的图像可以看出，其函数值域为（0,1），在0附近的变化比较明显。其导函数为：

以下为Python实现Sigmoid函数，为了能够使用numpy中的函数，我们首先导入numpy

# -*- coding: UTF-8 -*-
# date:2018/5/24
# User:WangHong
import numpy as np
def sig(x):
    '''
    name:Sigmoid函数
    :param x:
    :return:Sigmoid函数的值
    '''
    return 1.0 / (1 + np.exp(-x))

下列代码绘制自变量取值在[-7,7]的Sigmoid函数图像：

# -*- coding: UTF-8 -*-
# date:2018/5/24
# User:WangHong
import numpy as np
import matplotlib.pyplot as plt
def sig(x):
    '''
    name:Sigmoid函数
    :param x:
    :return:Sigmoid函数的值
    '''
    return 1.0 / (1 + np.exp(-x))
 
z = np.arange(-7,7,0.1)
phi_z = sig(z)
plt.plot(z,phi_z)
plt.axvline(0.0,color='k')
plt.axhspan(0.0,1.0,facecolor='1.0',alpha=1.0,ls='dotted')
plt.axhline(y=0.0,ls='dotted',color='k')
plt.axhline(y=0.5,ls='dotted',color='k')
plt.axhline(y=1.0,ls='dotted',color='k')
plt.yticks([0.0,0.1,0.2,0.3,0.4,0.5,0.6,0.7,0.8,0.9,1.0])
plt.ylim(-0.1,1.1)
plt.xlabel('z')
plt.ylabel('$\phi (z)$')
plt.show()

　　

　　可以看出，sigmoid函数连续，光滑，严格单调，以(0,0.5)中心对称，是一个非常良好的阈值函数。

当x趋近负无穷时，y趋近于0；趋近于正无穷时，y趋近于1；x=0时，y=0.5。当然，在x超出[-6,6]的范围后，函数值基本上没有变化，值非常接近，在应用中一般不考虑。

Sigmoid函数的值域范围限制在(0,1)之间，我们知道[0,1]与概率值的范围是相对应的，这样sigmoid函数就能与一个概率分布联系起来了。

　　Sigmoid函数的导数是其本身的函数，即f ′ (x)=f(x)(1−f(x)) ，

计算非常方便，也非常节省计算时间。推导过程如下：

在程序中，Sigmoid函数的输出为Simoid值，对于输入向量X，其属于正例的概率为：

其中，表示的是Sigmoid函数。那么，对于输入向量X，其属于负例的概率为：

对于Logistics Regression算法来说，需要求解的分隔超平面中的参数，即为权重矩阵W和偏置向量b，那么这些参数该如何求解呐？为了求解模型的两个参数，首先必须定义损失函数。

1.3、损失函数

对于上述的Logistics Regression算法，其属于类别y的概率为：

要求上述问题的参数W和b，可以使用极大似然法对其进行估计，假设训练数据集有m个训练样本{（X¹，y¹），（X²，y²）,....,(X^m,y^m)}，则其似然函数为：

其中，假设函数h_w,b(X⁽ⁱ⁾)为：

对于似然函数的极大值的求解，通常使用Log似然函数，在Logistics Regression算法中，通常是将负的Log似然函数作为其损失函数，即the negative log-likelihoo（NLL）作为其损失函数，此时，需要计算的NLL的最小值。损失函数l_W,b为：

此时，我们需要求解的问题为：

为了求解德损失函数l_{W,b的最小值，可以使用基于梯度的方法进行求解。}

 1.4、梯度下降法：

　　在机器学习算法中，对于很多监督学习模型，需要对原始的模型构建损失函数，接下来便是通过优化算法对损失函数进行优化，以便寻找到最优的参数W，字求解机器学习参数W的优化算法时，使用较多的是基于梯度下降的优化算法（Gradient Descent，GD）。

　　梯度下降法的优点，只需要求解损失函数的一阶导数，计算的成本比较小，这使得梯度下降法能在很多大规模数据集上得到应用。梯度下降法的含义是通过当前点出的梯度方向寻找新的迭代点，并从当前点移动到新的迭代点继续寻找新的迭代点，直到找到最优解。

　　1.4.1、梯度下降法的流程

　　　　梯度下降法是一种迭代性的优化算法，根据初始点在每一次迭代的过程中选择下降的方向，静儿改变需要修改的参数，对于优化问题min f（W），梯度下降法的详细过程如下所示：

• • • 随机选择一个初始点W₀
    • 重复以下过程
      
    • 决定梯度下降方向：
    • 选择步长α
    • 更新：W_i+1=W_i+α*d_i
    • 直到满足终止条件。
      

　　在初始时，在 W₀处，选择下降的方向d₀，选择步长α，更新W的值，此时到达W₁处，判断是否满是终止条件，发现并未到达最优解W^*，重复上述的过程，直至到达W^*

1.5、凸优化与非凸优化

　　简单来讲，凸优化问题是指只存在一个最优解的优化问题，即在任何一个局部最优解即全局最优解，如图所示：

　　非凸优化是指在解空间存在多个局部最优解，而全局最优解是其中的某一个局部最优解，如图

　　最小二程（Least Sqares）、岭回归（Ridge Regression）和Logistics回归（Logistics Regression）的损失函数都是凸优化问题。

1.6、利用梯度下降法训练Logistics Regression模型

　　对于上述的Logistics Regression算法的损失函数可以通过梯度下降法对其进行求解，其梯度为：

　　其中xj^（i）表示的是样本X^（i）的第j个分量。取w₀=b，且将偏置项的变量x₀设置为1，则可以将上述的梯度合并为：

根据梯度下降法，得到如下更新公式：

　　利用上述的Logistics Regression中的权重的更新公式，可以实现Logistics Regression模型的训练，下面是利用梯度下降法训练的具体过程，程序如下：

def lr_train_bgd(feature,label,maxCycle,alpha):
    '''
    :param feature: 特征
    :param label: 标签
    :param maxCycle: 最大迭代次数
    :param alpha: 学习率
    :return w:权重
    '''
    n = np.shape(feature)[1] #特征个数
    w = np.mat(np.ones((n,1)))#初始化权重
    i = 0
    while i<=maxCycle:#在最大迭代次数的范围内
        i += 1#当前的跌打次数
        h = sig(feature*w) #计算Sigmoid值
        err = label - h
        if i%100==0:
            print("\t----------iter="+str(i)+\
                  ",train error rate="+str(error_rate(h,label)))
        w = w+alpha*feature.T*err#修正权重
    return w

　　误差函数为：

def error_rate(h,label):
    '''
    计算当前的损失函数值
    :param h: 预测值
    :param label: 实际值
    :returnsum_ree / m: 错误率
    '''
    m = np.shape(h)(0)
    sum_err = 0.0
    for i in range(m):
        if h[i,0]>0 and (1 - h[i,0])>0:
            sum_err -= (label[i,0]*np.log(h[i,0]) + \
                        (1-label[i,0]) * np.log(1-h[i,0]))
        else:
    sum_err -= 0
    return sum_err / m

1.7梯度下降法的若干问题

　　1.为了求解优化问题f（w）的最小值，我们希望每次迭代的结果能够接近最优值W^*，对于一维的情况，如图所示：

　　　　若当前的梯度为负，则最小值在当前点的右侧，若当前点的梯度为正，则最小值在当前点的左侧，负的梯度即为下降的方向。对于上述的一维的情况，有下述的更新规则：

其中，α_i为步长。对于二维的情况，此时更新的规则如下：

▽代表的含义是矢量求偏导

　　2.步长的选择：

　　　　对于步长的选择，若选择太小，会导致收敛速度比较慢，若选择较大，则会出现震荡的现象，即跳过最优解，在最优解附近徘徊，如图：

步长选择过大                                                                   步长选择过小

因此，选择合适的步长对于梯度下降的收敛效果显得尤为重要，如图：