Logistic Regression 笔记与理解

Logistic Regression 笔记与理解

Logistic Regression

Hypothesis 记为 H(theta)

H(theta)=g(z)

当中g(z),是一个叫做Logistic Function的函数。g(z)函数定义例如以下：



相应图像例如以下：



这是一个值域为0～1的s型函数，在理解中能够觉得：

落在曲线上的随意一点A

A的横坐标相应的纵坐标值是z參数，或者说z对象属于“1”的概率。

在Logistic Regression中

g(z)的參数z为：

一个线性或非线性函数的向量化表示

这个函数相应的图像被称作决策边界

两种决策边界的样例：

线性：

watermark/2/text/aHR0cDovL2Jsb2cuY3Nkbi5uZXQvZG9uZ3Rpbmd6aGl6aQ==/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70/gravity/SouthEast" alt="image" title="">

非线性：



为了方便，下面我们仅仅讨论线性边界的情况

线性边界的表示为

X’*theta



所以Logistic Regression Hypothesis 定义例如以下：

watermark/2/text/aHR0cDovL2Jsb2cuY3Nkbi5uZXQvZG9uZ3Rpbmd6aGl6aQ==/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70/gravity/SouthEast" alt="image" title="">

如上所说，Hypothesis定义了结果取1的概率，因此对于输入x分类结果为类别1和类别0的概率分别为：

watermark/2/text/aHR0cDovL2Jsb2cuY3Nkbi5uZXQvZG9uZ3Rpbmd6aGl6aQ==/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70/gravity/SouthEast" alt="image" title="">

以上是Logistic Regression Hypothesis 的理解

Logistic Regression Cost Function 记为 J(theta)

Cost 的主要功能是计算H(theta)和答案Y的差距，在线性回归中这个差距能够用方差解决。可是Logistic问题仅仅有＋－两种答案，所以Logistic Regression的Cost函数应该是这种：



整合为一个函数



我们便得到了Logistic Regression的Cost Function。

接下来就是求解Cost Function最小值的方法－梯度下降

或使用Matlab 内建miniziae函数