利用Logistic回归进行分类的主要思想是:根据现有数据对分类边界线建立回归公式,以此进行分类。

训练分类器时的做法就是寻找最佳拟合参数,使用的时最优化算法。

优点:计算代价不高,利于理解和实现。

缺点:容易欠拟合,分类精度可能不高。

适用数据类型:数值型和标称型数据。

最优化算法:1基本的梯度上升法 2改进的梯度上升法

海维塞德阶跃函数=单位阶跃函数(该函数在跳跃点上从0瞬间跳跃到1),这个顺时跳跃过程很难处理。幸好,另一个函数也有类似的性质,而且数学上更容易处理,这就是Sigmoid函数。具体的计算公式如下:

σ(z) =1/(1+e-z)

当z为0时,Sigmoid函数值为0.5。随着x的增大,对应的Sigmoid函数值将逼近于1;而随着x的减小,Sigmoid值将逼近于0。如果横坐标刻度足够大,Sigmoid函数看起来很像一个阶跃函数。因此为了实现Logistic回归分类器,我们可以在每个特征上都乘以一个回归系数,然后把所有的结值相加,将这个总和代入Sigmoid函数中,进而得到一个范围在0~1之间的数值。

确定了分类器的函数形式之后,现在的问题变成了:最佳回归系数是多少?如何确定他们的大小?

基于最优化方法的最佳回归系数确定

sigmoid函数的输入记为z,由下面公式得出:z=w0x0+w1x1+w2x2+...+wnxn,如果采用向量的写法,上述公式可以写成Z=wTx。其中向量x是分类器的输入数据,向量w也就是我们要找到的最佳参数。


下面将要介绍寻找最优参数的梯度上升法和随机梯度上升法

1梯度上升法-要找到某函数的最大值,最好的方法是沿着该函数的梯度方向探寻。

用向量来表示的话,梯度算法的迭代公式如下:

w:=w+αΔwf(w)                 Δwf(w):移动方向;α:步长。

该公式将一直被执行,直到达到某个条件为止,比如迭代次数达到某个指定值或者算法达到某个允许的误差范围。

梯度上升算法用来求函数的最大值,而梯度下降算法用来求函数的最小值。

  1. #Logistic回归梯度上升优化算法(代码)如下:
  2. #!/usr/bin/env python
  3. from numpy import *
  4.  
  5. def loadDataSet():
  6. dataMat=[];labelMat=[]
  7. fr = open('testSet.txt')
  8. for line in fr.readlines():
  9. lineArr=line.strip().split()
  10. dataMat.append([1.0,float(lineArr[0]),float(lineArr[1])]) #x0,x1,x2组成的三维数据集
  11. labelMat.append(int(lineArr[2])) #类别标签
  12. return dataMat,labelMat
  13.  
  14. def sigmoid(inX):
  15. return 1.0/(1+exp(-inX))
  16.  
  17. def gradAscent(dataMatIn,classLabels):
  18. dataMatrix=mat(dataMatIn)
  19. labelMat=mat(classLabels).transpose() #转换为NumPy矩阵数据类型
  20. m,n=shape(dataMatrix)
  21. alpha=0.001
  22. maxCycles=500 #循环500次
  23. weights=ones((n,1))
  24. for k in range(maxCycles):
  25. h=sigmoid(dataMatrix*weights)
  26. error=(labelMat-h)
  27. weights=weights+alpha*dataMatrix.transpose()*error #更新参数
  28. return weights
  29.  
  30. dataArr,labelMat=loadDataSet()
  31. print gradAscent(dataArr,labelMat)

  

#画出分隔线,从而使得优化的过程便于理解,在上述代码后添加如下代码:

  1. def plotBestFit(wei):
  2. import matplotlib.pyplot as plt
  3. weights=wei.getA()
  4. dataMat,labelMat=loadDataSet()
  5. dataArr=array(dataMat)
  6. n=shape(dataArr)[0]
  7. xcord1=[];ycord1=[]
  8. xcord2=[];ycord2=[]
  9. for i in range(n):
  10. if int(labelMat[i])==1:
  11. xcord1.append(dataArr[i,1]);ycord1.append(dataArr[i,2])
  12. else:
  13. xcord2.append(dataArr[i,1]);ycord2.append(dataArr[i,2])
  14. fig = plt.figure()
  15. ax=fig.add_subplot(111)
  16. ax.scatter(xcord1,ycord1,s=30,c='red',marker='s')
  17. ax.scatter(xcord2,ycord2,s=30,c='green')
  18. x=arange(-3.0,3.0,0.1)
  19. y=(-weights[0]-weights[1]*x)/weights[2]
  20. ax.plot(x,y)
  21. plt.xlabel('x1');plt.ylabel('x2')
  22. plt.show()
  23.  
  24. dataArr,labelMat=loadDataSet()
  25. weights=gradAscent(dataArr,labelMat)
  26. plotBestFit(weights.getA())

简单的测验数据(testSet.txt):

-1 -2 0
-2 -3 0
-3 -4 0
-4 -5 0
-5 -6 0
6 7 1
-3 -2 0
7 5 1
6 3 1
5 4 1
7 3 1

机器学习基础-Logistic回归1的更多相关文章

  1. 机器学习基础-Logistic回归2

    随机梯度上升法--一次仅用一个样本点来更新回归系数(因为可以在新样本到来时对分类器进行增量式更新,因而属于在线学习算法) 梯度上升法在每次更新回归系统时都需要遍历整个数据集,该方法在处理100个左右的 ...

  2. [机器学习实战-Logistic回归]使用Logistic回归预测各种实例

    目录 本实验代码已经传到gitee上,请点击查收! 一.实验目的 二.实验内容与设计思想 实验内容 设计思想 三.实验使用环境 四.实验步骤和调试过程 4.1 基于Logistic回归和Sigmoid ...

  3. 机器学习之Logistic 回归算法

    1 Logistic 回归算法的原理 1.1 需要的数学基础 我在看机器学习实战时对其中的代码非常费解,说好的利用偏导数求最值怎么代码中没有体现啊,就一个简单的式子:θ= θ - α Σ [( hθ( ...

  4. 机器学习之logistic回归算法与代码实现原理

    Logistic回归算法原理与代码实现 本文系作者原创,转载请注明出处:https://www.cnblogs.com/further-further-further/p/10033567.html ...

  5. 机器学习5—logistic回归学习笔记

    机器学习实战之logistic回归 test5.py #-*- coding:utf-8 import sys sys.path.append("logRegres.py") fr ...

  6. 机器学习笔记—Logistic回归

    本文申明:本系列笔记全部为原创内容,如有转载请申明原地址出处.谢谢 序言:what is logistic regression? Logistics 一词表示adj.逻辑的;[军]后勤学的n.[逻] ...

  7. 机器学习笔记—Logistic 回归

    前面我们介绍了线性回归,为捕获训练集中隐藏的线性模型,提高预测准确率,我们寻找最佳参数 θ,使得预测值与真实值误差尽量小,也就是使均方误差最小.而经过验证,最小均方误差是符合最大似然估计理论的. 在 ...

  8. 吴裕雄--天生自然python机器学习:Logistic回归

    假设现在有一些数据点,我们用 一条直线对这些点进行拟合(该线称为最佳拟合直线),这个拟合过程就称作回归.利用Logistic回归进行分类的主要思想是:根据现有数据对分类边界线建立回归公式,以此进行分类 ...

  9. 机器学习算法-logistic回归算法

    Logistic回归算法调试 一.算法原理 Logistic回归算法是一种优化算法,主要用用于只有两种标签的分类问题.其原理为对一些数据点用一条直线去拟合,对数据集进行划分.从广义上来讲这也是一种多元 ...

随机推荐

  1. 一个因xdata声明引起的隐含错误

    我们知道一般增强型c51自身的RAM只有128BYTES,根本不够用,所以一般在定义全局变量,静态变量时都要用XDATA作为关键字修饰数据的的存储类型.但要注意的是,定义和声明一定要一致,不然出现错误 ...

  2. rhel7使用centos7yum组件

    1)rpm -qa|grep yum --查看已安装的yum组件包 2)rpm -e 包名 --nodeps --卸载包 3)下载安装以下组件包: 使用rpm -ivh yum-* yum-3.4.3 ...

  3. 在linux中使用多个redis端口来构建redis集群

    大家好,这是我制作的redis集群搭建视频教程. 服务器:ubnutu server(版本18.10) redis:redis-4.0.12 我这里就简单说明下大概步骤了,详细请观看教学视频. 首先更 ...

  4. AJPFX总结jvm运行时内存分布

    jvm的运行过程中将java程序运行时数据区分为以下几个部分:      (1)程序计数器:存储虚拟机字节码执行的地址 (2)java虚拟机栈:java方法运行时的局部变量表,操作数栈,方法出口等 ( ...

  5. ES6—带默认值的函数参数及其作用域

    在学习ES6函数一章时,发现了一个有意思的现象,原文描述如下: 这段话主要state了3个事实: ①函数参数有默认值时,会在声明初始化阶段形成一个单独的作用域 ②这个作用域在初始化结束后消失 ③没默认 ...

  6. [Windows Server 2012] 安装IIS8.5及FTP

    ★ 欢迎来到[护卫神·V课堂],网站地址:http://v.huweishen.com ★ 护卫神·V课堂 是护卫神旗下专业提供服务器教学视频的网站,每周更新视频. ★ 本节我们将带领大家:安装IIS ...

  7. [Python學習筆記] 在Centos上安裝 Django

    曾在模擬器跟Digital Ocean上安裝成功,我在 Digital Ocean上的是CentOS 7 x64,模擬器的則是Centos 6.雖然Centos 本身已經裝好 Python 但是是2. ...

  8. Mysql数据库表的迁移和表的复制

    同一台服务器上的,数据库之间的表的迁移: create table db.tablename as select * from db2.tablename; 此sql使用于mysql,从一台服务器上的 ...

  9. AIX 11203 ASM RAC安装

    1:查看系统版本 [rac1:root:/hacmp/hacmp5.4/ha5.4/installp/ppc] oslevel -s 6100-06-06-1140 lslpp -al bos.adt ...

  10. DROP USER - 删除一个数据库用户帐号

    SYNOPSIS DROP USER name DESCRIPTION 描述 DROP USER 从数据库中删除指定的用户. 它不删除数据库里此用户所有的表,视图或其他对象. 如果该用户拥有任何数据库 ...