机器学习基础-Logistic回归1
利用Logistic回归进行分类的主要思想是:根据现有数据对分类边界线建立回归公式,以此进行分类。
训练分类器时的做法就是寻找最佳拟合参数,使用的时最优化算法。
优点:计算代价不高,利于理解和实现。
缺点:容易欠拟合,分类精度可能不高。
适用数据类型:数值型和标称型数据。
最优化算法:1基本的梯度上升法 2改进的梯度上升法
海维塞德阶跃函数=单位阶跃函数(该函数在跳跃点上从0瞬间跳跃到1),这个顺时跳跃过程很难处理。幸好,另一个函数也有类似的性质,而且数学上更容易处理,这就是Sigmoid函数。具体的计算公式如下:
σ(z) =1/(1+e-z)
当z为0时,Sigmoid函数值为0.5。随着x的增大,对应的Sigmoid函数值将逼近于1;而随着x的减小,Sigmoid值将逼近于0。如果横坐标刻度足够大,Sigmoid函数看起来很像一个阶跃函数。因此为了实现Logistic回归分类器,我们可以在每个特征上都乘以一个回归系数,然后把所有的结值相加,将这个总和代入Sigmoid函数中,进而得到一个范围在0~1之间的数值。
确定了分类器的函数形式之后,现在的问题变成了:最佳回归系数是多少?如何确定他们的大小?
基于最优化方法的最佳回归系数确定
sigmoid函数的输入记为z,由下面公式得出:z=w0x0+w1x1+w2x2+...+wnxn,如果采用向量的写法,上述公式可以写成Z=wTx。其中向量x是分类器的输入数据,向量w也就是我们要找到的最佳参数。
下面将要介绍寻找最优参数的梯度上升法和随机梯度上升法
1梯度上升法-要找到某函数的最大值,最好的方法是沿着该函数的梯度方向探寻。
用向量来表示的话,梯度算法的迭代公式如下:
w:=w+αΔwf(w) Δwf(w):移动方向;α:步长。
该公式将一直被执行,直到达到某个条件为止,比如迭代次数达到某个指定值或者算法达到某个允许的误差范围。
梯度上升算法用来求函数的最大值,而梯度下降算法用来求函数的最小值。
- #Logistic回归梯度上升优化算法(代码)如下:
- #!/usr/bin/env python
- from numpy import *
- def loadDataSet():
- dataMat=[];labelMat=[]
- fr = open('testSet.txt')
- for line in fr.readlines():
- lineArr=line.strip().split()
- dataMat.append([1.0,float(lineArr[0]),float(lineArr[1])]) #x0,x1,x2组成的三维数据集
- labelMat.append(int(lineArr[2])) #类别标签
- return dataMat,labelMat
- def sigmoid(inX):
- return 1.0/(1+exp(-inX))
- def gradAscent(dataMatIn,classLabels):
- dataMatrix=mat(dataMatIn)
- labelMat=mat(classLabels).transpose() #转换为NumPy矩阵数据类型
- m,n=shape(dataMatrix)
- alpha=0.001
- maxCycles=500 #循环500次
- weights=ones((n,1))
- for k in range(maxCycles):
- h=sigmoid(dataMatrix*weights)
- error=(labelMat-h)
- weights=weights+alpha*dataMatrix.transpose()*error #更新参数
- return weights
- dataArr,labelMat=loadDataSet()
- print gradAscent(dataArr,labelMat)
#画出分隔线,从而使得优化的过程便于理解,在上述代码后添加如下代码:
- def plotBestFit(wei):
- import matplotlib.pyplot as plt
- weights=wei.getA()
- dataMat,labelMat=loadDataSet()
- dataArr=array(dataMat)
- n=shape(dataArr)[0]
- xcord1=[];ycord1=[]
- xcord2=[];ycord2=[]
- for i in range(n):
- if int(labelMat[i])==1:
- xcord1.append(dataArr[i,1]);ycord1.append(dataArr[i,2])
- else:
- xcord2.append(dataArr[i,1]);ycord2.append(dataArr[i,2])
- fig = plt.figure()
- ax=fig.add_subplot(111)
- ax.scatter(xcord1,ycord1,s=30,c='red',marker='s')
- ax.scatter(xcord2,ycord2,s=30,c='green')
- x=arange(-3.0,3.0,0.1)
- y=(-weights[0]-weights[1]*x)/weights[2]
- ax.plot(x,y)
- plt.xlabel('x1');plt.ylabel('x2')
- plt.show()
- dataArr,labelMat=loadDataSet()
- weights=gradAscent(dataArr,labelMat)
- plotBestFit(weights.getA())
简单的测验数据(testSet.txt):
-1 -2 0
-2 -3 0
-3 -4 0
-4 -5 0
-5 -6 0
6 7 1
-3 -2 0
7 5 1
6 3 1
5 4 1
7 3 1
机器学习基础-Logistic回归1的更多相关文章
- 机器学习基础-Logistic回归2
随机梯度上升法--一次仅用一个样本点来更新回归系数(因为可以在新样本到来时对分类器进行增量式更新,因而属于在线学习算法) 梯度上升法在每次更新回归系统时都需要遍历整个数据集,该方法在处理100个左右的 ...
- [机器学习实战-Logistic回归]使用Logistic回归预测各种实例
目录 本实验代码已经传到gitee上,请点击查收! 一.实验目的 二.实验内容与设计思想 实验内容 设计思想 三.实验使用环境 四.实验步骤和调试过程 4.1 基于Logistic回归和Sigmoid ...
- 机器学习之Logistic 回归算法
1 Logistic 回归算法的原理 1.1 需要的数学基础 我在看机器学习实战时对其中的代码非常费解,说好的利用偏导数求最值怎么代码中没有体现啊,就一个简单的式子:θ= θ - α Σ [( hθ( ...
- 机器学习之logistic回归算法与代码实现原理
Logistic回归算法原理与代码实现 本文系作者原创,转载请注明出处:https://www.cnblogs.com/further-further-further/p/10033567.html ...
- 机器学习5—logistic回归学习笔记
机器学习实战之logistic回归 test5.py #-*- coding:utf-8 import sys sys.path.append("logRegres.py") fr ...
- 机器学习笔记—Logistic回归
本文申明:本系列笔记全部为原创内容,如有转载请申明原地址出处.谢谢 序言:what is logistic regression? Logistics 一词表示adj.逻辑的;[军]后勤学的n.[逻] ...
- 机器学习笔记—Logistic 回归
前面我们介绍了线性回归,为捕获训练集中隐藏的线性模型,提高预测准确率,我们寻找最佳参数 θ,使得预测值与真实值误差尽量小,也就是使均方误差最小.而经过验证,最小均方误差是符合最大似然估计理论的. 在 ...
- 吴裕雄--天生自然python机器学习:Logistic回归
假设现在有一些数据点,我们用 一条直线对这些点进行拟合(该线称为最佳拟合直线),这个拟合过程就称作回归.利用Logistic回归进行分类的主要思想是:根据现有数据对分类边界线建立回归公式,以此进行分类 ...
- 机器学习算法-logistic回归算法
Logistic回归算法调试 一.算法原理 Logistic回归算法是一种优化算法,主要用用于只有两种标签的分类问题.其原理为对一些数据点用一条直线去拟合,对数据集进行划分.从广义上来讲这也是一种多元 ...
随机推荐
- 一个因xdata声明引起的隐含错误
我们知道一般增强型c51自身的RAM只有128BYTES,根本不够用,所以一般在定义全局变量,静态变量时都要用XDATA作为关键字修饰数据的的存储类型.但要注意的是,定义和声明一定要一致,不然出现错误 ...
- rhel7使用centos7yum组件
1)rpm -qa|grep yum --查看已安装的yum组件包 2)rpm -e 包名 --nodeps --卸载包 3)下载安装以下组件包: 使用rpm -ivh yum-* yum-3.4.3 ...
- 在linux中使用多个redis端口来构建redis集群
大家好,这是我制作的redis集群搭建视频教程. 服务器:ubnutu server(版本18.10) redis:redis-4.0.12 我这里就简单说明下大概步骤了,详细请观看教学视频. 首先更 ...
- AJPFX总结jvm运行时内存分布
jvm的运行过程中将java程序运行时数据区分为以下几个部分: (1)程序计数器:存储虚拟机字节码执行的地址 (2)java虚拟机栈:java方法运行时的局部变量表,操作数栈,方法出口等 ( ...
- ES6—带默认值的函数参数及其作用域
在学习ES6函数一章时,发现了一个有意思的现象,原文描述如下: 这段话主要state了3个事实: ①函数参数有默认值时,会在声明初始化阶段形成一个单独的作用域 ②这个作用域在初始化结束后消失 ③没默认 ...
- [Windows Server 2012] 安装IIS8.5及FTP
★ 欢迎来到[护卫神·V课堂],网站地址:http://v.huweishen.com ★ 护卫神·V课堂 是护卫神旗下专业提供服务器教学视频的网站,每周更新视频. ★ 本节我们将带领大家:安装IIS ...
- [Python學習筆記] 在Centos上安裝 Django
曾在模擬器跟Digital Ocean上安裝成功,我在 Digital Ocean上的是CentOS 7 x64,模擬器的則是Centos 6.雖然Centos 本身已經裝好 Python 但是是2. ...
- Mysql数据库表的迁移和表的复制
同一台服务器上的,数据库之间的表的迁移: create table db.tablename as select * from db2.tablename; 此sql使用于mysql,从一台服务器上的 ...
- AIX 11203 ASM RAC安装
1:查看系统版本 [rac1:root:/hacmp/hacmp5.4/ha5.4/installp/ppc] oslevel -s 6100-06-06-1140 lslpp -al bos.adt ...
- DROP USER - 删除一个数据库用户帐号
SYNOPSIS DROP USER name DESCRIPTION 描述 DROP USER 从数据库中删除指定的用户. 它不删除数据库里此用户所有的表,视图或其他对象. 如果该用户拥有任何数据库 ...