机器学习基础-Logistic回归1
利用Logistic回归进行分类的主要思想是:根据现有数据对分类边界线建立回归公式,以此进行分类。
训练分类器时的做法就是寻找最佳拟合参数,使用的时最优化算法。
优点:计算代价不高,利于理解和实现。
缺点:容易欠拟合,分类精度可能不高。
适用数据类型:数值型和标称型数据。
最优化算法:1基本的梯度上升法 2改进的梯度上升法
海维塞德阶跃函数=单位阶跃函数(该函数在跳跃点上从0瞬间跳跃到1),这个顺时跳跃过程很难处理。幸好,另一个函数也有类似的性质,而且数学上更容易处理,这就是Sigmoid函数。具体的计算公式如下:
σ(z) =1/(1+e-z)
当z为0时,Sigmoid函数值为0.5。随着x的增大,对应的Sigmoid函数值将逼近于1;而随着x的减小,Sigmoid值将逼近于0。如果横坐标刻度足够大,Sigmoid函数看起来很像一个阶跃函数。因此为了实现Logistic回归分类器,我们可以在每个特征上都乘以一个回归系数,然后把所有的结值相加,将这个总和代入Sigmoid函数中,进而得到一个范围在0~1之间的数值。
确定了分类器的函数形式之后,现在的问题变成了:最佳回归系数是多少?如何确定他们的大小?
基于最优化方法的最佳回归系数确定
sigmoid函数的输入记为z,由下面公式得出:z=w0x0+w1x1+w2x2+...+wnxn,如果采用向量的写法,上述公式可以写成Z=wTx。其中向量x是分类器的输入数据,向量w也就是我们要找到的最佳参数。
下面将要介绍寻找最优参数的梯度上升法和随机梯度上升法
1梯度上升法-要找到某函数的最大值,最好的方法是沿着该函数的梯度方向探寻。
用向量来表示的话,梯度算法的迭代公式如下:
w:=w+αΔwf(w) Δwf(w):移动方向;α:步长。
该公式将一直被执行,直到达到某个条件为止,比如迭代次数达到某个指定值或者算法达到某个允许的误差范围。
梯度上升算法用来求函数的最大值,而梯度下降算法用来求函数的最小值。
- #Logistic回归梯度上升优化算法(代码)如下:
- #!/usr/bin/env python
- from numpy import *
- def loadDataSet():
- dataMat=[];labelMat=[]
- fr = open('testSet.txt')
- for line in fr.readlines():
- lineArr=line.strip().split()
- dataMat.append([1.0,float(lineArr[0]),float(lineArr[1])]) #x0,x1,x2组成的三维数据集
- labelMat.append(int(lineArr[2])) #类别标签
- return dataMat,labelMat
- def sigmoid(inX):
- return 1.0/(1+exp(-inX))
- def gradAscent(dataMatIn,classLabels):
- dataMatrix=mat(dataMatIn)
- labelMat=mat(classLabels).transpose() #转换为NumPy矩阵数据类型
- m,n=shape(dataMatrix)
- alpha=0.001
- maxCycles=500 #循环500次
- weights=ones((n,1))
- for k in range(maxCycles):
- h=sigmoid(dataMatrix*weights)
- error=(labelMat-h)
- weights=weights+alpha*dataMatrix.transpose()*error #更新参数
- return weights
- dataArr,labelMat=loadDataSet()
- print gradAscent(dataArr,labelMat)
#画出分隔线,从而使得优化的过程便于理解,在上述代码后添加如下代码:
- def plotBestFit(wei):
- import matplotlib.pyplot as plt
- weights=wei.getA()
- dataMat,labelMat=loadDataSet()
- dataArr=array(dataMat)
- n=shape(dataArr)[0]
- xcord1=[];ycord1=[]
- xcord2=[];ycord2=[]
- for i in range(n):
- if int(labelMat[i])==1:
- xcord1.append(dataArr[i,1]);ycord1.append(dataArr[i,2])
- else:
- xcord2.append(dataArr[i,1]);ycord2.append(dataArr[i,2])
- fig = plt.figure()
- ax=fig.add_subplot(111)
- ax.scatter(xcord1,ycord1,s=30,c='red',marker='s')
- ax.scatter(xcord2,ycord2,s=30,c='green')
- x=arange(-3.0,3.0,0.1)
- y=(-weights[0]-weights[1]*x)/weights[2]
- ax.plot(x,y)
- plt.xlabel('x1');plt.ylabel('x2')
- plt.show()
- dataArr,labelMat=loadDataSet()
- weights=gradAscent(dataArr,labelMat)
- plotBestFit(weights.getA())
简单的测验数据(testSet.txt):
-1 -2 0
-2 -3 0
-3 -4 0
-4 -5 0
-5 -6 0
6 7 1
-3 -2 0
7 5 1
6 3 1
5 4 1
7 3 1
机器学习基础-Logistic回归1的更多相关文章
- 机器学习基础-Logistic回归2
随机梯度上升法--一次仅用一个样本点来更新回归系数(因为可以在新样本到来时对分类器进行增量式更新,因而属于在线学习算法) 梯度上升法在每次更新回归系统时都需要遍历整个数据集,该方法在处理100个左右的 ...
- [机器学习实战-Logistic回归]使用Logistic回归预测各种实例
目录 本实验代码已经传到gitee上,请点击查收! 一.实验目的 二.实验内容与设计思想 实验内容 设计思想 三.实验使用环境 四.实验步骤和调试过程 4.1 基于Logistic回归和Sigmoid ...
- 机器学习之Logistic 回归算法
1 Logistic 回归算法的原理 1.1 需要的数学基础 我在看机器学习实战时对其中的代码非常费解,说好的利用偏导数求最值怎么代码中没有体现啊,就一个简单的式子:θ= θ - α Σ [( hθ( ...
- 机器学习之logistic回归算法与代码实现原理
Logistic回归算法原理与代码实现 本文系作者原创,转载请注明出处:https://www.cnblogs.com/further-further-further/p/10033567.html ...
- 机器学习5—logistic回归学习笔记
机器学习实战之logistic回归 test5.py #-*- coding:utf-8 import sys sys.path.append("logRegres.py") fr ...
- 机器学习笔记—Logistic回归
本文申明:本系列笔记全部为原创内容,如有转载请申明原地址出处.谢谢 序言:what is logistic regression? Logistics 一词表示adj.逻辑的;[军]后勤学的n.[逻] ...
- 机器学习笔记—Logistic 回归
前面我们介绍了线性回归,为捕获训练集中隐藏的线性模型,提高预测准确率,我们寻找最佳参数 θ,使得预测值与真实值误差尽量小,也就是使均方误差最小.而经过验证,最小均方误差是符合最大似然估计理论的. 在 ...
- 吴裕雄--天生自然python机器学习:Logistic回归
假设现在有一些数据点,我们用 一条直线对这些点进行拟合(该线称为最佳拟合直线),这个拟合过程就称作回归.利用Logistic回归进行分类的主要思想是:根据现有数据对分类边界线建立回归公式,以此进行分类 ...
- 机器学习算法-logistic回归算法
Logistic回归算法调试 一.算法原理 Logistic回归算法是一种优化算法,主要用用于只有两种标签的分类问题.其原理为对一些数据点用一条直线去拟合,对数据集进行划分.从广义上来讲这也是一种多元 ...
随机推荐
- C++ thread operator= 右值引用 vector foreach
这是 thread 的construct定义: default (1) thread() noexcept; initialization (2) template <class Fn, cla ...
- 2019/05/11 JAVA虚拟机原理堆、栈、方法区概念区别
Java堆 堆内存用于存放由new创建的对象和数组.在堆中分配的内存,由java虚拟机自动垃圾回收器来管理.在堆中产生了一个数组或者对象后,还可以在栈中定义一个特殊的变量,这个变量的取值等于数组或者对 ...
- 【转】Iconfont
Iconfont Iconfont 是指用字体文件取代图片文件,来展示图标.特殊字体等元素的一种方法.很多网站都会用它,比如手淘.新浪微博等. 在使用它之前,先来了解一下它的优缺点: 优点:(1)文件 ...
- Maven项目中War包的打包及依赖方式
两个web项目之间的依赖引用方式.Web项目之间,通过war包的方式进行引用的.例如,有两个项目,puzzle-web和puzzle-web-demo,两个均是web项目,puzzle-web-dem ...
- 关于php的问题
$polling_items = db_fetch_assoc("SELECT * FROM poller_item WHERE rrd_next_step<=0 ORDER by h ...
- [Java 8] (9) Lambda表达式对递归的优化(下) - 使用备忘录模式(Memoization Pattern) .
使用备忘录模式(Memoization Pattern)提高性能 这个模式说白了,就是将需要进行大量计算的结果缓存起来,然后在下次需要的时候直接取得就好了.因此,底层只需要使用一个Map就够了. 但是 ...
- vue路由高级语法糖
1.当 <router-link> 对应的路由匹配成功,将自动设置 class 属性值 .router-link-active. 模板中可以用{{$route.params.xxx取到路由 ...
- 用python+pygame写贪吃蛇小游戏
因为python语法简单好上手,前两天在想能不能用python写个小游戏出来,就上网搜了一下发现了pygame这个写2D游戏的库.了解了两天再参考了一些资料就开始写贪吃蛇这个小游戏. 毕竟最开始的练手 ...
- Linux 常用命令:解压缩
目录 Linux 常用命令:解压缩 说明 tar 涉及参数说明: 压缩 解压 zip压缩 涉及参数说明: uzip解压 涉及参数说明: gzip 涉及参数说明: 压缩率比较 Linux 常用命令:解压 ...
- QT+模态对话框与非模态对话框
#include "mainwindow.h" #include <QMenuBar> #include <QMenu> #include <QAct ...