matlab-逻辑回归二分类（Logistic Regression）

逻辑回归二分类

今天尝试写了一下逻辑回归分类，把代码分享给大家，至于原理的的话请戳这里 https://blog.csdn.net/laobai1015/article/details/78113214   （在这片博客的基础上我加了一丢丢东西）。

用到的预测函数为

其中，h为预测函数（大于0.5为一类，小于等于0.5为另一类）。θ为各个特征的参数。θ=[θ1,θ2,θ3...]^T

损失函数J(θ)为

利用梯度下降算法进行参数的更新公式如下：

其中，α是学习率参数，λ是正则项参数，需要自己输入。

用上述三个公式即可写出一般情况下的逻辑回归分类，经试验，其分类效果在我的测试数据下有90%以上准确度。

以下代码为了演示方面，只提供了两个特征值，然后加了一个常数项（经过实验，常数项是不可缺少的）。大家在使用自己的数据集的话只需要进行一点小改动即可。

matlab代码如下：

clear
clc
 
%% 数据准备
%X = xlsread('C:\Users\user01\Desktop\test.xlsx');
%二分类 随机生成数据。  200个数据  每个数据2个特征
data=1*rand(300,2);
label=zeros(300,1);
%label(sqrt(data(:,1).^2+data(:,2).^2)<8)=1;
label((data(:,2)+data(:,1)>1))=1;
%在data上加常数特征项；
data=[data,ones(size(data,1),1)];
 
%打乱循序
randIndex = randperm(size(data,1));
data_new=data(randIndex,:);
label_new=label(randIndex,:);
 
%80%训练  20%测试
k=0.8*size(data,1);
X1=data_new(1:k,:);
Y1=label_new(1:k,:);
X2=data_new(k+1:end,:);
Y2=label_new(k+1:end,:);
 
[m1,n1] = size(X1);
[m2,n2] = size(X2);
Features=size(data,2); %特征个数
 %% 开始训练
%设定学习率为0.01
delta=1;
lamda=0.2; %正则项系数
 
theta1=rand(1,Features);
%theta1=[.5,.5];
%%训练模型
 
%梯度下降算法求解theta（每次都是对全部的数据进行训练）
num = 300; %最大迭代次数
L=[];
while(num)
    dt=zeros(1,Features);
    loss=0;
    for i=1:m1
        xx=X1(i,1:Features);
        yy=Y1(i,1);
        h=1/(1+exp(-(theta1 * xx')));
        dt=dt+(h-yy) * xx;
        loss=loss+ yy*log(h)+(1-yy)*log(1-h);
    end
    loss=-loss/m1;
    L=[L,loss];
 
    theta2=theta1 - delta*dt/m1 - lamda*theta1/m1;
    theta1=theta2;
    num = num - 1;
 
    if loss<0.01
        break;
    end
end
figure
subplot(1,2,1)
plot(L)
title('loss')
 
subplot(1,2,2)
x=0:0.1:10;
y=(-theta1(1)*x-theta1(3))/theta1(2);
plot(x,y,'linewidth',2)
hold on
plot(data(label==1,1),data(label==1,2),'ro')
hold on
plot(data(label==0,1),data(label==0,2),'go')
axis([0 1 0 1])
 
%测试数据
acc=0;
for i=1:m2
    xx=X2(i,1:Features)';
    yy=Y2(i);
    finil=1/(1+exp(-theta2 * xx));
    if finil>0.5 && yy==1
        acc=acc+1;
    end
    if finil<=0.5 && yy==0
        acc=acc+1;
    end
end
acc/m2
 
%测试结果： 测试准确率为95%。

　　

得到的loss曲线为：

分类图像为：