ex2:逻辑回归及正则条件下的练习

EX2 逻辑回归练习

​ 假设你是一个大学某系的管理员，你想根据两项考试结果来确定每个申请人的录取机会。你有以前申请人的历史资料以作为逻辑回归的训练集。对于每一个训练集，你拥有每个申请人的两项考试的分数与最终录取与否的信息。

• 绘出数据散点图

figure; hold on;
%Find indices of postive and negative examples
pos = find(y==1);
neg = find(y==0);
plot(X(pos,1),X(pos,2),'k+','LineWidth',2,'Markersize',7);
plot(X(neg,1),X(neg,2),'ko','MarkerFaceColor','y','Markersize',7);

数据集运行后的图形为：


* 构建s形函数(Sigmoid)

之前内容中有谈到逻辑回归的假设函数为：\(h_\theta(x)=g(\theta^Tx)\)

其中s形函数的定义为：\(g(x)=\frac{1}{1+e^{-z}}\)。

% You need to return the following variables correctly
g = zeros(size(z));
g = 1./(1+exp(-z));

• 完成代价函数costFunction.m返回代价cost和梯度gradient


和成本的梯度向量长度相同的$\theta_j$ 元素(对j = 0;1,...n)定义如下:


m = length(y); % number of training examples
J = 0;
grad = zeros(size(theta));
J = -(y'*log(sigmoid(X*theta)))-(ones(m,1)-y)'*log(ones(m,1)-sigmoid(X*theta));
J = J/m;
grad = X'*(sigmoid(X*theta)-y)/m;

• 利用fminunc函数获取参数theta

​ 在之前的工程中，你主要利用完成梯度下降来优化线性回归的参数。首先，写下代价函数的公式并计算它的梯度，然后相应地做梯度下降进行递归运算。这里我们引入Octave/MATLAB的内嵌函数fminunc，避免程序中使用任何的循环loops。

​ 首先我们初始化试图优化的参数一个函数,当考虑到训练集和一个特定的θ,计算逻辑回归成本和梯度对θ的数据集 (X,y)：

%  Set options for fminunc
options = optimset('GradObj', 'on', 'MaxIter', 400);

%  Run fminunc to obtain the optimal theta
%  This function will return theta and the cost
[theta, cost] = ...
	fminunc(@(t)(costFunction(t, X, y)), initial_theta, options);

​ 上述代码中，我们首先为调用函数fminunc定义了options（设置）。首先将"GradObj"打开，”告诉“函数返回cost与gradient。此外，设置了迭代的次数400。

此外这里贴上一个关于MATLB/octave中函数句柄@的作用：

Matlab中函数句柄@的作用及介绍

• 评估逻辑回归

predict.m用来评估优化后参数的准确性：

m = size(X, 1); % Number of training examples
% You need to return the following variables correctly
p = zeros(m, 1);

temp = sigmoid(X*theta);

for i = 1:m
    if temp(i) >= 0.5
        p(i) = 1;
    else
        p(i) = 0;
    end
end

正则逻辑回归

​ 此部分的练习中，您将实现规范化的逻辑回归预测制造工厂的微芯片是否通过质量保证(QA)。在QA期间，每个微晶片都经过各种测试以确保这是正常。假设你是工厂的产品经理，你有在两个不同的测试中测试一些微芯片的测试结果。从这两个测试，你想确定微晶片是否应该被接受拒绝。为了帮助您做出决策，您有一个测试结果的数据集在过去的微芯片上，你可以建立一个逻辑回归模型。

​ 同样与上个练习相仿，首先将数据绘出：


之前文章中提过正则下的逻辑回归的代价函数为：


* Feature mapping

更好地适应数据的一种方法是，从每个数据中创建更多的特性点。在提供的函数mapFeature中。我们将把特征映射到所有的多项式的\(x_1\)和\(x_2\)的项都到第六次方。


由于这个映射，我们的两个特征向量(分数在上面) 两个QA测试被转换成一个28维的向量。这个高维度特征向量进行的回归分类器将有一个更复杂的决策边界，我们在绘制二维图时将出现非线性。

虽然功能映射使我们能够构建更具表现力的分类器，但它也更容易过度拟合。 在练习的下一部分，您将实施正则化逻辑回归以适应数据，并且还可以看到自己如何正规化可以帮助克服过拟合问题。

• 代价函数与梯度

完成costFunctionReg.m：（注意对于\(\theta_0\)应该剔除）


% Initialize some useful values
m = length(y); % number of training examples

% You need to return the following variables correctly
J = 0;
grad = zeros(size(theta));

J = (-(y'*log(sigmoid(X*theta)))-(ones(m,1)-y)'*log(ones(m,1)-sigmoid(X*theta)))/m;
tempJ =0;
for i = 2:size(theta,1)
    tempJ = tempJ + theta(i)^2;
end
tempJ = lambda*tempJ/(2*m);
J = J+tempJ;

grad = X'*(sigmoid(X*theta)-y)/m;

for i = 1:size(theta,1)
    if i==1
        grad(i) = grad(i);
    else
        grad(i) = grad(i) + theta(i)*lambda/m;
    end
end

• 利用内嵌函数（built-in function）处理fminunc

% Initialize fitting parameters
initial_theta = zeros(size(X, 2), 1);

% Set regularization parameter lambda to 1 (you should vary this)
lambda = 1;

% Set Options
options = optimset('GradObj', 'on', 'MaxIter', 400);

% Optimize
[theta, J, exit_flag] = ...
	fminunc(@(t)(costFunctionReg(t, X, y, lambda)), initial_theta, options);

根据优化后的参数，绘出边界：(\(\lambda=1\))


更改lambda的取值，边界如下：