多分类问题——识别手写体数字0-9

一.逻辑回归解决多分类问题

1.图片像素为20*20,X的属性数目为400,输出层神经元个数为10,分别代表1-10(把0映射为10)。

通过以下代码先形式化展示数据 ex3data1.mat内容:

load('ex3data1.mat'); % training data stored in arrays X, y
m = size(X, ); %求出样本总数
% Randomly select data points to display
rand_indices = randperm(m); %函数功能随机打乱这m个数字,输出给rand_indices.
sel = X(rand_indices(:), :); %按照打乱后的数列取出100个数字,作为X矩阵的行数。 displayData(sel); %通过本函数将选出的X矩阵中100个样本进行图形化

函数displayData()实现解析如下:

function [h, display_array] = displayData(X, example_width)
%DISPLAYDATA Display 2D data in a nice grid if ~exist('example_width', 'var') || isempty(example_width)
example_width = round(sqrt(size(X, ))); %四舍五入求出图片的宽度
end colormap(gray); %将图片定义为灰色系 [m n] = size(X);
example_height = (n / example_width); %求出图片的高度 % Compute number of items to display
display_rows = floor(sqrt(m)); %计算出每行每列展示多少个数字图片
display_cols = ceil(m / display_rows); pad = ; %图片之间间隔 % Setup blank display 创建要展示的图片像素大小,空像素,数字图片之间有1像素间隔
display_array = - ones(pad + display_rows * (example_height + pad), ...
pad + display_cols * (example_width + pad)); % Copy each example into a patch on the display array 将像素点填充进去
curr_ex = ;
for j = :display_rows
for i = :display_cols
if curr_ex > m,
break;
end% Get the max value of the patch
max_val = max(abs(X(curr_ex, :)));
display_array(pad + (j - ) * (example_height + pad) + (:example_height), ...
pad + (i - ) * (example_width + pad) + (:example_width)) = ...
reshape(X(curr_ex, :), example_height, example_width) / max_val; %reshape函数进行矩阵维数转换
curr_ex = curr_ex + ;
end
if curr_ex > m,
break;
end
end h = imagesc(display_array, [- ]); %将像素点画为图片
axis image off %不显示坐标轴
drawnow; %刷新屏幕
end

2.向量化逻辑回归

向量化代价函数和梯度下降,代码同第三周编程练习相同:http://www.cnblogs.com/LoganGo/p/9009767.html

核心代码如下:

function [J, grad] = lrCostFunction(theta, X, y, lambda)

m = length(y); % number of training examples

J = ;
grad = zeros(size(theta));
%分别计算代价值J和梯度grad
J=/m*(-(y')*log(sigmoid(X*theta))-(1-y)'*log(-sigmoid(X*theta)))+lambda/(*m)*(theta'*theta-theta(1)^2);
%grad = /m*X'*(sigmoid(X*theta)-y)+lambda*theta/m;
%grad() = grad()-lambda*theta()/m;
grad=/m*X'*(sigmoid(X*theta)-y)+lambda/m*([0;theta(2:end)]);
grad = grad(:); end

3.逻辑回归解决多分类问题

oneVsAll.m函数解析:通过阅读原文中所给的英文解析,足够完成本函数的编写

function [all_theta] = oneVsAll(X, y, num_labels, lambda)

m = size(X, );
n = size(X, ); all_theta = zeros(num_labels, n + ); %为训练1-10个便签,所以需要矩阵为10*n+1 X = [ones(m, ) X];
%运用了fmincg()函数求参数,与函数fminunc()相比,处理属性过多时更高效!
options = optimset('GradObj', 'on', 'MaxIter', );
for c=:num_labels,
all_theta(c,:)=fmincg(@(t)(lrCostFunction(t, X, (y==c), lambda)), all_theta(c,:)', options)';
end
end

预测函数predictOneVsAll()函数编写:

function p = predictOneVsAll(all_theta, X)

m = size(X, );
num_labels = size(all_theta, ); p = zeros(size(X, ), );
X = [ones(m, ) X];
index=;
pre=zeros(num_labels,); %存储每个样本对应数字1-10的预测值

for c=:m,
for d=:num_labels,
pre(d)=sigmoid(X(c,:)*(all_theta(d,:)'));
end
[maxnum index]=max(pre);
p(c)=index; %找到该样本最大的预测值所对应的数字,作为实际预测值
end
end

二.神经网络解决多分类问题

使用已经训练好的参数θ1θ2来做预测,predict.m如下:

function p = predict(Theta1, Theta2, X)

m = size(X, );
num_labels = size(Theta2, );
X=[ones(m,) X]; %为a1添加为1的偏置 p = zeros(size(X, ), ); for i=:m, %分别对m个样本做预测
a2=sigmoid(Theta1*X(i,:)'); %计算a2
a2=[;a2]; %为a2添加为1的偏置
a3=sigmoid(Theta2*a2); %计算a3
[manum index]=max(a3); %求出哪个数字的预测值最大
p(i)=index; %得出预测值
end
end

Coursera-AndrewNg(吴恩达)机器学习笔记——第四周编程作业(多分类与神经网络)的更多相关文章

  1. Coursera-AndrewNg(吴恩达)机器学习笔记——第二周编程作业

    一.准备工作 从网站上将编程作业要求下载解压后,在Octave中使用cd命令将搜索目录移动到编程作业所在目录,然后使用ls命令检查是否移动正确.如: 提交作业:提交时候需要使用自己的登录邮箱和提交令牌 ...

  2. Coursera-AndrewNg(吴恩达)机器学习笔记——第二周编程作业(线性回归)

    一.准备工作 从网站上将编程作业要求下载解压后,在Octave中使用cd命令将搜索目录移动到编程作业所在目录,然后使用ls命令检查是否移动正确.如: 提交作业:提交时候需要使用自己的登录邮箱和提交令牌 ...

  3. [吴恩达机器学习笔记]12支持向量机3SVM大间距分类的数学解释

    12.支持向量机 觉得有用的话,欢迎一起讨论相互学习~Follow Me 参考资料 斯坦福大学 2014 机器学习教程中文笔记 by 黄海广 12.3 大间距分类背后的数学原理- Mathematic ...

  4. Coursera-AndrewNg(吴恩达)机器学习笔记——第四周

    神经网络 1.神经网络发展的动力:在逻辑回归解决复杂的分类问题时,我们使用属性的一些组合来构造新的属性(x12,x1x2,x22...),这样就会造成属性的数目n过多,带来了大量的运算,甚至造成过拟合 ...

  5. 吴恩达机器学习笔记(六) —— 支持向量机SVM

    主要内容: 一.损失函数 二.决策边界 三.Kernel 四.使用SVM (有关SVM数学解释:机器学习笔记(八)震惊!支持向量机(SVM)居然是这种机) 一.损失函数 二.决策边界 对于: 当C非常 ...

  6. Coursera-AndrewNg(吴恩达)机器学习笔记——第三周

    一.逻辑回归问题(分类问题) 生活中存在着许多分类问题,如判断邮件是否为垃圾邮件:判断肿瘤是恶性还是良性等.机器学习中逻辑回归便是解决分类问题的一种方法.二分类:通常表示为yϵ{0,1},0:&quo ...

  7. Machine Learning|Andrew Ng|Coursera 吴恩达机器学习笔记

    Week1: Machine Learning: A computer program is said to learn from experience E with respect to some ...

  8. Machine Learning|Andrew Ng|Coursera 吴恩达机器学习笔记(完结)

    Week 1: Machine Learning: A computer program is said to learn from experience E with respect to some ...

  9. [吴恩达机器学习笔记]12支持向量机5SVM参数细节

    12.支持向量机 觉得有用的话,欢迎一起讨论相互学习~Follow Me 参考资料 斯坦福大学 2014 机器学习教程中文笔记 by 黄海广 12.5 SVM参数细节 标记点选取 标记点(landma ...

随机推荐

  1. Unity3D第一战:软件安装与代码调试

    1.软件的安装 Unity3D可以轻松创建诸如三维视频游戏.建筑可视化.实时三维动画等类型互动内容的多平台的综合型游戏开发工具,功能非常强大. 最新版下载地址:http://unity3d.com/u ...

  2. webpack4 自学笔记三(提取公用代码)

    全部的代码及笔记都可以在我的github上查看, 欢迎star:https://github.com/Jasonwang911/webpackStudyInit/tree/master/commonT ...

  3. Java多线程——之一创建线程的四种方法

    1.实现Runnable接口,重载run(),无返回值 package thread; public class ThreadRunnable implements Runnable { public ...

  4. RestfulAPI超简单入门

    简单入门 REST -- REpresentational State Transfer,英语的直译就是"表现层状态转移" 是目前最流行的 API 设计规范,用于 Web 数据接口 ...

  5. Redis-五种数据类型解析

    redis 五种数据结构详解(string,list,set,zset,hash) Redis不仅仅支持简单的key-value类型的数据,同时还提供list,set,zset,hash等数据结构的存 ...

  6. SpringMVC+Spring+MyBatis 整合与图片上传简单示例

    一.思路: (一) Dao层: 1. SqlMapConfig.xml,空文件即可.需要文件头.2. applicationContext_dao.xml. a) 数据库连接池b) SqlSessio ...

  7. C++ 的那些坑 (Day 0)

    C++ 的那些坑 (Day 0) 永远的for循环 其实这里要说的并不是for循环本身还是其中的计数变量的类型的选择. std::string s = "abcd" for (st ...

  8. jQuery的$.getScript方法去加载javaScript文档解析

    1.两个文件的代码如下: <script> function Ajax(){ //将9-4.html中的Ajax()函数进行修改 $.getScript('9-8.js',function ...

  9. 【代码笔记】iOS-UIActionSheet动态添加按钮

    一,效果图. 二,代码. RootViewController.h #import <UIKit/UIKit.h> @interface RootViewController : UIVi ...

  10. 【读书笔记】iOS-网络-底层网络

    在iOS上,有一个库叫做Core Foundation networking或CFNetwork,它是对原始Socket的轻量级封装,不过它很快对于大多数常见场景来说变得非常笨重了.最后,添加了另一层 ...