ufldl学习笔记与编程作业:Multi-Layer Neural Network(多层神经网络+识别手写体编程)

ufldl出了新教程,感觉比之前的好,从基础讲起,系统清晰,又有编程实践。

在deep learning高质量群里面听一些前辈说,不必深究其它机器学习的算法,能够直接来学dl。

于是近期就開始搞这个了。教程加上matlab编程。就是完美啊。

新教程的地址是:http://ufldl.stanford.edu/tutorial/

本节学习地址:http://ufldl.stanford.edu/tutorial/supervised/MultiLayerNeuralNetworks/

神经网络一般求解过程:

1 正向传播,把每一层的激活值求出来,还有总的cost。

基本上,隐藏层的激活值都是加权和再加上bias,再激活函数比方sigmoid。

输出层的激活值,或许不叫激活值,叫特征值更好。以softmax为例,是将上一层的激活值作为特征输入X。将权重W作为theta參数,依据公式算出h。

2 反向传播。

先计算输出层的残差。这个能够依据损失函数直接求导。

由l+1层的残差和l层的激活值,就可以求得l层的W和b的梯度。

由l+1层的残差和l层的W,还有l层激活函数的偏导数,就可以求得l层的残差。

4 更新參数W和b

5 增加权重衰减项防止过拟合。求cost和梯度的时候。须要做对应的调整。

以下是supervised_dnn_cost.m的代码:

function [ cost, grad, pred_prob] = supervised_dnn_cost( theta, ei, data, labels, pred_only)
%SPNETCOSTSLAVE Slave cost function for simple phone net
% Does all the work of cost / gradient computation
% Returns cost broken into cross-entropy, weight norm, and prox reg
% components (ceCost, wCost, pCost) %% default values
po = false;
if exist('pred_only','var')
po = pred_only;
end; %% reshape into network
numHidden = numel(ei.layer_sizes) - 1;
numSamples = size(data, 2);
hAct = cell(numHidden+1, 1);
gradStack = cell(numHidden+1, 1);
stack = params2stack(theta, ei); %% forward prop
%%% YOUR CODE HERE %%%
for l=1:numHidden %隐藏层特征计算
if(l == 1)
z = stack{l}.W*data;
else
z = stack{l}.W*hAct{l-1};
end
z = bsxfun(@plus,z,stack{l}.b);
hAct{l}=sigmoid(z);
end %输出层(softmax)特征计算
h = (stack{numHidden+1}.W)*hAct{numHidden};
h = bsxfun(@plus,h,stack{numHidden+1}.b);
e = exp(h);
pred_prob = bsxfun(@rdivide,e,sum(e,1)); %概率表
hAct{numHidden+1} = pred_prob;
%[~,pred_labels] = max(pred_prob, [], 1); %% return here if only predictions desired.
if po
cost = -1; ceCost = -1; wCost = -1; numCorrect = -1;
grad = [];
return;
end; %% compute cost 输出层softmax的cost
%%% YOUR CODE HERE %%%
ceCost =0;
c= log(pred_prob);
%fprintf("%d,%d\n",size(labels,1),size(labels,2)); %60000,1
I=sub2ind(size(c), labels', 1:size(c,2));%找出矩阵c的线性索引,行由labels指定,列由1:size(c,2)指定,生成线性索引返回给I
values = c(I);
ceCost = -sum(values); %% compute gradients using backpropagation
%%% YOUR CODE HERE %%%
% Cross entroy gradient %d = full(sparse(labels,1:size(c,2),1));
d = zeros(size(pred_prob));
d(I) = 1;
error = (pred_prob-d); %输出层的残差 %梯度。残差反向传播
for l = numHidden+1: -1 : 1
gradStack{l}.b = sum(error,2);
if(l == 1)
gradStack{l}.W = error*data';
break;%l==1时。即当前层是第一层隐藏层时,不须要再传播残差
else
gradStack{l}.W = error*hAct{l-1}';
end
error = (stack{l}.W)'*error .*hAct{l-1}.* (1-hAct{l-1});%后面部分是激活函数偏导数
end %% compute weight penalty cost and gradient for non-bias terms
%%% YOUR CODE HERE %%% wCost = 0;
for l = 1:numHidden+1
wCost = wCost + .5 * ei.lambda * sum(stack{l}.W(:) .^ 2);%全部权值的平方和
end cost = ceCost + wCost; % Computing the gradient of the weight decay.
for l = numHidden : -1 : 1
gradStack{l}.W = gradStack{l}.W + ei.lambda * stack{l}.W;%softmax没用到权重衰减项
end %% reshape gradients into vector
[grad] = stack2params(gradStack);
end

原来训练集是60000条,有点费时间,我改了run_train.m代码,把训练集改了10000条。

当然影响了精确度。

恢复源码,拿60000条做训练集。结果例如以下:

本文作者:linger

本文链接:http://blog.csdn.net/lingerlanlan/article/details/38464317

ufldl学习笔记与编程作业:Multi-Layer Neural Network(多层神经网络+识别手写体编程)的更多相关文章

  1. ufldl学习笔记和编程作业:Feature Extraction Using Convolution,Pooling(卷积和汇集特征提取)

    ufldl学习笔记与编程作业:Feature Extraction Using Convolution,Pooling(卷积和池化抽取特征) ufldl出了新教程,感觉比之前的好,从基础讲起.系统清晰 ...

  2. ufldl学习笔记和编程作业:Softmax Regression(softmax回报)

    ufldl学习笔记与编程作业:Softmax Regression(softmax回归) ufldl出了新教程.感觉比之前的好,从基础讲起.系统清晰,又有编程实践. 在deep learning高质量 ...

  3. ufldl学习笔记与编程作业:Softmax Regression(vectorization加速)

    ufldl学习笔记与编程作业:Softmax Regression(vectorization加速) ufldl出了新教程,感觉比之前的好.从基础讲起.系统清晰,又有编程实践. 在deep learn ...

  4. ufldl学习笔记与编程作业:Logistic Regression(逻辑回归)

    ufldl学习笔记与编程作业:Logistic Regression(逻辑回归) ufldl出了新教程,感觉比之前的好,从基础讲起.系统清晰,又有编程实践. 在deep learning高质量群里面听 ...

  5. ufldl学习笔记与编程作业:Linear Regression(线性回归)

    ufldl学习笔记与编程作业:Linear Regression(线性回归) ufldl出了新教程,感觉比之前的好.从基础讲起.系统清晰,又有编程实践. 在deep learning高质量群里面听一些 ...

  6. stanford coursera 机器学习编程作业 exercise4--使用BP算法训练神经网络以识别阿拉伯数字(0-9)

    在这篇文章中,会实现一个BP(backpropagation)算法,并将之应用到手写的阿拉伯数字(0-9)的自动识别上. 训练数据集(training set)如下:一共有5000个训练实例(trai ...

  7. 深度学习课程笔记(十六)Recursive Neural Network

    深度学习课程笔记(十六)Recursive Neural Network  2018-08-07 22:47:14 This video tutorial is adopted from: Youtu ...

  8. 深度学习课程笔记(十五)Recurrent Neural Network

    深度学习课程笔记(十五)Recurrent Neural Network 2018-08-07 18:55:12 This video tutorial can be found from: Yout ...

  9. 【论文笔记】Malware Detection with Deep Neural Network Using Process Behavior

    [论文笔记]Malware Detection with Deep Neural Network Using Process Behavior 论文基本信息 会议: IEEE(2016 IEEE 40 ...

随机推荐

  1. 详解React的生命周期

    React生命周期 之前自己在学习React的时候,只是简单的理解了生命周期有这么一些,但是不知道大概的一个流程是怎么样的.那天在面试的时候,问到了.自己也有点懵,也没提前看,不过还是答上来了一些,这 ...

  2. [转]oracle 数据库、表空间、实例、服务之间的关系

    1.每个DATABASE--可包含多个INSTANCE--每个INSTANCE可包含多个TABLESPACE和USER等(授予USER读写TABLESPACE的权限)--每个TABLESPACE可包含 ...

  3. OpenVPN官方资源下载和官方教程入口

    官方资源: https://openvpn.net/index.php/open-source/downloads.html 2.4.4版本下载:(链接: https://pan.baidu.com/ ...

  4. 【Tomcat】Tomcat闪退的问题解决/Tomcat修改端口号无效

    一.  Tomcat闪退的问题解决 1.首先 确定JDK的环境变量配置正确 2.下载纯净的新的Tomcat 3.在bin\startup.bat文件中的第一行前面加入: SET JAVA_HOME = ...

  5. Android内存优化2 了解java内存分配 2

    JVM内存模型 Java虚拟机(Java Virtual Machine=JVM)的内存空间分为五个部分,分别是: 1. 程序计数器 2. Java虚拟机栈 3. 本地方法栈 4. 堆 5. 方法区. ...

  6. Asp.net Core CORS(跨域资源共享)实验

    环境:Asp.Net Core 2 1.问题 最近项目在调用远程UI时遇到点麻,在调用远程CSS文件时无法加载其中的字体文件.远程CSS文件对字体的定义: @font-face { font-fami ...

  7. 二十四种设计模式:解释器模式(Interpreter Pattern)

    解释器模式(Interpreter Pattern) 介绍给定一个语言, 定义它的文法的一种表示,并定义一个解释器,该解释器使用该表示来解释语言中的句子. 示例有一个Message实体类,某个类对它的 ...

  8. 用WM_COPYDATA消息来实现两个进程之间传递数据

    文着重讲述了如果用WM_COPYDATA消息来实现两个进程之间传递数据. 进程之间通讯的几种方法:在Windows程序中,各个进程之间常常需要交换数据,进行数据通讯.常用的方法有   1.使用内存映射 ...

  9. XmlRpc with C#/Java【转】

    最近看了几个项目都是用xmlrpc协作完成的,就做了几个测试客户端和服务器端和大家一起分享.希望能对入门的同学有帮助 关于xmlrpc的介绍和规范参考http://www.xml-rpc.net/ 下 ...

  10. screen space shadowmap unity

    unity用到了screen space shadow map 1.camera 在light pos 生成depth1 2.screen space depth2 3.根据depth1 depth2 ...