课程地址:http://ufldl.stanford.edu/tutorial/supervised/FeatureExtractionUsingConvolution/

在之前的练习中,图片比较小,这节课的方法可以应用到更大的图像上。

Fully Connected Networks

在sparse autoencoder(后面会讲到)中,一种设计选择是将输入层与隐藏层fully connect,这种方式对图片小的情况下计算量还

可以接受,但对大图片来说变得不可接受。

Locally Connected Networks

一种简单的解决方式是隐藏层只连接一部分的输入层,即只对特定的输入产生反应。

Convolutions

自然图像有一种stationary的性质,即图像的某个部分的统计信息和该图像的其他部分是一致的,也就是说,在图像某个部分提取的特征可

以应用到图像的其他部分,并且可以在所有的位置上使用同样的特征(不太理解啊)。

更准确的说,我们可以在一副96*96图像上随机提取一个patch(比如8*8)的特征,我们可以将这个8*8的feature detector应用到这副图像的任何地方,

具体说就是,我们将学习到的8*8feature与大图像作convolve,因而在图像的每个位置上都得到一个不同的feature activation value

为了更好理解,给了一个具体的例子。假设已经学到了特征,来自于一个96*96图像上的一个8*8的patch,更近一步,假设这是由一个有100个隐藏单元的

autoencoder完成的。为了得到convolved features,对于96*96的每个8*8区域(参考课程中的动图)。

正式的说法是,给定一个r*c的大图xlarge,我们首先在一个小的a*b的pathces xsmall(从大图中采样得到)上训练一个sparse autoencoder,使及方程

得到k个特征,然后

下部分将要讨论如何pool这些特征,来得到更好的用于分类的特征。

UFLDL 教程学习笔记(四)的更多相关文章

  1. UFLDL 教程学习笔记(四)主成分分析

    UFLDL(Unsupervised Feature Learning and Deep Learning)Tutorial 是由 Stanford 大学的 Andrew Ng 教授及其团队编写的一套 ...

  2. UFLDL 教程学习笔记(三)自编码与稀疏性

    UFLDL(Unsupervised Feature Learning and Deep Learning)Tutorial 是由 Stanford 大学的 Andrew Ng 教授及其团队编写的一套 ...

  3. UFLDL 教程学习笔记(二)反向传导算法

    UFLDL(Unsupervised Feature Learning and Deep Learning)Tutorial 是由 Stanford 大学的 Andrew Ng 教授及其团队编写的一套 ...

  4. UFLDL 教程学习笔记(一)神经网络

    UFLDL(Unsupervised Feature Learning and Deep Learning)Tutorial 是由 Stanford 大学的 Andrew Ng 教授及其团队编写的一套 ...

  5. UFLDL 教程学习笔记(三)

    教程地址:http://ufldl.stanford.edu/tutorial/supervised/SoftmaxRegression/ logstic regression是二分类的问题,如果想要 ...

  6. UFLDL 教程学习笔记(六)主成分分析

    教程:http://ufldl.stanford.edu/tutorial/supervised/MultiLayerNeuralNetworks/ 以及这篇博文,写的很清楚:http://blog. ...

  7. UFLDL 教程学习笔记(一)

    ufdl的新教程,从基础学起.第一节讲的是线性回归.主要目的是熟悉目标函数,计算梯度和优化. 按着教程写完代码后,总是编译出错,一查是mex的原因,实在不想整了. 这位博主用的是向量,比较简洁:htt ...

  8. UFLDL 教程学习笔记(二)

    课程链接:http://ufldl.stanford.edu/tutorial/supervised/LogisticRegression/ 这一节主要讲的是梯度的概念,在实验部分,比较之前的线性回归 ...

  9. UFLDL深度学习笔记 (四)用于分类的深度网络

    UFLDL深度学习笔记 (四)用于分类的深度网络 1. 主要思路 本文要讨论的"UFLDL 建立分类用深度网络"基本原理基于前2节的softmax回归和 无监督特征学习,区别在于使 ...

随机推荐

  1. mysql INNER/LEFT/RIGHT JOIN区别

    1.创建table DROP TABLE IF EXISTS `tab_id_index`; CREATE TABLE `tab_id_index` ( `id` ) ', `name` ) DEFA ...

  2. 封装个StringBuffer,用array join的方式拼接字符串

    (function(window) { var core_ArrPro = Array.prototype; var core_slice = core_ArrPro.slice; var core_ ...

  3. fzyzojP2291 -- 小添添的庄园之道路修复

    直接换根dp f[i]表示,i为根的子树的方案 f[i]=Π(f[son]+1)(就是考虑这个边修不修(不修,子树中只有一种方案)) 这里是乘法 换根的时候,直接算的话,为了消除x对fa的贡献,要乘上 ...

  4. Maven settings.xml配置(指定本地仓库、阿里云镜像设置)

    转: 详解Maven settings.xml配置(指定本地仓库.阿里云镜像设置) 更新时间:2018年12月18日 11:14:45   作者:AmaniZ   我要评论   一.settings. ...

  5. 虚拟机中在centos6.7环境下安装eclipse

    采用的是在线安装的方式,所以省去了很多配置环境变量的步骤,经过以下5步. 1,  yum install eclipse 2,  安装xmanager -> windows下远程eclipse可 ...

  6. 「Vue」过滤器

    #全局过滤器要写在var vue之前<td>{{item.time | ctime }}</td>Vue.filter('ctime'(过滤器名),function(data( ...

  7. getContentLength() 指为 -1 的解决办法

    在这个坑里3个多小时啊.这里不得不抱怨下,国内的资料坑爹,全部copy不说,还是错的. 解决办法: 在服务端加入代码: File file = new File(path); //path为要下载的文 ...

  8. 深入理解FIFO

    深入理解FIFO(包含有FIFO深度的解释) FIFO: 一.先入先出队列(First Input First Output,FIFO)这是一种传统的按序执行方法,先进入的指令先完成并引退,跟着才执行 ...

  9. C语言程序设计50例(经典收藏)

    本篇文章是对C语言程序设计的50个小案例进行了详细的分析介绍,需要的朋友参考下 [程序1]题目:有1.2.3.4个数字,能组成多少个互不相同且无重复数字的三位数?都是多少?1.程序分析:可填在百位.十 ...

  10. c#+js 使用formdata上传文件

    如果不是使用form表单submit的形式,我们可以手动通过formdata传值(针对文件上传等) 比如: <html> <head> <meta name=" ...