理论优美的深度信念网络--Hinton北大最新演讲
什么是深度信念网络
深度信念网络是第一批成功应用深度架构训练的非卷积模型之一。 在引入深度信念网络之前,研究社区通常认为深度模型太难优化,还不如使用易于优化的浅层ML模型。2006年,Hinton等研究者在Science上表示,深度信念网络在MNIST数据集上表现超过带核函数的支持向量机,以此证明深度架构是能够成功的。
论文1:Reducing the Dimensionality of Data with Neural Networks
论文地址:https://science.sciencemag.org/content/313/5786/504
论文2:A fast learning algorithm for deep belief nets
论文地址:https://www.cs.toronto.edu/~hinton/absps/fastnc.pdf
尽管现在与其他无监督或生成学习算法相比,深度信念网络大多已经失去了研究者青睐并很少使用,但它们在深度学习历史中仍然有非常重要的作用。
此外,如果需要理解DBN,那么首先需要知道什么是受限玻尔兹曼机(RBM)。因为深度信念网络就是受限玻尔兹曼机的堆叠,并采用一种贪心的方式训练。
受限玻尔兹曼机
RBM是两层神经网络,这些浅层神经网络是DBN(深度信念网络)的构建块。RBM的第一层被称为可见层或者输入层,它的第二层叫做隐藏层。RBM之所以加上“受限”,主要是因为不存在层级间的通信。RBM在前传的过程中看上去和全连接没什么区别,但实际上它是一种无向图,所以还有一个反向过程。

除了前传,RBM以一种无监督的方式通过自身来重建数据。如上图所示,在重建阶段,第一个隐藏层的激活状态变成了反向传递过程中的输入。它们与每个连接边相同的权重相乘,就像x在前向传递的过程中随着权重调节一样。这些乘积的和在每个可见节点处又与可见层的偏置项相加,这些运算的输出就是一次重建,也就是对原始输入的一个逼近。
如果能重建出来对应的观察样本,那么就表示RBM获得的隐藏表征非常优质。如下选自Deep Learning书中描述了三种早期的神经网络。

a) 受限玻尔兹曼机,b) 深度信念网络,c) 深度玻尔兹曼机。其中带箭头表示有向图,无箭头表示无向图。
深度信念网络
深度信念网络是一种深层的概率有向图模型,其图结构由多层的节点构成。网络的最底层为可观测变量,其它层节点都为隐变量。最顶部的连接是无向的,其他层之间的连接是有向的。它的目的主要在获取可观测变量下,推断未知变量的状态,并调整隐藏状态以尽可能重构出可观测数据。
在Hinton一个多小时的演讲中,它从信念网络到受限玻尔兹曼机,从基本思想到理论解析展示了整个深度信念网络的全景图。不过Hinton老爷子的演讲还挺难懂的,想要了解的同学可以看看完整的PPT。































理论优美的深度信念网络--Hinton北大最新演讲的更多相关文章
- 机器学习——DBN深度信念网络详解(转)
深度神经网路已经在语音识别,图像识别等领域取得前所未有的成功.本人在多年之前也曾接触过神经网络.本系列文章主要记录自己对深度神经网络的一些学习心得. 简要描述深度神经网络模型. 1. 自联想神经网络 ...
- 受限玻尔兹曼机(RBM, Restricted Boltzmann machines)和深度信念网络(DBN, Deep Belief Networks)
受限玻尔兹曼机对于当今的非监督学习有一定的启发意义. 深度信念网络(DBN, Deep Belief Networks)于2006年由Geoffery Hinton提出.
- Spark MLlib Deep Learning Deep Belief Network (深度学习-深度信念网络)2.3
Spark MLlib Deep Learning Deep Belief Network (深度学习-深度信念网络)2.3 http://blog.csdn.net/sunbow0 第二章Deep ...
- 深度学习(二)--深度信念网络(DBN)
深度学习(二)--深度信念网络(Deep Belief Network,DBN) 一.受限玻尔兹曼机(Restricted Boltzmann Machine,RBM) 在介绍深度信念网络之前需要先了 ...
- Spark MLlib Deep Learning Deep Belief Network (深度学习-深度信念网络)2.1
Spark MLlib Deep Learning Deep Belief Network (深度学习-深度信念网络)2.1 http://blog.csdn.net/sunbow0 Spark ML ...
- Spark MLlib Deep Learning Deep Belief Network (深度学习-深度信念网络)2.2
Spark MLlib Deep Learning Deep Belief Network (深度学习-深度信念网络)2.2 http://blog.csdn.net/sunbow0 第二章Deep ...
- DBN(深度信念网络)
DBN运用CD算法逐层进行训练,得到每一层的参数Wi和ci用于初始化DBN,之后再用监督学习算法对参数进行微调.本例中采用softmax分类器(下一篇随笔中)作为监督学习算法. RBM与上一篇随笔中一 ...
- 基于C#的机器学习--深层信念网络
我们都听说过深度学习,但是有多少人知道深度信念网络是什么?让我们从本章开始回答这个问题.深度信念网络是一种非常先进的机器学习形式,其意义正在迅速演变.作为一名机器学习开发人员,对这个概念有一定的了解是 ...
- RBM(受限玻尔兹曼机)和深层信念网络(Deep Brief Network)
目录: 一.RBM 二.Deep Brief Network 三.Deep Autoencoder 一.RBM 1.定义[无监督学习] RBM记住三个要诀:1)两层结构图,可视层和隐藏层:[没输出层] ...
随机推荐
- Working Plan 优先队列+贪心
题目链接:http://codeforces.com/gym/101987题目描述ICPC manager plans a new project which is to be carried out ...
- mybatis今年笔记
1.读取配置文件:用的就是解析Xml文件的技术 2.mybatis是支持自己写dao层的,但是没有必要. mybatis做的事情: 第一个创建代理对象,第二个在代理对象中调用方法. 3.相同的注解如果 ...
- IO_课堂测试
IO_课堂测试 一,用户需求 英语的26 个字母的频率在一本小说中是如何分布的?某类型文章中常出现的单词是什么?某作家最常用的词汇是什么?<飘> 中最常用的短语是什么,等等. (1)要求1 ...
- 调用servlet报The requested resource is not available.
调用servlet的时候经常有这种报错,一般来说我直到现在遇到的情况大致有以下几类: 1.参数写错了 在新创建的servlet文件中有这么一行代码,“/LoginCheck”这个一定要和form表单中 ...
- nginx报错
1. nginx报错 nginx: [error] invalid PID number "" in "/usr/local/nginx/logs/nginx.pid&q ...
- Swift之分割视图控制器-UISplitViewController
Swift之分割视图控制器-UISplitViewController UISplitViewController这种控制器只能用于iPad,它可以在iPad屏幕中显示两个不同的场景:在横向模式下,左 ...
- Idea的类中使用实体类(有@Data注解)的Get/Set方法报错
今天从svn上面下了一个maven项目,导入到Idea中之后,发现有的类会使用实体类的Set/Get方法(全报错),导致该问题的原因就是因为实体类中没有这个方法,代码类似如下: @Data publi ...
- CSS3新特性—animate动画
1.animate介绍 1. @keyframes 自定义动画名称 { from { } to { } } 2. 通过动画名称调用动画集 animation-name: 动画集名称. 3. 属性介绍: ...
- Docker安装 - CentOS7环境
Docker安装 - CentOS7环境 安装Docker 我是虚拟机装的Centos7,linux 3.10 内核,docker官方说至少3.8以上,建议3.10以上(ubuntu下要linux内核 ...
- clonezilla使用说明
0.Clonezilla Live 再生龙网址:http://clonezilla.nchc.org.tw/clonezilla-live/ 1.下载Clonezilla Live 地址:http:/ ...