Why deep learning?
1. 深度学习中网络越深越好么?
理论上说是这样的,因为网络越深,参数也越多,拟合能力也越强(但实际情况是,网络很深的时候,不容易训练,使得表现能力可能并不好)。
2. 那么,不同什么深度的网络,在参数差不多大小的情况下,深的网络会比浅的网络表现能力好么?即深度较深的网络比较“瘦”,深度较浅的网络比较“胖”。
一般来说,相同参数下深度较深的网络表现能力也比深度较浅的网络要好。
3. 为什么深度较深的网络的表现能力要比深度较浅的网络要好?
1) 深层网络更加结构化,很多子结构都可以共用
每一层的神经元其实就是一个分类器,第一层的神经元是最基础的分类器,第二层神经元是比较复杂的分类器,它将第一层的output当做它的input,将第一层当做模块,第三层同理,将第二层当做一个模块。模块化的好处是让模型变得简单,有些模块可以共用,那么就可以减少参数。
2) 理论上来说,只包含一层隐含层的神经网络也可以拟合出任何函数,只要参数够多。
但是,深层的网络,我们可以使用更少的参数,更简单的方法,就可以实现相同的功能。与数字电路里的门电路类似,虽然二级门电路可以表示任何逻辑状态,但是,使用多级门电路可以是实现方法更简单,使用逻辑元器件更少。
4. 相关的一些资料
- • Do Deep Nets Really Need To Be Deep? (by Rich Caruana)
• http://research.microsoft.com/apps/video/default.aspx?id=
232373&r=1
• Deep Learning: Theoretical Motivations (Yoshua Bengio)
• http://videolectures.net/deeplearning2015_bengio_the
oretical_motivations/
• Connections between physics and deep learning
• https://www.youtube.com/watch?v=5MdSE-N0bxs
• Why Deep Learning Works: Perspectives from Theoretical
Chemistry
• https://www.youtube.com/watch?v=kIbKHIPbxiU
Big data与deep
learning的联系与区别
如果我们有足够多的数据,包含了世界上所以的数据,那么其实就不需要深度学习/机器学习算法了,我们只需要查表就可以了,即给定件事物,我们只需要从数据库中查找,就可以找出相关资料。但是实际上我们并没有足够多的数据,因此,我们需要深度学习/机器学习,需要从已知的、仅有的数据中学习一些共性,那么新的事物来了之后,我们就可以使用算法推测出该事物的一些情况。
参考:
【机器学习】李宏毅机器学习2017(台湾大学)(国语)(12)
http://speech.ee.ntu.edu.tw/~tlkagk/courses_ML17.html
Why deep learning?的更多相关文章
- Deep learning:五十一(CNN的反向求导及练习)
前言: CNN作为DL中最成功的模型之一,有必要对其更进一步研究它.虽然在前面的博文Stacked CNN简单介绍中有大概介绍过CNN的使用,不过那是有个前提的:CNN中的参数必须已提前学习好.而本文 ...
- 【深度学习Deep Learning】资料大全
最近在学深度学习相关的东西,在网上搜集到了一些不错的资料,现在汇总一下: Free Online Books by Yoshua Bengio, Ian Goodfellow and Aaron C ...
- 《Neural Network and Deep Learning》_chapter4
<Neural Network and Deep Learning>_chapter4: A visual proof that neural nets can compute any f ...
- Deep Learning模型之:CNN卷积神经网络(一)深度解析CNN
http://m.blog.csdn.net/blog/wu010555688/24487301 本文整理了网上几位大牛的博客,详细地讲解了CNN的基础结构与核心思想,欢迎交流. [1]Deep le ...
- paper 124:【转载】无监督特征学习——Unsupervised feature learning and deep learning
来源:http://blog.csdn.net/abcjennifer/article/details/7804962 无监督学习近年来很热,先后应用于computer vision, audio c ...
- Deep Learning 26:读论文“Maxout Networks”——ICML 2013
论文Maxout Networks实际上非常简单,只是发现一种新的激活函数(叫maxout)而已,跟relu有点类似,relu使用的max(x,0)是对每个通道的特征图的每一个单元执行的与0比较最大化 ...
- Deep Learning 23:dropout理解_之读论文“Improving neural networks by preventing co-adaptation of feature detectors”
理论知识:Deep learning:四十一(Dropout简单理解).深度学习(二十二)Dropout浅层理解与实现.“Improving neural networks by preventing ...
- Deep Learning 19_深度学习UFLDL教程:Convolutional Neural Network_Exercise(斯坦福大学深度学习教程)
理论知识:Optimization: Stochastic Gradient Descent和Convolutional Neural Network CNN卷积神经网络推导和实现.Deep lear ...
- 0.读书笔记之The major advancements in Deep Learning in 2016
The major advancements in Deep Learning in 2016 地址:https://tryolabs.com/blog/2016/12/06/major-advanc ...
- #Deep Learning回顾#之LeNet、AlexNet、GoogLeNet、VGG、ResNet
CNN的发展史 上一篇回顾讲的是2006年Hinton他们的Science Paper,当时提到,2006年虽然Deep Learning的概念被提出来了,但是学术界的大家还是表示不服.当时有流传的段 ...
随机推荐
- Proxy和Reflect
原因 最近在写 unar.js(一个技术超越react angular vue)的mvvm库.通过研究proxy的可行性.故作以下研究 Proxy代理一个函数 var fn=function(){ c ...
- 数据库操作sql
一.把从另外一张表里查到的值插入到前表: 1. 表结构完全一样 insert into 表1 select * from 表2 2. 表结构不一样(这种情况下得指定列名) insert into 表1 ...
- weka实际操作--构建分类、回归模型
weka提供了几种处理数据的方式,其中分类和回归是平时用到最多的,也是非常容易理解的,分类就是在已有的数据基础上学习出一个分类函数或者构造出一个分类模型.这个函数或模型能够把数据集中地映射到某个给定的 ...
- Maven-12: 插件解析机制
1. 插件仓库 2. 插件的默认groupId 3. 解析插件版本 4. 解析插件前缀
- 设置placeholder字体的颜色
::-webkit-input-placeholder { /* WebKit browsers */ color:#999; } :-moz-placeholder { /* Mozilla Fir ...
- JAVA实现双向链表的增删功能
JAVA实现双向链表的增删功能,完整代码 package linked; class LinkedTable{ } public class LinkedTableTest { //构造单链表 sta ...
- spring-data-redis使用哨兵配置一主多从
redis自带的哨兵确实简化了高可用性的配置,使用起来也比较简单. 首先是spring-redis-sentinel.xml(文件名可以随意命名)配置文件: <?xml version=&quo ...
- c++ --> #define中的三个特殊符号:#,##,#@
#define中的三个特殊符号:#,##,#@ 看下面三个define宏定义: #define Conn(x,y) x##y #define ToChar(x) #@x #define ToStrin ...
- jdk 环境配置踩坑
其实在网上已经有很多环境配置的介绍了.不过我还是想用切身经历告诉大家这里面可能遇到的坑. 首先,先给大家讲一下JAVA_HOME,path,CLASSPATH JAVA_HOME 指向的是JDK的安装 ...
- JavaScript(第三天)【数据类型】
学习要点: 1.typeof操作符 2.Undefined类型 3.Null类型 4.Boolean类型 5.Number类型 6.String类型 7.Object类型 ECMAScript中有5种 ...