1.为什么要在卷积网络中加入pooling(池化) 如果只利用卷积操作来减少feature map的大小,会失去很多信息.所以想到一种方法,减小卷积时的stride,留下大部分信息,通过池化来减小feature map的大小. 池化的优点: 1.池化操作不会增加parameters 2.实验结果表明用池化的模型准确率更高 池化的缺点: 1.由于减小了卷积的stride,所以会增加计算量 2.同时,池化层的加入使得我们又多了两个超参数(hyper parameters):pooling size和…

DA就是“Denoising Autoencoders”的缩写.继续给yusugomori做注释,边注释边学习.看了一些DA的材料,基本上都在前面“转载”了.学习中间总有个疑问:DA和RBM到底啥区别?(别笑,我不是“学院派”的看Deep Learning理论,如果“顺次”看下来,可能不会有这个问题),现在了解的差不多了,详情见:[deep learning学习笔记]Autoencoder.之后,又有个疑问,DA具体的权重更新公式是怎么推导出来的?我知道是BP算法,不过具体公示的推导.偏导数的求…

一.文章来由 好久没写原创博客了,一直处于学习新知识的阶段.来新加坡也有一个星期,搞定签证.入学等杂事之后,今天上午与导师确定了接下来的研究任务,我平时基本也是把博客当作联机版的云笔记~~如果有写的不对的地方,欢迎批评指正. 二.<一天搞懂深度学习> 300多页的PPT,台大教授写的好文章. 对应的视频地址 1.Lecture I: Introduction of Deep Learning (1)machine learning≈找函数 training和testing过程 (2)单个神经网…

之前的笔记,算不上是 Deep Learning, 只是为理解Deep Learning 而需要学习的基础知识, 从下面开始,我会把我学习UFDL的笔记写出来 #主要是给自己用的,所以其他人不一定看得懂# UFDL链接 : http://deeplearning.stanford.edu/wiki/index.php/UFLDL_Tutorial 自编码器( Autoencoders ):(概述) 自编码器是只有一层隐藏节点,输入和输出具有相同节点数的神经网络. 自编码器的目的是求的函数 . 也…

主要内容: Spotify是个类似酷我音乐的音乐站点.做个性化音乐推荐和音乐消费.作者利用deep learning结合协同过滤来做音乐推荐. 详细内容: 1. 协同过滤 基本原理:某两个用户听的歌曲都差点儿相同,说明这两个用户听歌的兴趣.品味类似.某两个歌曲,被同一群人听,说明这两个歌曲风格类似. 缺点: (1)没有利用歌曲本身的特征(信息) (2)无法对"层级"的item进行处理,对于歌曲来说,这样的层级关系体如今:专辑-主打歌-副歌,上面,这几种因素并非同等重要的 (3)冷启动问…

百度了半天yusugomori,也不知道他是谁.不过这位老兄写了deep learning的代码,包括RBM.逻辑回归.DBN.autoencoder等,实现语言包括c.c++.java.python等.是学习的好材料.代码下载地址:https://github.com/yusugomori/DeepLearning.不过这位老兄不喜欢写注释,而且这些模型的原理.公式什么的,不了解的话就看不懂代码.我从给他写注释开始,边看资料.边理解它的代码.边给他写上注释. 工具包中RBM的实现包含了两个文件…

近期開始看一些深度学习的资料.想学习一下深度学习的基础知识.找到了一个比較好的tutorial,Neural Networks and Deep Learning,认真看完了之后觉得收获还是非常多的.从最主要的感知机開始讲起.到后来使用logistic函数作为激活函数的sigmoid neuron,和非常多其它如今深度学习中常使用的trick. 把深度学习的一个发展过程讲得非常清楚,并且还有非常多源代码和实验帮助理解.看完了整个tutorial后打算再又一次梳理一遍,来写点总结.以后再看其它资料…

 1. 直接上手篇 台湾李宏毅教授写的,<1天搞懂深度学习> slideshare的链接: http://www.slideshare.net/tw_dsconf/ss-62245351?qid=108adce3-2c3d-4758-a830-95d0a57e46bc&v=&b=&from_search=3 网盘下载链接:http://pan.baidu.com/s/1nv54p9R     密码:3mty. 中文在线课程:Hung-yi Lee (http://spe…

总览: 本章所讲的知识点包括>>>> 1.描述卷积操作 2.解释使用卷积的原因 3.描述pooling操作 4.卷积在实践应用中的变化形式 5.卷积如何适应输入数据 6.CNN对DL的影响 本章未包含的知识点有>>>> 在实际应用中如何选取CNN架构 本章的目的是阐述CNN提供的处理数据的方法.在第11章将会对怎样使用这些方法做说明. 9.1 卷积操作 问题: 1.与信号系统或者数学中的卷积有何区别? 2.如何用代码实现 注意:CNN包括的计算不仅仅只有卷积…

发表于NIPS2010 workshop on deep learning的一篇文章,看得半懂. 主要内容: 是针对文本表示的一种方法.文本表示可以进一步应用在文本分类和信息检索上面.通常,一篇文章表示为V大小的一个向量,|V|是词表的大小.传统的方法,向量中每个值是tf/idf计算得到的权重.不过|V|比较大的时候,对于文本分类和信息检索来讲,时空复杂度都比较大.这时候需要对|V|进行降维.通常的方法是LDA系列的方法,将文章表示成若干个topic上面的分布.不过实验效果并不好.本文作者用de…