作者:Mingxuan Wang.李航,刘群 单位:华为.中科院 时间:2015 发表于:acl 2015 文章下载:http://pan.baidu.com/s/1bnBBVuJ 主要内容: 用deep learning设计了一种语言模型.可以依据之前"全部"的历史来预測当前词的条件概率.用语言模型迷惑度衡量.用机器翻译衡量,该模型都比baseline(5-gram.RNN.等)好 详细内容: 之前用deep learning在语言模型上的进展是:RNN和LSTM 參考的工具包: R…

Deep Learning 第一战: 完成:UFLDL教程 稀疏自编码器-Exercise:Sparse Autoencoder Code: 学习到的稀疏参数W1: 参考资料: UFLDL教程 稀疏自编码器 Autoencoders相关文章阅读: [3] Hinton, G. E., Osindero, S., & Teh, Y. (2006). A fast learning algorithm for deep belief nets [4] Hinton, G. E. and Salakh…

这节课的题目是Deep learning,个人以为说的跟Deep learning比较浅,跟autoencoder和PCA这块内容比较紧密. 林介绍了deep learning近年来受到了很大的关注:deep NNet概念很早就有,只是受限于硬件的计算能力和参数学习方法. 近年来深度学习长足进步的原因有两个: 1)pre-training技术获得了发展 2)regularization的技术获得了发展 接下来,林开始介绍autoencoder的motivation. 每过一个隐层,可以看做是做了…

想自己动手写一个CNN很久了,论文和代码之间的差距有一个银河系那么大. 在实现两层的CNN之前,首先实现了UFLDL中与CNN有关的作业.然后参考它的代码搭建了一个一层的CNN.最后实现了一个两层的CNN,码代码花了一天,调试花了5天,我也是醉了.这里记录一下通过代码对CNN加深的理解. 首先,dataset是MNIST.这里层的概念是指convolution+pooling,有些地方会把convolution和pooling分别作为两层看待. 1.CNN的结构 这个两层CNN的结构如下: 图一…

官网 链接:CS231n: Convolutional Neural Networks for Visual Recognition Notes: 链接:http://cs231n.github.io/ 中文字幕视频 by 大数据文摘 链接:http://study.163.com/course/courseMain.htm?courseId=1003223001 课件中文翻译 by 杜克 链接:https://www.52ml.net/tags/cs231 课件英文视频及字幕等 by 爱可可-…

2006年,机器学习泰斗.多伦多大学计算机系教授Geoffery Hinton在Science发表文章,提出基于深度信念网络(Deep Belief Networks, DBN)可使用非监督的逐层贪心训练算法,为训练深度神经网络带来了希望.如果说Hinton 2006年发表在<Science>杂志上的论文[1]只是在学术界掀起了对深度学习的研究热潮,那么近年来各大巨头公司争相跟进,将顶级人才从学术界争抢到工业界,则标志着深度学习真正进入了实用阶段,将对一系列产品和服务产生深远影响,成为它们背后…

http://blog.csdn.net/Dark_Scope/article/details/47056361 http://blog.csdn.net/hongmaodaxia/article/details/41809341…

https://ujjwalkarn.me/2016/08/11/intuitive-explanation-convnets/…

http://www.tuicool.com/articles/EvaQJnJ http://cs224d.stanford.edu/syllabus.html…

DA就是“Denoising Autoencoders”的缩写.继续给yusugomori做注释,边注释边学习.看了一些DA的材料,基本上都在前面“转载”了.学习中间总有个疑问:DA和RBM到底啥区别?(别笑,我不是“学院派”的看Deep Learning理论,如果“顺次”看下来,可能不会有这个问题),现在了解的差不多了,详情见:[deep learning学习笔记]Autoencoder.之后,又有个疑问,DA具体的权重更新公式是怎么推导出来的?我知道是BP算法,不过具体公示的推导.偏导数的求…