Bengio, LeCun, Jordan, Hinton, Schmidhuber, Ng, de Freitas and OpenAI have done reddit AMA's.  These are nice places to start to get a Zeitgeist of the field.   Hinton and Ng lectures at Coursera, UFLDL, CS224d and CS231n at Stanford, the deep learni…

什么是RNN网络? RNNs背后的主要目的是要使用序列本身的顺序信息.在传统的神经网络里,我们假设输入(输出)是条件独立的.但是,在许多任务里,这是个非常非常差的假设.如果你想预测一个序列中的下一个单词是什么,你最好知道它的前一个词是什么.RNNs被叫做循环神经网络是因为它对于序列中的每个元素都做相同的操作,输出会依赖于之前的计算.用另一种说法,RNNs拥有了一个能捕获到目前为止所有计算的结果的记忆单元.从理论上讲,RNNs能使用任意长度的序列信息,但是,在实践中RNNs被限制到只能回溯几步(稍…

RNNs在股票价格预测的应用 前言 RNN和LSTMs在时态数据上表现特别好,这就是为什么他们在语音识别上是有效的.我们通过前25天的开高收低价格,去预测下一时刻的前收盘价.每个时间序列通过一个高斯分布和2层LSTM模型训练数据.文章分为两个版块,外汇价格预测和每日盘中价格预测(30分钟.15分钟.5分钟,等等).源代码请在文末获取! 外汇预测(用英语描述) a. Daily Data is pulled from Yahoo’s Data Reader b. Only the training…

Problem: time series classification shallow RNNs: the first layer splits the input sequence and runs several independent RNNs.  The second layer consumes the output of the first layer to capture long dependencies. We improve inference time over stand…

作者:zhbzz2007 出处:http://www.cnblogs.com/zhbzz2007 欢迎转载,也请保留这段声明.谢谢! 本文翻译自 RECURRENT NEURAL NETWORKS TUTORIAL, PART 1 – INTRODUCTION TO RNNS . Recurrent Neural Networks(RNNS) ,循环神经网络,是一个流行的模型,已经在许多NLP任务上显示出巨大的潜力.尽管它最近很流行,但是我发现能够解释RNN如何工作,以及如何实现RNN的资料很少…

斯坦福课程CS224d: Deep Learning for Natural Language Processing lecture13:Convolutional neural networks -- for sentence classification 主要是学习笔记,卷积神经网络(CNN),因为其特殊的结构,在图像处理和语音识别方面都有很出色的表现.这里主要整理CNN在自然语言处理的应用和现状. 一.RNNs to CNNs 学过前面lecture的朋友,应该比较清楚.RNNs一般只能获…

转自:http://www.asimovinstitute.org/neural-network-zoo/ THE NEURAL NETWORK ZOO POSTED ON SEPTEMBER 14, 2016 BY FJODOR VAN VEEN   With new neural network architectures popping up every now and then, it's hard to keep track of them all. Knowing all the a…

LSTM NEURAL NETWORK FOR TIME SERIES PREDICTION Wed 21st Dec 2016   Neural Networks these days are the "go to" thing when talking about new fads in machine learning. As such, there's a plethora of courses and tutorials out there on the basic vani…

Conditional Variational Autoencoders --- 条件式变换自编码机 Goal of a Variational Autoencoder: 一个 VAE(variational autoencoder)是一个产生式模型,意味着我们可以产生看起来像我们的训练数据的 samples.以 mnist 数据集为例,这些伪造的样本可以看做是手写字体的合成图像.我们的 VAE 将会提供我们一个空间,我们称之为 latent space (潜在空间),我们可以从这里采样出 po…

转载 - Recurrent Neural Network Tutorial, Part 4 – Implementing a GRU/LSTM RNN with Python and Theano The code for this post is on Github. This is part 4, the last part of the Recurrent Neural Network Tutorial. The previous parts are: Recurrent Neural…