RNN
在DNN中，当前输出层的值只和当前输入值有关系。如果当前输出值不仅依赖当前输入值，也依赖于前面时刻的输入值，那么DNN就不适用了。因此也就有了RNN。
一、RNN结构
这是最简单的RNN。其中Xt是t时刻的输入，S是隐藏层。Ot是t时刻的输出。隐藏层St是由前t-1个时刻的隐藏层叠加而成的。把St也可以理解为前t时刻x的记忆叠加而成的隐藏层。
二、RNN的前向传播
1、记
其中σs为激活函数。W是隐藏层S上的权重，如上式所示，作用跟输入一起来迭代S。
2、
其中σt为激活函数
ot为t时刻的输出也是叠加了了t-1之前时刻输入的输出
U为输入层的权重
V为隐藏层到输出层的权重
三、 RNN的反向传播（BPTT，back-propagation through time）
为了学习，假设σs为tanh函数，σt为softmax函数。
求参的过程还是和大多数学过的模型求参一样，列出损失函数，例如MSE，交叉熵等，然后用最大似然估计求参数形式，再用SGD随机梯度下降求解。
这里面需要求U、W、V。
1、
2、
3、损失函数，在图中，在unfold里面，由于每一点都有一个o，因此每一点都有一个损失。因此总的损失就是每一点损失之和。
4、记
oh为模型输出值，没有上标h的o为真实值。
5、对V求导
6、对W求导。
（1）
（2）
（3）由于
（4）为了解下计算过程，简单起见，设i=2
以次类推。
7、对U求导
（1）
（2）
8、有了每个参数的梯度，然后利用SGD可以更新参数了。
RNN的更多相关文章
- RNN求解过程推导与实现
RNN求解过程推导与实现 RNN LSTM BPTT matlab code opencv code BPTT,Back Propagation Through Time. 首先来看看怎么处理RNN. ...
- 在RNN中使用Dropout
dropout在前向神经网络中效果很好,但是不能直接用于RNN,因为RNN中的循环会放大噪声,扰乱它自己的学习.那么如何让它适用于RNN,就是只将它应用于一些特定的RNN连接上. LSTM的长期记 ...
- RNN 入门学习资料整理
建议按序阅读 1. RNN的一些简单概念介绍 A guide to recurrent neural networks and backpropagation Deep learning:四十九(RN ...
- lecture7-序列模型及递归神经网络RNN
Hinton 第七课 .这里先说下RNN有recurrent neural network 和 recursive neural network两种,是不一样的,前者指的是一种人工神经网络,后者指的是 ...
- RNN 入门教程 Part 4 – 实现 RNN-LSTM 和 GRU 模型
转载 - Recurrent Neural Network Tutorial, Part 4 – Implementing a GRU/LSTM RNN with Python and Theano ...
- RNN 入门教程 Part 3 – 介绍 BPTT 算法和梯度消失问题
转载 - Recurrent Neural Networks Tutorial, Part 3 – Backpropagation Through Time and Vanishing Gradien ...
- RNN 入门教程 Part 2 – 使用 numpy 和 theano 分别实现RNN模型
转载 - Recurrent Neural Networks Tutorial, Part 2 – Implementing a RNN with Python, Numpy and Theano 本 ...
- RNN 入门教程 Part 1 – RNN 简介
转载 - Recurrent Neural Networks Tutorial, Part 1 – Introduction to RNNs Recurrent Neural Networks (RN ...
- CNN & RNN 及一些常识知识（不断扩充中）
参考: http://blog.csdn.net/iamrichardwhite/article/details/51089199 一.神经网络的发展历史 五六十年代,提出感知机 八十年代,提出多层感 ...
- 循环神经网络(RNN, Recurrent Neural Networks)介绍（转载）
循环神经网络(RNN, Recurrent Neural Networks)介绍 这篇文章很多内容是参考:http://www.wildml.com/2015/09/recurrent-neur ...
随机推荐
- hdu 1686 Oulipo (kmp)
Problem Description The French author Georges Perec (1936–1982) once wrote a book, La disparition, w ...
- QML-WebEngineView加载html(Echarts绘图）
实现QML中运用webEngineView加载Echarts GitHub:八至 作者:狐狸家的鱼 本文链接:QML-WebEngineView加载Echarts 一.前言 Qt允许使用混合GUI创建 ...
- Vue -- 双向过滤器去除html标签
<div id="box"> <input type="text" v-model="msg | filterHtml"& ...
- [luogu3369][普通平衡树]
题目链接 思路 模板 只是有几个容易出错的地方 第45行容易忘记 第54行里面的cnt--和siz--容易忘记 第56行是根据id判断不是val 第60行siz--容易忘记 第64行是siz+1不是s ...
- Django 跨域请求
跨域:通过js或python在不同的域之间进行数据传输或通信,比如用ajax向一个不同的域请求数据,或者通过js获取页面中不同域的框架中(Django)的数据.只要协议.域名.端口有任何一个不同,都被 ...
- av_seek_frame() 定位为什么不准呢？
初次学习和使用ffmpeg,电脑系统有点老,没办法使用最新版的ffmpeg 3.3,只能从别处下载了一个2.8版的用用,官网提供的历史版本都没有我电脑可用的版本. 花了两天时间学习并写了一个简单的处理 ...
- Linux：去除每一行行首的空格
如下命令: sed 's/^ *//' file1.txt > file2.txt
- HTML学习笔记Day4
一.浮动属性 1.首先要知道,div是块级元素,在页面中独占一行,自上而下排列,也就是传说中的流: 无论多么复杂的布局,其基本出发点均是:“如何在一行显示多个div元素”: 显然标准流已经无法满足需求 ...
- 关键字（4）：grant授权/revoke回收权限
单表授权 grant select , insert, update, delete on 表名 to 被授权用户名; grant select , insert, update, delete, r ...
- day-01(html)
本文档并非个人所写,只是方便自己参考: 案例1-网站信息展示需求: 在页面展示一些文字信息,需要排版技术分析: html:超文本标签语言////////////////////html: 作用:展示 ...