GRU门控制循环单元【转载】

转自：https://www.infoq.cn/article/sliced-recurrent-neural-networks

1.门控循环单元 GRU

GRU 由 reset gate r 和 update gate z 组成。Reset gate 决定有多少之前的记忆需要和新的输入结合，而 update gate 决定多少之前的记忆被保留下来。

其中 x 是输入，h 是隐状态。

候选隐状态 ht 由 reset gate 控制。当 reset gate 为 0 时，之前的记忆就被忽略了。

当 update gate 为 1 时，隐状态将之前的记忆拷贝给当前时刻，并且忽略当前输入。

2.标准 RNN 结构

标准 RNN 结构如图 1 所示，A 代表循环单元。

输入序列 X 的长度为 T，假设 T=8。标准 RNN 使用最后的隐状态 h8 作为全部序列的表示，然后增加一个 softmax 分类器来预测类标。在每一步，我们都需要等待网络计算前一步的输出：

这一标准 RNN 结构由于每两个相邻神经元的连接，从而引起了速度瓶颈：输入序列越长，需要的时间越长。