理解LSTM

本文基于Understanding-LSTMs进行概括整理，对LSTM进行一个简单的介绍

什么是LSTM

LSTM(Long Short Term Memory networks)可以解决传统RNN的长期依赖(long-term dependencies)问题。它对传统RNN的隐层进行了结构上的改进。

LSTM的内部结构

这是传统的RNN的结构，内部有一个tanh层

LSTM和传统RNN结构类似，然而内部结构却有所不同

图中所示的水平线就是LSTM中的状态信息，可以把这个理解为记忆(memory)

下面介绍门的概念，LSTM中的门可以选择性的控制信息的流动，通常由一个sigmoid神经网络层和一个point wise(或者叫element wise)的乘法操作组成。

LSTM中有三种门：

• 遗忘门：
  
  可以看到这里的\(f_{t}\)由输入的\(x_t\)和\(h_{t-1}\)得到，用来控制\(C_{t-1}\)中的信息的遗忘程度。\(f_{t}\)中的每个值都是0-1中的一个数，下界0代表完全遗忘，上界1代表完全不变。

• 输入门：
  
  遗忘门决定了历史状态信息的遗忘程度，那么输入门的作用就是往状态信息中添加新东西。同样，由输入的\(x_t\)和\(h_{t-1}\)得到当前的\(i_t\)用以控制新状态信息的更新程度。这里新状态信息\(\tilde{C}\)也是通过输入的\(x_t\)和\(h_{t-1}\)计算得出。

那么当前新的状态信息\(C_t\)就很显然可以通过上式计算得出，通俗的说就是遗忘一些旧信息，更新一些新信息进去。

• 输出门：
  
  最后就是输出门了。类似地，根据\(x_t\)和\(h_{t-1}\)得出\(o_{t}\)用以控制哪些信息需要作为输出。

概括一下：

• 状态信息\(C_t\)的依赖于遗忘门\(f_t\)和输入门\(i_t\)
• 遗忘门\(f_t\)和输入门\(i_t\)依赖于输入参数中的\(h_{t-1}\)
• 而当前隐层输出\(h_t\)依赖于\(C_t\)

LSTM的一些变种

增加peephole connections

Gers & Schmidhuber (2000)提出的增加peephole connections

图中所示，在所有的门之前都与状态线相连，使得状态信息对门的输出值产生影响。但一些论文里只是在部门门前加上这样的连接，而不是所有的门

耦合遗忘门和输入门

这一种变体是将遗忘门和输入门耦合在一起，简单来说就是遗忘多少就更新多少新状态，没有遗忘就不更新状态，全部遗忘那就新状态全部更新进去。

GRU

这是目前比较流行的LSTM变种，不仅将遗忘门和输入门统一为更新们，而且将h和c也给合并了。可参考Cho, et al. (2014)

参考

Understanding-LSTMs