Chain TDNN/LSTM的拼帧索引、延时

TDNN模型示例

TDNN拼帧：

层：(0,3)

层：(-9,0)

层：(0,3)

层：(-6,0)

层：(0,3)

层：(-3,0)

层：(0,3)

层：(-3,0)

 
 

输出依赖

帧，各层需要的帧的时间索引如下：

层：1,4

层：-9,-6,1,4

层：-9,-6,1,4,7

层：-15,-12,-9,-6,-3,1,4,7

层：-15,-12,-9,-6,-3,1,4,7,10

层：-18,-15,-12,-9,-6,-3,1,4,7,10

层：-18,-15,-12,-9,-6,-3,1,4,7,10,13

层：-21,-18,-15,-12,-9,-6,-3,1,4,7,10,13

 
 

 
 

帧，各层需要的帧的时间索引如下：

层：2,5

...

层：-20,-17,-14,-11,-8,-5,-2,2,5,8,11,14

 
 

帧，各层需要的帧的时间索引如下：

层：3,6

...

层：-19,-16,-13,-10,-7,-4,-1,3,6,9,11,15

帧，各层需要的帧的时间索引如下：

层：4,7

...

层：-18,-15,-12,-9,-6,-3,1,4,7,10,13,16

 
 

TDNN的拼帧索引

 
 

第一层不需要受到此限制

层：(0,3)

层：(-9,0)

层：(0,3)

层：(-6,0)

层：(0,3)

层：(-3,0)

层：(0,3)

层：(-3,0)

层：(-2,-1,0,1,2)

 
 

LSTM的延时

与TDNN类似，单向LSTM依赖于历史信息，双向LSTM（BLSTM）依赖于历史信息与未来信息

信息包括
记忆（Cell）与输出（Recurrent）

 
 

默认情况下，对于长度为T帧的语句，在t时刻：

LSTM依赖于

t时刻上一层的输出

BLSTM依赖于

t时刻上一层的输出

那么，在t-1时刻：

LSTM依赖于

t-1时刻上一层的输出

BLSTM依赖于

t-1时刻上一层的输出

依此类推：

LSTM将依赖于所有的历史信息

BLSTM将依赖于所有的信息（历史信息+未来信息）

也就是说，所有帧（T帧）都需要进行LSTM计算