1 Transformer 模型结构处理自然语言序列的模型有 rnn, cnn(textcnn),但是现在介绍一种新的模型,transformer.与RNN不同的是,Transformer直接把一句话当做一个矩阵进行处理,要知道,RNN是把每一个字的Embedding Vector输入进行,隐层节点的信息传递来完成编码的工作.简而言之,Transformer 直接粗暴(后面Attention也就是矩阵的内积运算等). Attention 的编码,把一个输入序列(x1,...,xn) (x_1,.…