seq2seq 模型在广泛的任务比如机器翻译,语音识别,文本总结中取得了巨大的成功.这个教程给读者 seq2seq 模型一个完整的理解,并且展示如何从原型建立一个有竞争力的 seq2seq 模型.我们专注于神经机器翻译任务,这是 seq2seq 模型取得的第一个广泛的成功.下面包含的代码是轻量级,高质量,产品级,并且包含了最新的研究思路. 我们通过以下实现了这个目标: 1.使用了最近的 decoder attention API 2.包含了我们强大的简历 RNN 和 seq2seq 模型的经验.…

转载并翻译Jay Alammar的一篇博文:Visualizing A Neural Machine Translation Model (Mechanics of Seq2seq Models With Attention) 原文链接:https://jalammar.github.io/visualizing-neural-machine-translation-mechanics-of-seq2seq-models-with-attention/ 神经机器翻译模型(基于注意力机制的Seq2…

论文:NEURAL MACHINE TRANSLATION BY JOINTLY LEARNING TO ALIGN AND TRANSLATE 综述 背景及问题 背景: 翻译: 翻译模型学习条件分布后,给定一个源句,通过搜索最大条件概率的句子,可以生成相应的翻译. 神经网络翻译:两个组件:第一个:合成一个源句子x:第二个:解码一个目标句子y. 问题:固定长度向量是编码器 - 解码器架构性能提升的瓶颈. 本文主要思想 本文提出:允许模型自动(软)搜索与预测目标单词相关的源句 --- 扩展的编码器…

[softmax分类器的加速器] https://www.tensorflow.org/api_docs/python/tf/nn/sampled_softmax_loss This is a faster way to train a softmax classifier over a huge number of classes. [分类的结果集过大,选取子集] https://www.tensorflow.org/api_guides/python/nn#Candidate_Samplin…

Neural Machine Translation Welcome to your first programming assignment for this week! You will build a Neural Machine Translation (NMT) model to translate human readable dates ("25th of June, 2009") into machine readable dates ("2009-06-25…

Neural Machine Translation Welcome to your first programming assignment for this week! You will build a Neural Machine Translation (NMT) model to translate human readable dates ("25th of June, 2009") into machine readable dates ("2009-06-25…

读论文 Neural Machine Translation by Jointly Learning to Align and Translate 这个论文是在NLP中第一个使用attention机制的论文.他们把attention机制用到了神经网络机器翻译(NMT)上.NMT其实就是一个典型的sequence to sequence模型,也就是一个encoder to decoder模型,传统的NMT使用两个RNN,一个RNN对源语言进行编码,将源语言编码到一个固定维度的中间向量,然后在使用一…

这篇论文主要是提出了Global attention 和 Local attention 这个论文有一个译文,不过我没细看 Effective Approaches to Attention-based Neural Machine Translation 中英文对照翻译 - 一译的文章 - 知乎 https://zhuanlan.zhihu.com/p/38205832 看这个论文的时候我主要是从第三小节开始看起的,也就是 attention-based models 我们基于attentio…

原文地址 :[1409.0473] Neural Machine Translation by Jointly Learning to Align and Translate (arxiv.org) 读这篇主要希望学习了解Encoder-Decoder结构…

The Noise Channel Model \(p(e)\): the language Model \(p(f|e)\): the translation model where, \(e\): English language; \(f\): French Language. 由法语翻译成英语的概率: \[p(e|f)=\frac{p(e,f)}{p(f)}=\frac{p(e)p(f|e)}{\sum_e{p(e)p(f|e)}}\] \[arg\max_e p(e|f)=arg\ma…