1. 前言 近一年来,NLP领域发展势头强劲,从ELMO到LSTM再到去年最牛叉的Google Bert,在今年年初,Facebook又推出了XLM模型,在跨语言预训练领域表现抢眼.实验结果显示XLM在XNLI任务上比原来的state-of-the-art直接高了4.9个百分点:在无监督机器翻译WMT'16 German-English中,比原来的state-of-the-art高了9个BLEU:在有监督的机器翻译WMT'16 Romanian-English中,比原来的state-of-the…