2017年中,有两篇类似同时也是笔者非常欣赏的论文,分别是FaceBook的<Convolutional Sequence to Sequence Learning>和Google的<Attention is All You Need>,它们都算是Seq2Seq上的创新,本质上来说,都是抛弃了RNN结构来做Seq2Seq任务. 这篇博文中,笔者对<Attention is All You Need>做一点简单的分析.当然,这两篇论文本身就比较火,因此网上已经有很多解读了…

https://www.jianshu.com/p/25fc600de9fb 谷歌最近的一篇BERT取得了卓越的效果,为了研究BERT的论文,我先找出了<Attention is All You Need>,看看里面的Transformer模型作为基础. Transformer是为了机器翻译任务中的问题所提出的. 传统的RNN神经网络结构是可以处理任意长度的输入,它非常适合于自然语言的建模,所以它在一段时间内占据了整个神经网络中的主流.随着学术的发展,我们也会看到RNN有些不足. RNN的缺点…

论文创新点: 多头注意力 transformer模型 Transformer模型 上图为模型结构,左边为encoder,右边为decoder,各有N=6个相同的堆叠. encoder 先对inputs进行Embedding,再将位置信息编码进去(cancat方式),位置编码如下: 然后经过多头注意力模块后,与残余连接cancat后进行一个Norm操作,多头注意力模块如下: 左图:缩放点乘注意力,这就是个平常的注意力机制,只不过多了scale和mask(仅对于decoder下面橙色框部分),使用的…

深度学习做NLP的方法,基本上都是先将句子分词,然后每个词转化为对应的词向量序列.(https://kexue.fm/archives/4765) 第一个思路是RNN层,递归进行,但是RNN无法很好地学习到全局的结构信息,因为它本质是一个马尔科夫决策过程. 第二个思路是CNN层,其实CNN的方案也是很自然的,窗口式遍历,比如尺寸为3的卷积,就是 在FaceBook的论文中,纯粹使用卷积也完成了Seq2Seq的学习,是卷积的一个精致且极致的使用案例,CNN方便并行,而且容易捕捉到一些全局的结构信息…

Motivation: 靠attention机制,不使用rnn和cnn,并行度高 通过attention,抓长距离依赖关系比rnn强 创新点: 通过self-attention,自己和自己做attention,使得每个词都有全局的语义信息(长依赖 由于 Self-Attention 是每个词和所有词都要计算 Attention,所以不管他们中间有多长距离,最大的路径长度也都只是 1.可以捕获长距离依赖关系 提出multi-head attention,可以看成attention的ensemble…

paper: <Attention Augmented Convolutional Networks> https://arxiv.org/pdf/1904.09925.pdf 这篇文章是google brain的,应该有分量.上来就说:卷积神经网络有一个重要的弱点就是 它仅仅操作于于一个领域,对于没有考虑到全局信息有损失. (这就是全局和局部的辨证关系.) 注意力机制,以一种能够把握长距离作用的手段,在序列模型和生成模型里使用.这篇文章使用注意力机制到判别模型中来,作为替代卷积的手段.(非常…

王之泰201771010131<面向对象程序设计(java)>第七周学习总结 第一部分:理论知识学习部分 第五章 第五章内容深度学习: 继承:如果两个类存在继承关系,则子类会自动继承父类的方法和变量,在子类中可以调用父类的方法和变量,如果想要在子类里面做一系列事情,应该放在父类无参构造器里面. 在java中,只允许单继承,也就是说一个类最多只能显示地继承于一个父类.但是一个类却可以被多个类继承,也就是说一个类可以拥有多个子类. java类不允许多继承.原因: 1,当不同的父类存在相同属性方法的…

<面向对象程序设计(java)>第六周学习总结 第一部分:理论知识 1)类.超类和子类2)Object:所有类的超类 3)泛型数组列表4)对象包装器和自动打包 5)参数数量可变的方法 6)枚举类7)继承设计的技巧 第二部分:实验部分 继承定义与使用<代码测试和示例程序的注释> 1.实验目的与要求 (1) 理解继承的定义: (2) 掌握子类的定义要求 (3) 掌握多态性的概念及用法: (4) 掌握抽象类的定义及用途://不能创建自己的对象,特殊类 (5) 掌握类中4个成员访问权限修饰…

项目 内容 <面向对象程序设计(java)> https://www.cnblogs.com/nwnu-daizh/ 这个作业的要求在哪里 https://www.cnblogs.com/nwnu-daizh/p/11654436.html 作业学习目标 掌握四种访问权限修饰符的使用特点: 掌握Object类的用途及常用API: 掌握ArrayList类的定义方法及用途: 掌握枚举类定义方法及用途: 结合本章实验内容,理解继承与多态性两个面向对象程序设计特征,并体会其优点. 实验内容和步骤 实…

201871010111-刘佳华<面向对象程序设计(java)>第七周学习总结 实验时间 2019-10-11 1.实验目的与要求 1) 掌握四种访问权限修饰符的使用特点: (1)进一步理解4个成员访问权限修饰符的用途: A.仅对本类可见-private B.对所有类可见-public C.对本包和所有子类可见-protected D.对本包可见-默认,,不需要修饰符 2) 掌握Object类的用途及常用API: 3) 掌握ArrayList类的定义方法及用法: 4)掌握枚举类定义方法及用途:…