深度学习做NLP的方法,基本上都是先将句子分词,然后每个词转化为对应的词向量序列.(https://kexue.fm/archives/4765) 第一个思路是RNN层,递归进行,但是RNN无法很好地学习到全局的结构信息,因为它本质是一个马尔科夫决策过程. 第二个思路是CNN层,其实CNN的方案也是很自然的,窗口式遍历,比如尺寸为3的卷积,就是 在FaceBook的论文中,纯粹使用卷积也完成了Seq2Seq的学习,是卷积的一个精致且极致的使用案例,CNN方便并行,而且容易捕捉到一些全局的结构信息

2017年中,有两篇类似同时也是笔者非常欣赏的论文,分别是FaceBook的<Convolutional Sequence to Sequence Learning>和Google的<Attention is All You Need>,它们都算是Seq2Seq上的创新,本质上来说,都是抛弃了RNN结构来做Seq2Seq任务. 这篇博文中,笔者对<Attention is All You Need>做一点简单的分析.当然,这两篇论文本身就比较火,因此网上已经有很多解读了

https://www.jianshu.com/p/25fc600de9fb 谷歌最近的一篇BERT取得了卓越的效果,为了研究BERT的论文,我先找出了<Attention is All You Need>,看看里面的Transformer模型作为基础. Transformer是为了机器翻译任务中的问题所提出的. 传统的RNN神经网络结构是可以处理任意长度的输入,它非常适合于自然语言的建模,所以它在一段时间内占据了整个神经网络中的主流.随着学术的发展,我们也会看到RNN有些不足. RNN的缺点

论文创新点: 多头注意力 transformer模型 Transformer模型 上图为模型结构,左边为encoder,右边为decoder,各有N=6个相同的堆叠. encoder 先对inputs进行Embedding,再将位置信息编码进去(cancat方式),位置编码如下: 然后经过多头注意力模块后,与残余连接cancat后进行一个Norm操作,多头注意力模块如下: 左图:缩放点乘注意力,这就是个平常的注意力机制,只不过多了scale和mask(仅对于decoder下面橙色框部分),使用的

Motivation: 靠attention机制,不使用rnn和cnn,并行度高 通过attention,抓长距离依赖关系比rnn强 创新点: 通过self-attention,自己和自己做attention,使得每个词都有全局的语义信息(长依赖 由于 Self-Attention 是每个词和所有词都要计算 Attention,所以不管他们中间有多长距离,最大的路径长度也都只是 1.可以捕获长距离依赖关系 提出multi-head attention,可以看成attention的ensemble

paper: <Attention Augmented Convolutional Networks> https://arxiv.org/pdf/1904.09925.pdf 这篇文章是google brain的,应该有分量.上来就说:卷积神经网络有一个重要的弱点就是 它仅仅操作于于一个领域,对于没有考虑到全局信息有损失. (这就是全局和局部的辨证关系.) 注意力机制,以一种能够把握长距离作用的手段,在序列模型和生成模型里使用.这篇文章使用注意力机制到判别模型中来,作为替代卷积的手段.(非常

上个星期五(16/11/18)去看了冯小刚的最新电影<我不是潘金莲>,电影很长,有点黑色幽默.看完之后我就去知乎,豆瓣电影等看看大家对于这部电影的评价.果然这是一部很有争议的电影,无论是在知乎还是豆瓣,大家对这部电影褒贬不一,有的说拍的好,寓意深刻,具有很强的现实讽刺意味,也有的说故作矫情,是一部烂片.大家众说纷纭,那么这部电影到底怎么样呢?我想还是用事实说话比较好.我想到最近刚好我学习了一段时间的爬虫了,也知道词云可以形象地反映词语分布.所以我决定亲自动手对<我不是潘金莲>制作一

王之泰201771010131<面向对象程序设计(java)>第七周学习总结 第一部分:理论知识学习部分 第五章 第五章内容深度学习: 继承:如果两个类存在继承关系,则子类会自动继承父类的方法和变量,在子类中可以调用父类的方法和变量,如果想要在子类里面做一系列事情,应该放在父类无参构造器里面. 在java中,只允许单继承,也就是说一个类最多只能显示地继承于一个父类.但是一个类却可以被多个类继承,也就是说一个类可以拥有多个子类. java类不允许多继承.原因: 1,当不同的父类存在相同属性方法的

<面向对象程序设计(java)>第六周学习总结 第一部分:理论知识 1)类.超类和子类2)Object:所有类的超类 3)泛型数组列表4)对象包装器和自动打包 5)参数数量可变的方法 6)枚举类7)继承设计的技巧 第二部分:实验部分 继承定义与使用<代码测试和示例程序的注释> 1.实验目的与要求 (1) 理解继承的定义: (2) 掌握子类的定义要求 (3) 掌握多态性的概念及用法: (4) 掌握抽象类的定义及用途://不能创建自己的对象,特殊类 (5) 掌握类中4个成员访问权限修饰

项目 内容 <面向对象程序设计(java)> https://www.cnblogs.com/nwnu-daizh/ 这个作业的要求在哪里 https://www.cnblogs.com/nwnu-daizh/p/11654436.html 作业学习目标 掌握四种访问权限修饰符的使用特点: 掌握Object类的用途及常用API: 掌握ArrayList类的定义方法及用途: 掌握枚举类定义方法及用途: 结合本章实验内容,理解继承与多态性两个面向对象程序设计特征,并体会其优点. 实验内容和步骤 实

201871010111-刘佳华<面向对象程序设计(java)>第七周学习总结 实验时间 2019-10-11 1.实验目的与要求 1) 掌握四种访问权限修饰符的使用特点: (1)进一步理解4个成员访问权限修饰符的用途: A.仅对本类可见-private B.对所有类可见-public C.对本包和所有子类可见-protected D.对本包可见-默认,,不需要修饰符 2) 掌握Object类的用途及常用API: 3) 掌握ArrayList类的定义方法及用法: 4)掌握枚举类定义方法及用途:

201871010135  张玉晶<面向对象程序设计(java)>第七周学习总结 项目 内容 这个作业属于哪个课程 https://www.cnblogs.com/nwnu-daizh/ 这个作业的要求在哪里 https://www.cnblogs.com/nwnu-daizh/p/11435127.html 作业学习目标 掌握四种访问权限修饰符的使用特点: 掌握Object类的用途及常用API: 掌握ArrayList类的定义方法及用途: 掌握枚举类定义方法及用途: 结合本章实验内容,理解继

吴丽丽-201871010123<面向对象程序设计(Java)>第七周学习总结 项目 内容 这个作业属于哪个课程 http://www.cnblogs.com/nwnu-daizh/ 这个作业的要求在哪里 https://www.cnblogs.com/nwnu-daizh/p/11654436.html 作业的学习目标 (1) 掌握四种访问权限修饰符的使用特点: (2) 掌握Object类的用途及常用API: (3) 掌握ArrayList类的定义方法及用法: (4)掌握枚举类定义方法及用途

201871010101-陈来弟<面向对象程序设计(java)>第七周学习总结 项目 内容 <面向对象程序设计(java)> https://www.cnblogs.com/nwnu-daizh/ 这个作业的要求在哪里 https://www.cnblogs.com/nwnu-daizh/p/11654436.html 作业学习目标 掌握四种访问权限修饰符的使用特点: 掌握Object类的用途及常用API: 掌握ArrayList类的定义方法及用途: 掌握枚举类定义方法及用途: 结

201871010104-陈园园 <面向对象程序设计(java)>第七周学习总结 项目 内容 这个作业属于哪个课程 https://www.cnblogs.com/nwnu-daizh/ 这个作业要求在哪里 https://www.cnblogs.com/lily-2018/p/11441372.html 作业学习目标 (1) 掌握四种访问权限修饰符的使用特点: (2) 掌握Object类的用途及常用API: (3) 掌握ArrayList类的定义方法及用法: (4)掌握枚举类定义方法及用途:

201871010105-曹玉中<面向对象程序设计(java)>第七周学习总结 项目 内容 这个作业属于哪个课程 https://www.cnblogs.com/nwnu-daizh/ 这个作业的要求在哪里 https://www.cnblogs.com/nwnu-daizh/p/11605051.html 作业学习目标  掌握四种访问权限修饰符的使用特点: 掌握Object类的用途及常用API: 掌握ArrayList类的定义方法及用途: 掌握枚举类定义方法及用途: 结合本章实验内容,理解继

201871010107-公海瑜<面向对象程序设计(java)>第七周学习总结             项目                       内容   这个作业属于哪个课程        http://www.cnblogs.com/nwnu-daizh/   这个作业的要求在哪里         https://www.cnblogs.com/nwnu-daizh/p/11654436.html    作业的学习目标 掌握四种访问权限修饰符的使用特点: 掌握Object类的用途及

在博客园撰写博客(随笔),总结7周实验内容,作业格式要求如下: 博文名称:学号-姓名<面向对象程序设计(java)>第七周学习总结(1分) 博文正文开头格式:(2分) 项目 内容 这个作业属于哪个课程 https://www.cnblogs.com/nwnu-daizh/ 这个作业的要求在哪里 https://www.cnblogs.com/nwnu-daizh/p/11435127.html 作业学习目标 掌握四种访问权限修饰符的使用特点: 掌握Object类的用途及常用API: 掌握Arr

201871010128-杨丽霞-<面向对象程序设计(java)>第七周学习总结 项目 内容 这个作业属于哪个课程  https://www.cnblogs.com/nwnu-daizh/ 这个作业的要求在哪里  https://www.cnblogs.com/nwnu-daizh/p/11654436.html 作业学习目标 掌握四种访问权限修饰符的使用特点: 掌握Object类的用途及常用API: 掌握ArrayList类的定义方法及用途: 掌握枚举类定义方法及用途: 结合本章实验内容,理

张兴盼-201871010131<面向对象程序设计(Java)>第七周学习总结 项目 内容 这个作业属于哪个课程 http://www.cnblogs.com/nwnu-daizh/ 这个作业的要求在哪里 https://www.cnblogs.com/nwnu-daizh/p/11654436.html 作业的学习目标 (1) 掌握四种访问权限修饰符的使用特点: (2) 掌握Object类的用途及常用API: (3) 掌握ArrayList类的定义方法及用法: (4)掌握枚举类定义方法及用途