整体流程与第一篇差不多,只是在encoder和decoder加入了RNN Encoder: 1. ai=xi+li ai=词向量+词在序列中的位置信息(相当于一个权重,[M, 1]) 流程: 先是CNN获取位置信息,然后再加上词向量,然后再通过LSTM 2. 常见的求注意力权重的方法 a. ht-1:RNN输出 流程: 通过LSTM进行编码,然后再求attention 3. 注意力累加 Decoder: 流程: 经过LSTM进行解码,然后再乘以个[cell_output_size, vocab_…

流程: 1.文本和摘要全部输入到模型中. 2.训练时,对生成摘要取前C个词,从头开始取,如果生成的摘要不足C,那么不足的地方直接补<s>. 3.训练时,最大化生成的摘要与原摘要的概率,即每个生成的词与原摘要的词进行对比,用损失函数计算梯度,然后下降. 4.预测时,已经具有了权重的模型,会逐词生成N个词的摘要. 5.注意力:已生成的摘要的前C个词,求出一个注意力权重,然后再成乘以全部文本经过平滑以后的. 6.这里生成词,不是只生成一个,而是生成K个集合.,采用beam search算法来寻找目标…

动机(Motivation) 在自动语音识别(Automated Speech Recognition, ASR)中,只是把语音内容转成文字,但是人们对话过程中除了文本还有其它重要的信息,比如语调,情感,响度.这些信息对于语音的理解也是很重要的.本文关注其中一个点,如何识别出语音的情感,即语音情感识别(Speech Emotion Recognition, SER). 语音情感识别的三个难点 1. 感情是主观的:不同人对于同一段语音,理解出的情感不尽相同,而且存在一定的文化差异. 2. 感情在语…

论文概况 Multi-Perspective Sentence Similarity Modeling with Convolution Neural Networks是处理比较两个句子相似度的问题, 适用于解决智能客服问题匹配场景中用户提交的问句与知识库中问句的匹配. 文章将整个问题的解决分成两部分: 对句子进行建模, 将句子转换为某种向量表示. 这部分使用CNN完成 两个句子相似度衡量的方式. 这里是新颖的地方. 然后将衡量计算得到的相似度向量投入到Dense层中, 再根据目标接Output…

李飞飞徒弟Karpathy的著名博文The Unreasonable Effectiveness of Recurrent Neural Networks阐述了RNN(LSTM)的各种magic之处,并提供code实现简单的词生成. 原文地址;http://karpathy.github.io/2015/05/21/rnn-effectiveness/ Recurrent Neural Networks sequence Vanilla Neural Networks (and also Con…

转自 http://blog.csdn.net/xingzhedai/article/details/53144126 更多参考:http://blog.csdn.net/mafeiyu80/article/details/51446558 http://blog.csdn.net/caimouse/article/details/70225998 http://kubicode.me/2017/05/15/Deep%20Learning/Understanding-about-RNN/ RNN…

作者:Florian Tramèr, Dan Boneh [Standford University] [ICLR 2019] Abstract 为保护机器学习中隐私性和数据完整性,通常可以利用可信执行环境(Trusted Execution Environment),利用硬件和软件的保护机制来使敏感数据的计算独立出来,但这种方式存在效率上的损失.因此这篇论文提出将计算过程分到可信设备和不可信设备中,以高性能执行深度神经网络的.Slalom,将DNN中的所有线性层计算工作外包到不可信但快速的设…

论文源址:https://arxiv.org/abs/1406.4729 tensorflow相关代码:https://github.com/peace195/sppnet 摘要 深度卷积网络需要输入固定尺寸大小的图片(224x224),这引入了大量的手工因素,同时,一定程度上,对于任意尺寸的图片或者子图会降低识别的准确率.SPP-net对于任意大小的图片,可以生成固定长度的特征表述.SPP-net对于变形的图片仍有一定的鲁棒性.基于上述优点,SPP-net会提高基于CNN的图像分类的效果. S…

论文源址:http://www.cs.berkeley.edu/~rbg/#girshick2014rcnn 摘要 在PASCAL VOC数据集上,最好的方法的思路是将低级信息与较高层次的上下文信息进行结合.该文的两个亮点:(1)将CNN应用到region proposals 用于对目标物体的定位.(2)对于较少数量的标签数据,先在规模较大的数据集上进行有监督的预训练,然后针对特定场景进行微调,发现性能提升的较大.R-CNN:region with CNN features 介绍 特征问题:视觉…

Java编程思想 这是一个通过对<Java编程思想>(Think in java)进行阅读同时对java内容查漏补缺的系列.一些基础的知识不会被罗列出来,这里只会列出一些程序员经常会忽略或者混淆的知识点. 所列知识点全部都是针对自己个人而言,同时也欢迎大家进行补充. 第九章(接口) 任何抽象性都应该是应真正的需求而产生的. 访问权限 p172 interface如果不加public关键字,则只具有包访问权限. 重名 p181 可以通过extends来扩展接口,但在实现多重继承时要注意不能实现签…