流程: 1.文本和摘要全部输入到模型中. 2.训练时,对生成摘要取前C个词,从头开始取,如果生成的摘要不足C,那么不足的地方直接补<s>. 3.训练时,最大化生成的摘要与原摘要的概率,即每个生成的词与原摘要的词进行对比,用损失函数计算梯度,然后下降. 4.预测时,已经具有了权重的模型,会逐词生成N个词的摘要. 5.注意力:已生成的摘要的前C个词,求出一个注意力权重,然后再成乘以全部文本经过平滑以后的. 6.这里生成词,不是只生成一个,而是生成K个集合.,采用beam search算法来寻找目标…

整体流程与第一篇差不多,只是在encoder和decoder加入了RNN Encoder: 1. ai=xi+li ai=词向量+词在序列中的位置信息(相当于一个权重,[M, 1]) 流程: 先是CNN获取位置信息,然后再加上词向量,然后再通过LSTM 2. 常见的求注意力权重的方法 a. ht-1:RNN输出 流程: 通过LSTM进行编码,然后再求attention 3. 注意力累加 Decoder: 流程: 经过LSTM进行解码,然后再乘以个[cell_output_size, vocab_…

本文是对文献 <Graph Neural Networks: A Review of Methods and Applications> 的内容总结,详细内容请参照原文. 引言 大量的学习任务都要求能处理包含丰富的元素间关联关系的图数据,例如物理系统建模.疾病分类以及文本和图像等非结构数据的学习等.图形神经网络(GNNs)是一种连接模型,通过图形节点之间的消息传递捕获图形的依赖性. 图(Graph)是一种对一组对象(node)及其关系(edge)进行建模的数据结构.由于图结构的强大表示能力,近…

阅读笔记——<How a Facebook rejection pushed me to start and grow a profitable business in 12 months> 作者:一只年轻的猫 日期:2019年11月24日 简介 作者,一个有着不错薪水的CTO(I was and still am the Data CTO).收到了FaceBook的面试邀请,参加了,但是第二轮淘汰了,随后决定找回自己的编程技能,于是利用闲暇时间制作了pixelixe.com网站,一个图片编辑…

开源实现 https://github.com/shihenw/convolutional-pose-machines-release(caffe版本) https://github.com/psycharo/cpm (tensorflow版本,但是只有用pre-trained model做predict,没有training) 论文原文下载地址:https://www.researchgate.net/publication/301880946_Convolutional_Pose_Machi…

这是Deepmind 公司在2016年1月28日Nature 杂志发表论文 <Mastering the game of Go with deep neural networks and tree search>.介绍了 AlphaGo 程序的细节. 本博文是对这篇论文的阅读笔记. AlphaGo 神经网络构成 AlphaGo 总体上由两个神经网络构成.以下我把它们简单称为「两个大脑」,这并非原文中的提法,仅仅是我的一个比喻. 第一个大脑(Policy Network)的作用是在当前局面下推断…

本文是对文献 <An Attentive Survey of Attention Models> 的总结,详细内容请参照原文. 引言 注意力模型现在已经成为神经网络中的一个重要概念,并已经应用到多个应用领域.本文给出了注意力机制的主要思想,并对现有的一些注意力模型进行了分类,以及介绍了注意力机制与不同的神经结构的融合方法,并且还展示了注意力是如何提高神经网络模型的可解释性的.最后,本文讨论了一些具体应用程序中注意力机制的应用与建模过程. Attention Model(AM)首次被 Bahda…

伴随着七天国庆的结束,紧张的学习生活也开始了,首先声明,阅读笔记随着我不断地阅读进度会慢慢更新,而不是一次性的写完,所以会重复的编辑.对于我选的这本   <火球 UML大战需求分析>,首先,为什么选择这本书呢,其实,最开始我选择的是<实用软件需求分析>,可是后来大概看了<火球 UML大战需求分析>这本书前序之后啊,发现了,书中的作者一开始和我们有着一样的困扰,就象我们大学刚学到UML之后,学完一考试,考试前一复习,考完之后,就随手扔到了一边去.因为对于我们没有经历过正规…

关于Hadoop已经小记了六篇,<Hadoop实战>也已经翻完7章.仔细想想,这么好的一个框架,不能只是流于应用层面,跑跑数据排序.单表链接等,想得其精髓,还需深入内部. 按照<Hadoop阅读笔记(五)——重返Hadoop目录结构>中介绍的hadoop目录结构,前面已经介绍了MapReduce的内部运行机制,今天准备入手Hadoop RPC,它是hadoop一种通信机制. RPC(Remote Procedure Call Protocol)——远程过程调用协议,它是一种通过网络…

常言道:男人是视觉动物.我觉得不完全对,我的理解是范围再扩大点,不管男人女人都是视觉动物.某些场合(比如面试.初次见面等),别人没有那么多的闲暇时间听你诉说过往以塑立一个关于你的完整模型.所以,第一眼,先走外貌协会的路线,打量一番,再通过望闻问切等各种手段获取关于你的大量信息(如谈吐.举止等),以快速建立起对于你的认识. 待人接物如此,搞技术也不例外,起码我是这样的.把玩了一番Hadoop的MapReduce过程,单词计数.去重.单表关联等运行的时候控制台打印出各种我看懂看不懂的信息,有了这些视…