本文来自李纪为博士的论文 A Diversity-Promoting Objective Function for Neural Conversation Models 1,概述 对于seq2seq模型类的对话系统,无论输入是什么,都倾向于生成安全,通用的回复(例如 i don't know 这一类的回复),因为这种响应更符合语法规则,在训练集中出现频率也较高,最终生成的概率也最大,而有意义的响应生成概率往往比他们小.如下表所示: 上面的表中是seq2seq对话系统产生的结果,分数最高的回复通常…

损失函数(Loss/Error Function): 计算单个训练集的误差,例如:欧氏距离,交叉熵,对比损失,合页损失 代价函数(Cost Function): 计算整个训练集所有损失之和的平均值 至于目标函数(Objective function),字面一些,就是有某个(最优化)目标的函数,比如最优化这个目的.没有找到定义,个人理解,目标函数是一个大类,包含损失函数.代价函数:损失函数.代价函数,属于目标函数.…

白翔的CRNN论文阅读 1.  论文题目 Xiang Bai--[PAMI2017]An End-to-End Trainable Neural Network for Image-based Sequence Recognition and Its Application to Scene Text Recognition 2.  论文思路和方法 1)  问题范围: 单词识别 2)  CNN层:使用标准CNN提取图像特征,利用Map-to-Sequence表示成特征向量: 3)  RNN层:使…

论文阅读([CVPR2018]Jinshan Pan - Learning Dual Convolutional Neural Networks for Low-Level Vision) 本文针对低层视觉问题,提出了一般性的用于解决低层视觉问题的对偶卷积神经网络.作者认为,低层视觉问题,如常见的有超分辨率重建.保边滤波.图像去雾和图像去雨等,这些问题经常涉及到估计目标信号的两个成分:结构和细节.因此,文章提出DualCNN,它包含两个平行的分支来分别恢复结构和细节信息. 具体内容参见https…

Empirical Analysis of Beam Search Performance Degradation in Neural Sequence Models  2019-06-13 10:28:44 Paper: [abs] [Download PDF][Supplementary PDF] Eldan Cohen, Christopher Beck ; PMLR 97:1290-1299 1. Background and Motivation: Beam search 是一种常用在…

论文题目<Deep Feature Extraction and Classification of Hyperspectral Images Based on Convolutional Neural Networks> 论文作者:Y ushi Chen, Member , IEEE, Hanlu Jiang, Chunyang Li, Xiuping Jia, Senior Member , IEEE, and Pedram Ghamisi, Member , IEEE 论文发表年份:20…

abstract 现在的大多数模型都可以被应用在闲聊场景下,但是还没有证据表明他们可以应用在更有用的对话场景下.这篇论文提出了一个知识驱动的,带有背景知识的神经网络对话系统,目的是为了在对话中产生更有意义的回复.以seq2seq模型为基础(传统的seq2seq只能学习到句子的骨架而不包括有效的信息),用对话历史和外界的facts去规范回答.模型具有通用性,可以应用在open-domain. introduction 这个模型不是像传统的对话系统有明确的任务目标,通过少量数据去训练在一定的回复骨架…

假设神经网络的训练样本有…

本章涉及到的若干知识点(红字):本章节是作为通往Tensorflow的前奏! 链接:https://www.zhihu.com/question/27823925/answer/38460833 首先,神经网络的最后一层,也就是输出层,是一个 Logistic Regression (或者 Softmax Regression ),也就是一个线性分类器. 那么,输入层和中间那些隐层又在干吗呢?你可以把它们看成一种特征提取的过程,就是把 Logistic Regression 的输出当作特征,然后…

PNAS 2018-ECCV-Progressive Neural Architecture Search Johns Hopkins University(霍普金斯大学) && Google AI && Stanford GitHub:300+ stars Citation:504 Motivation current techniques usually fall into one of two categories: evolutionary algorithms(E…