核心思想 基于阅读理解中QA系统的样本中可能混有对抗样本的情况,在寻找答案时,首先筛选出可能包含答案的句子,再做进一步推断. 方法 Part 1 given: 段落C   query Q 段落切分成句子: 每个句子和Q合并: 使用依存句法分析得到表示: 基于T Si T Q ,分别构建 Tree-LSTMSi  Tree-LSTMQ 两个Tree-LSTMs的叶结点的输入都是GloVe word vectors 输出隐向量分别是  hSi  hQ hSi  hQ连接起来并传递给一个前馈神经网络来…

[论文阅读笔记] Adversarial Learning on Heterogeneous Information Networks 本文结构 解决问题 主要贡献 算法原理 参考文献 (1) 解决问题 现有的异构网络(HIN)嵌入方法本质上可以归结为两个步骤(1)正样本生成和负样本生成(2)在这些样本上训练模型优化目标函数以得到更合适的节点嵌入.目前主流的异构网络嵌入方法存在以下几个问题: Problem 1: 首先,这些算法一般从原始网络中随机选择节点与中心节点组合生成正样本或者负样本,即,…

[论文阅读笔记] Adversarial Mutual Information Learning for Network Embedding 本文结构 解决问题 主要贡献 算法原理 实验结果 参考文献 (1) 解决问题 现有的基于GAN的方法大多都是先假设服从一个高斯分布,然后再来学习节点嵌入(匹配节点嵌入向量服从这个假设的先验分布). 这可能存在两个问题: 一个问题是(由于真实数据是有很多噪声的,所以会为GAN模型学习的分布带来很多噪声)很难从节点向量表示中区分出噪声节点,因为所有节点都是服从…

[code] [blog] 主要思想和贡献 以前,NLP中的对抗攻击一般都是针对特定输入的,那么他们对任意的输入是否有效呢? 本文搜索通用的对抗性触发器:与输入无关的令牌序列,当连接到来自数据集的任何输入时,这些令牌序列触发模型生成特定的预测. 例如,触发器导致SNLI隐含精度从89.94%下降到 0.55%, 72%的“为什么”问题在SQuAD中回答“杀死美国人”,而gps -2语言模型即使在非种族背景下也会输出种族主义. 本文设计了一个基于令牌的梯度引导搜索. 搜索迭代地更新触发序列中的标记…

对抗防御可以从语义消歧这个角度来做,不同的模型,后备模型什么的,我觉得是有道理的,和解决未登录词的方式是类似的,毕竟文本方面的对抗常常是修改为UNK来发生错误的.怎么使用backgroud model这个要实践以下.但是这个主要还是指word-level的,不知道其他的有没有用. 用强大的单词识别能力对抗对抗性拼写错误 摘要 摘要为了克服对抗性拼写错误,我们建议在下游分类器前放置一个单词识别模型.我们的单词识别模型建立在RNN半字符结构的基础上,引入了一些新的后退策略来处理罕见和未见的单词(ba…

摘要 以前的对抗攻击关注于静态输入,这些方法对流输入的目标模型并不适用.攻击者只能通过观察过去样本点在剩余样本点中添加扰动. 这篇文章提出了针对于具有流输入的机器学习模型的实时对抗攻击. 1 介绍 在实时处理场景中,攻击者只能观察数据样本的过去部分,并且只能向数据样本的未来部分添加扰动,而目标模型的决策将基于整个数据样本. 当攻击实时系统时,攻击者面临着观察空间和操作空间之间的权衡.也就是说,假设目标系统接受顺序输入x,攻击者可以选择在开始时设计对抗性扰动.然而,在这种情况下,攻击者对x没有任何…

Generating Fluent Adversarial Examples for Natural Languages   ACL 2019 为自然语言生成流畅的对抗样本 摘要 有效地构建自然语言处理(NLP)任务的对抗性攻击者是一个真正的挑战.首先,由于句子空间是离散的.沿梯度方向做小扰动是困难的.其次,生成的样本的流畅性不能保证.在本文中,我们提出了MHA,它通过执行Metropolis-Hastings抽样来解决这两个问题,其建议是在梯度的指导下设计的.在IMDB和SNLI上的实验表明,…

<Explaining and harnessing adversarial examples> 论文学习报告 组员:裴建新   赖妍菱    周子玉 2020-03-27 1 背景 Szegedy有一个有趣的发现:有几种机器学习模型,包括最先进的神经网络,很容易遇到对抗性的例子.所谓的对抗性样例就是对数据集中的数据添加一个很小的扰动而形成的输入.在许多情况下,在训练数据的不同子集上训练不同体系结构的各种各样的模型错误地分类了相同的对抗性示例.这表明,对抗性例子暴露了我们训练算法中的基本盲点.…

导读: 本文为CVPR2018论文<Deep Adversarial Subspace Clustering>的阅读总结.目的是做聚类,方法是DASC=DSC(Deep Subspace Clustering)+GAN(Generative Adversarial Networks).本文从以下四个方面来对论文做个简要整理: 背景:简要介绍与本文密切相关的基础原理,DSC,GAN. 方法:介绍论文使用的方法和细节. 实验:实验结果和简要分析. 总结:论文主要特色和个人体会. 一.背景 论文方法…

Adversarial Examples for Semantic Segmentation and Object Detection (语义分割和目标检测中的对抗样本) 作者:Cihang Xie, Jianyu Wang, Zhishuai Zhang, Yuyin Zhou, Lingxi Xie, Alan Yuille, Department of Computer Science, The Johns Hopkins University, Baltimore, MD 21218 U…