[code] [blog] 主要思想和贡献 以前,NLP中的对抗攻击一般都是针对特定输入的,那么他们对任意的输入是否有效呢? 本文搜索通用的对抗性触发器:与输入无关的令牌序列,当连接到来自数据集的任何输入时,这些令牌序列触发模型生成特定的预测. 例如,触发器导致SNLI隐含精度从89.94%下降到 0.55%, 72%的“为什么”问题在SQuAD中回答“杀死美国人”,而gps -2语言模型即使在非种族背景下也会输出种族主义. 本文设计了一个基于令牌的梯度引导搜索. 搜索迭代地更新触发序列中的标记…

[论文阅读笔记] Adversarial Learning on Heterogeneous Information Networks 本文结构 解决问题 主要贡献 算法原理 参考文献 (1) 解决问题 现有的异构网络(HIN)嵌入方法本质上可以归结为两个步骤(1)正样本生成和负样本生成(2)在这些样本上训练模型优化目标函数以得到更合适的节点嵌入.目前主流的异构网络嵌入方法存在以下几个问题: Problem 1: 首先,这些算法一般从原始网络中随机选择节点与中心节点组合生成正样本或者负样本,即,…

[论文阅读笔记] Adversarial Mutual Information Learning for Network Embedding 本文结构 解决问题 主要贡献 算法原理 实验结果 参考文献 (1) 解决问题 现有的基于GAN的方法大多都是先假设服从一个高斯分布,然后再来学习节点嵌入(匹配节点嵌入向量服从这个假设的先验分布). 这可能存在两个问题: 一个问题是(由于真实数据是有很多噪声的,所以会为GAN模型学习的分布带来很多噪声)很难从节点向量表示中区分出噪声节点,因为所有节点都是服从…

核心思想 基于阅读理解中QA系统的样本中可能混有对抗样本的情况,在寻找答案时,首先筛选出可能包含答案的句子,再做进一步推断. 方法 Part 1 given: 段落C   query Q 段落切分成句子: 每个句子和Q合并: 使用依存句法分析得到表示: 基于T Si T Q ,分别构建 Tree-LSTMSi  Tree-LSTMQ 两个Tree-LSTMs的叶结点的输入都是GloVe word vectors 输出隐向量分别是  hSi  hQ hSi  hQ连接起来并传递给一个前馈神经网络来…

对抗防御可以从语义消歧这个角度来做,不同的模型,后备模型什么的,我觉得是有道理的,和解决未登录词的方式是类似的,毕竟文本方面的对抗常常是修改为UNK来发生错误的.怎么使用backgroud model这个要实践以下.但是这个主要还是指word-level的,不知道其他的有没有用. 用强大的单词识别能力对抗对抗性拼写错误 摘要 摘要为了克服对抗性拼写错误,我们建议在下游分类器前放置一个单词识别模型.我们的单词识别模型建立在RNN半字符结构的基础上,引入了一些新的后退策略来处理罕见和未见的单词(ba…

摘要 以前的对抗攻击关注于静态输入,这些方法对流输入的目标模型并不适用.攻击者只能通过观察过去样本点在剩余样本点中添加扰动. 这篇文章提出了针对于具有流输入的机器学习模型的实时对抗攻击. 1 介绍 在实时处理场景中,攻击者只能观察数据样本的过去部分,并且只能向数据样本的未来部分添加扰动,而目标模型的决策将基于整个数据样本. 当攻击实时系统时,攻击者面临着观察空间和操作空间之间的权衡.也就是说,假设目标系统接受顺序输入x,攻击者可以选择在开始时设计对抗性扰动.然而,在这种情况下,攻击者对x没有任何…

导读: 本文为CVPR2018论文<Deep Adversarial Subspace Clustering>的阅读总结.目的是做聚类,方法是DASC=DSC(Deep Subspace Clustering)+GAN(Generative Adversarial Networks).本文从以下四个方面来对论文做个简要整理: 背景:简要介绍与本文密切相关的基础原理,DSC,GAN. 方法:介绍论文使用的方法和细节. 实验:实验结果和简要分析. 总结:论文主要特色和个人体会. 一.背景 论文方法…

BERT 论文阅读 BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding 由 @快刀切草莓君 阅读编写. 1 引言 两种为下游任务应用预训练模型表示的现存策略 基于特征 e.g. ELMo:使用包括预训练表示作为额外特征的特定任务架构 精调 e.g. GPT Generative Pre-trained Transformer 引入最少的特定任务参数 这两种策略都使用了单一方向语言模型 限…

目录 概 主要内容 算法 实验部分 实验1 实验2 实验3 代码 Moosavidezfooli S, Fawzi A, Fawzi O, et al. Universal Adversarial Perturbations[C]. computer vision and pattern recognition, 2017: 86-94. @article{moosavidezfooli2017universal, title={Universal Adversarial Perturbatio…

白翔的CRNN论文阅读 1.  论文题目 Xiang Bai--[PAMI2017]An End-to-End Trainable Neural Network for Image-based Sequence Recognition and Its Application to Scene Text Recognition 2.  论文思路和方法 1)  问题范围: 单词识别 2)  CNN层:使用标准CNN提取图像特征,利用Map-to-Sequence表示成特征向量: 3)  RNN层:使…