目录 概 主要内容 least likely class adv. 实验1 l.l.c. adv.的效用 实验二 Alexey Kurakin, Ian J. Goodfellow, Samy Bengio, ADVERSARIAL EXAMPLES IN THE PHYSICAL WORLD 概 有很多种方法能够生成对抗样本(adversarial samples), 但是真实世界中是否存在这样的对抗样本呢? 主要内容 least likely class adv. 假设\(X\)为图像(各元…

Adversarial Examples for Semantic Segmentation and Object Detection (语义分割和目标检测中的对抗样本) 作者:Cihang Xie, Jianyu Wang, Zhishuai Zhang, Yuyin Zhou, Lingxi Xie, Alan Yuille, Department of Computer Science, The Johns Hopkins University, Baltimore, MD 21218 U…

对文本对抗性样本的研究极少,近期论文归纳如下: 文本对抗三个难点: text data是离散数据,multimedia data是连续数据,样本空间不一样: 对text data的改动可能导致数据不合法: 基于word的改动(替换.增.删)会有语义兼容性的问题: 论文: Deep Text Classification Can be Fooled 和 Towards Crafting Text Adversarial Samples: 针对文本分类生成对抗样本——对输入文本进行增删改处理,使得文…

Generating Fluent Adversarial Examples for Natural Languages   ACL 2019 为自然语言生成流畅的对抗样本 摘要 有效地构建自然语言处理(NLP)任务的对抗性攻击者是一个真正的挑战.首先,由于句子空间是离散的.沿梯度方向做小扰动是困难的.其次,生成的样本的流畅性不能保证.在本文中,我们提出了MHA,它通过执行Metropolis-Hastings抽样来解决这两个问题,其建议是在梯度的指导下设计的.在IMDB和SNLI上的实验表明,…

<Explaining and harnessing adversarial examples> 论文学习报告 组员:裴建新   赖妍菱    周子玉 2020-03-27 1 背景 Szegedy有一个有趣的发现:有几种机器学习模型,包括最先进的神经网络,很容易遇到对抗性的例子.所谓的对抗性样例就是对数据集中的数据添加一个很小的扰动而形成的输入.在许多情况下,在训练数据的不同子集上训练不同体系结构的各种各样的模型错误地分类了相同的对抗性示例.这表明,对抗性例子暴露了我们训练算法中的基本盲点.…

目录 概 主要内容 Huster T., Chiang C. J. and Chadha R. Limitations of the lipschitz constant as a defense against adversarial examples. In European Conference on Machine Learning and Data Mining (ECML PKDD), 2018. 概 本文是想说明现有的依赖Lipschitz常数的以获得可验证的鲁棒性存在很大局限性.…

Uncovering the Limits of Adversarial Training against Norm-Bounded Adversarial Examples 目录 概 主要内容 实验设置 损失的影响 额外的数据 网络结构 其他的一些tricks Gowal S., Qin C., Uesato J., Mann T. & Kohli P. Uncovering the Limits of Adversarial Training against Norm-Bounded Adv…

目录 概 主要内容 Differential Privacy insensitivity Lemma1 Proposition1 如何令网络为-DP in practice Lecuyer M, Atlidakis V, Geambasu R, et al. Certified Robustness to Adversarial Examples with Differential Privacy[C]. ieee symposium on security and privacy, 2019:…

目录 概 主要内容 black-box 拓展 Xiao C, Li B, Zhu J, et al. Generating Adversarial Examples with Adversarial Networks[J]. arXiv: Cryptography and Security, 2018. @article{xiao2018generating, title={Generating Adversarial Examples with Adversarial Networks}, a…

目录 概 主要内容 Obfuscated Gradients BPDA 特例 一般情形 EOT Reparameterization 具体的案例 Thermometer encoding Input transformations LID Stochastic Activation Pruning Mitigating through randomization PixelDefend DenfenseGAN Athalye A, Carlini N, Wagner D, et al. Obfu…

目录 概 主要内容 符号说明及部分定义 可用特征 稳定可用特征 可用不稳定特征 标准(standard)训练 稳定(robust)训练 分离出稳定数据 分离出不稳定数据 随机选取 选取依赖于 比较重要的实验 1 迁移性 理论分析 定理1 定理2 定理3 Ilyas A, Santurkar S, Tsipras D, et al. Adversarial Examples Are Not Bugs, They Are Features[C]. neural information process…

Xie C, Tan M, Gong B, et al. Adversarial Examples Improve Image Recognition.[J]. arXiv: Computer Vision and Pattern Recognition, 2019. @article{xie2019adversarial, title={Adversarial Examples Improve Image Recognition.}, author={Xie, Cihang and Tan,…

目录 概 主要内容 从线性谈起 非线性 Goodfellow I, Shlens J, Szegedy C, et al. Explaining and Harnessing Adversarial Examples[J]. arXiv: Machine Learning, 2014. @article{goodfellow2014explaining, title={Explaining and Harnessing Adversarial Examples}, author={Goodfel…

核心思想 基于阅读理解中QA系统的样本中可能混有对抗样本的情况,在寻找答案时,首先筛选出可能包含答案的句子,再做进一步推断. 方法 Part 1 given: 段落C   query Q 段落切分成句子: 每个句子和Q合并: 使用依存句法分析得到表示: 基于T Si T Q ,分别构建 Tree-LSTMSi  Tree-LSTMQ 两个Tree-LSTMs的叶结点的输入都是GloVe word vectors 输出隐向量分别是  hSi  hQ hSi  hQ连接起来并传递给一个前馈神经网络来…

(没太听明白,以后再听) 1. 如何欺骗神经网络? 这部分研究最开始是想探究神经网络到底是如何工作的.结果人们意外的发现,可以只改变原图一点点,人眼根本看不出变化,但是神经网络会给出完全不同的答案.比如下图,左边的熊猫被识别成熊猫,但是加上中间的小"噪音"一样的数值,右图的熊猫就识别不出来了.而且这个小"噪音"不是随机的,它更像是offset,是某种系统误差,叠加到图片上去,总是可以欺骗神经网络. 2. 神经网络从权重到输出的映射是非线性的,非常复杂,非常难优化.训…

[code] [pdf] 白盒 beam search 基于梯度 字符级…

(没太听明白,以后再听) 1. 如何欺骗神经网络? 这部分研究最开始是想探究神经网络到底是如何工作的.结果人们意外的发现,可以只改变原图一点点,人眼根本看不出变化,但是神经网络会给出完全不同的答案.比如下图,左边的熊猫被识别成熊猫,但是加上中间的小“噪音”一样的数值,右图的熊猫就识别不出来了.而且这个小“噪音”不是随机的,它更像是offset,是某种系统误差,叠加到图片上去,总是可以欺骗神经网络. 2. 神经网络从权重到输出的映射是非线性的,非常复杂,非常难优化.训练.但是从输入到输出的映射可以…

同步自我的知乎专栏:https://zhuanlan.zhihu.com/p/26122612 上篇文章 瞎谈CNN:通过优化求解输入图像 - 知乎专栏 中提到过对抗样本,这篇算是针对对抗样本的一个小小扩充:用Fast Gradient Sign方法在Caffe中生成对抗样本. 本文代码的完整例子可以在下面地址下载: frombeijingwithlove/dlcv_for_beginners Fast Gradient Sign方法 先回顾一下 瞎谈CNN:通过优化求解输入图像 - 知乎专栏 …

  本文转自:https://github.com/zhangqianhui/AdversarialNetsPapers AdversarialNetsPapers The classical Papers about adversarial nets The First paper ✅ [Generative Adversarial Nets] [Paper] [Code](the first paper about it) Unclassified ✅ [Deep Generative Im…

MindSpore技术理解(下) 4 GraphEngine 由于深度学习算法需要进行大量的计算,很多公司都设计了自己的深度学习专用处理器(如谷歌的张量处理器.阿里巴巴的含光等),华为也发布了自主设计的神经网络处理单元(Neural Processing Unit,NPU)--昇腾系列芯片.可以借助 GE 在 GPU.CPU.昇腾系列芯片上操作 MindSpore 定义的模型. 如图 1 所示,GE 位于 ME 和设备之间.GE 将 ME 的输出数据流图作为输入,在 GE 内部执行某些 图处理操…

来源:https://github.com/zhangqianhui/AdversarialNetsPapers AdversarialNetsPapers The classical Papers about adversarial nets The First paper ✅ [Generative Adversarial Nets] [Paper] [Code](the first paper about it) Unclassified ✅ [Deep Generative Image…

本文来自<towards principled methods for training generative adversarial networks>,时间线为2017年1月,第一作者为WGAN的作者,Martin Arjovsky. 下面引用自令人拍案叫绝的Wasserstein GAN 要知道自从2014年Ian Goodfellow提出以来,GAN就存在着训练困难.生成器和判别器的loss无法指示训练进程.生成样本缺乏多样性等问题.从那时起,很多论文都在尝试解决,但是效果不尽人意,比…

Paper: Practical Black-Box Attacks against Machine Learning 一.介绍 概况:Ian Goodfellow大神研究如何在不知道model内部结构和训练数据集的情况下(黑盒),产生adversarial example误导DNN分类器. 成果: 1)需要一个“人造”数据集,用于训练“替代”model,如何产生? 2)对不同DNN攻击 3)减少query的方法,在训练“替代”model时 4)为什么可以用“替代”model,附录B中解释 二.…

[pdf] [code] 句法控制释义网络 SCPNS  生成对抗样本 我们提出了句法控制意译网络(SCPNs),并利用它们来生成对抗性的例子.给定一个句子和一个目标语法形式(例如,一个选区解析),scpn经过训练,可以用所需的语法产生句子的释义.我们展示了为这个任务创建训练数据是可能的,首先在非常大的范围内进行反向翻译,然后使用解析器来标记在这个过程中自然发生的语法转换.这样的数据允许我们用额外的输入训练一个神经编码器解码模型来指定目标语法.自动化和人工评估的结合表明,与基准(非受控)释义系统…

出于实现目的,翻译原文(侵删) Published in: IEEE Transactions on Pattern Analysis and Machine Intelligence (TPAMI 2019) 源码地址:http://www.pami.sjtu.edu.cn/Show/56/115 目录: Abstract I. INTRODUCTION II. TYPE I ATTACK AND ITS RELATIONSHIP TO TYPE II A. Toy Example on Fe…

目录 概 主要内容 reweight 拟合概率 实验的细节 疑问 Bai T., Chen J., Zhao J., Wen B., Jiang X., Kot A. Feature Distillation With Guided Adversarial Contrastive Learning. arXiv preprint arXiv 2009.09922, 2020. 概 本文是通过固定教师网络(具有鲁棒性), 让学生网络去学习教师网络的鲁棒特征. 相较于一般的distillation…

转自:http://www.cleverhans.io/security/privacy/ml/2017/02/15/why-attacking-machine-learning-is-easier-than-defending-it.html   Is attacking machine learning easier than defending it? Feb 15, 2017 by Ian Goodfellow and Nicolas Papernot In our first post…

[清华NLP]图神经网络GNN论文分门别类,16大应用200+篇论文最新推荐 图神经网络研究成为当前深度学习领域的热点.最近,清华大学NLP课题组Jie Zhou, Ganqu Cui, Zhengyan Zhang and Yushi Bai同学对 GNN 相关的综述论文.模型与应用进行了综述,并发布在 GitHub 上.16大应用包含物理.知识图谱等最新论文整理推荐. GitHub 链接: https://github.com/thunlp/GNNPapers 目录            …

Adit Deshpande CS Undergrad at UCLA ('19) Blog About The 9 Deep Learning Papers You Need To Know About (Understanding CNNs Part 3) Introduction Link to Part 1Link to Part 2 In this post, we’ll go into summarizing a lot of the new and important develo…

本文同步自我的知乎专栏: From Beijing with Love 机器学习和优化问题 很多机器学习方法可以归结为优化问题,对于一个参数模型,比如神经网络,用来表示的话,训练模型其实就是下面的参数优化问题: 其中L是loss function,比如神经网络中分类常用的cross-entropy. CNN学到了什么? 特征(Representation).把原始图像看做一个维度是像素×通道的向量,经过各种复杂的CNN结构,其实只不过成了另一个向量.这个向量所在的空间也许有更好的线性可分性,也许…