Obfuscated Gradients Give a False Sense of Security: Circumventing Defenses to Adversarial Examples
@article{athalye2018obfuscated,
title={Obfuscated Gradients Give a False Sense of Security: Circumventing Defenses to Adversarial Examples},
author={Athalye, Anish and Carlini, Nicholas and Wagner, David},
journal={arXiv: Learning},
year={2018}}
概
由于有很多defense方法都是基于破坏梯度(不能有效计算梯度, 梯度爆炸, 消失), 但是作者提出一种算法能够攻破这一类方法, 并提议以后的defense方法不要以破坏梯度为前提.
主要内容
\(f(\cdot)\): 模型;
\(f(x)_i\): 样本\(x\)为类别\(i\)的概率;
\(f^j(\cdot)\): 第\(j\)层;
\(f^{1..j}(\cdot)\): 第\(1\)到\(j\)层;
\(c(x)\): \(\arg \max_i f(x)_i\);
\(c^*(x)\): 真实标签.
Obfuscated Gradients
- Shattered Gradients: 一些不可微的defense, 或者一些令导数不存在的defense造成;
- Stochastic Gradients: 一些随机化的defense造成;
- Exploding & Vanishing Gradients: 通常由一些包括多次评估的defense造成.
BPDA
特例
有很多方法, 会构建一个不可微(或者其导数"不好用")的函数\(g\), 然后用模型\(f(g(x))\)替代\(f(x)\), 从而防御一些基于梯度的攻击方法, 而且这类方法往往要求\(g(x) \approx x\).
这类防御方法, 可以很简单地用
\]
替代, 从而被攻破(如果我们把\(g(x)\)视为模型的第1层, 那我们实际上就是攻击第二层).
一般情形
假设\(f^i(x)\)(即第i层)是不可微, 或者导数“不好用", 则我们首先构造一个可微函数\(g(x)\), 使得\(g(x) \approx f^i(x)\), 在反向传递导数的时候(注意只在反向用到\(g\)), 用\(\nabla_x g\)替代\(\nabla f^i(x)\).
注: 作者说在前向也用\(g(x)\)是低效的.
EOT
这类方法使用于攻破那些随机化的defense的, 这类方法往往会从一个变换集合\(T\)中采样\(t\), 并建立模型\(f(t(x))\), 如果单纯用\(\nabla f(t(x))\) 来攻击效果不好, 可以转而用\(\nabla \mathbb{E}_{t \sim T} f(t(x)) = \mathbb{E}_{t \sim T} \nabla f(t(x))\)替代.
Reparameterization
重参用于针对梯度爆炸或者消失的情况, 因为这种情况往往出现于\(f(g(x))\), 而\(g(x)\)是对\(x\)的一个多次评估(所以\(f(g(x))\)可以理解为一个很深的网络).
策略是利用构建\(x=h(z)\), 并且满足\(g(h(z))=h(z)\) (咋看起来很奇怪, 看了下面的DefenseGAN就明白了).
利用\(f(h(z))\), 我们找到对应的对抗样本\(h(z_{adv})\).
具体的案例
Thermometer encoding
这里的\(\tau\)是针对样本每一个元素\(x_{i,j,c}\)的, \(\tau:x_{i,j,c} \rightarrow \mathbb{R}^l\):
\left \{
\begin{array}{ll}
1 & x_{i,j,c}>k/l \\
0 & else.
\end{array} \right.
\]
只需令
\]
Input transformations
包括:
image cropping, rescaling, bit-depth reduction, JPEG compression, image quilting
既包括随机化又包括了不可微, 所以既要用EPDA, 也要用EOT.
LID
LID能够防御
\]
的攻击的主要原因是由于该函数陷入了局部最优. 因为LID高的样本不都是对抗样本, 也有很多普通样本.
忽视LID, 用原始的L2attack就能够有效攻破LID.
Stochastic Activation Pruning
SAP实际上是dropout的一个变种, SAP会随机将某层的\(f^i\)的某些元素突变为0(其概率正比于元素的绝对值大小).
这个方法可以用EOT攻破, 即用\(\sum_{i=1}^k \nabla_xf(x)\)来代替\(\nabla_x f(x)\).
Mitigating through randomization
这个方法的输入是\(229\times 229\)的图片, 他会被随机变换到\(r\times r\)大小, \(r\in[229, 331)\), 并随机补零使得其大小为\(331\times 331\).
同样, 用EOT可以攻破.
PixelDefend
pass
DenfenseGAN
对于每一个样本, 首先初始化\(R\)个随机种子\(z_0^{(1)}, \ldots, z_0^{(R)}\), 对每一个种子, 利用梯度下降(\(L\)步)以求最小化
\min \quad \|G(z)-x\|_2^2,
\]
其中\(G(z)\)为利用训练样本训练的生成器.
得到\(R\)个点\(z_*^{(1)},\ldots, z_*^{(R)}\), 设使得(DGAN)最小的为\(z^*\), 以及\(\hat{x} = G(z^*)\), 则\(\hat{x}\)就是我们要的, 样本\(x\)在普通样本数据中的投影. 将\(\hat{x}\)喂入网络, 判断其类别.
这个方法, 利用梯度方法更新的难处在于, \(x \rightarrow \hat{x}\)这一过程, 包含了\(L\)步的内循环, 如果直接反向传梯度会造成梯度爆炸或者消失.
所以攻击的策略是:
\]
找到\(z_{adv}\), 于是\(x_{adv}=G(z_{adv})\).
注意, 通过这个式子能找到对抗样本说明, 由训练样本训练生成器, 生成器的分布\(p_G\), 实际上并不能能够撇去对抗样本.
Obfuscated Gradients Give a False Sense of Security: Circumventing Defenses to Adversarial Examples的更多相关文章
- ICML 2019论文录取Top100:谷歌霸榜
[导读]人工智能顶级会议ICML 2019发布了今年论文录取结果.提交的3424篇论文中,录取了774篇,录取率为22.6%,较去年有所降低.从录取论文数量来看,谷歌成为今年最大赢家,紧随其后的是MI ...
- Configuring Apache Kafka Security
This topic describes additional steps you can take to ensure the safety and integrity of your data s ...
- 每日英语:Apple's Latest iPhone Puts Focus Back on Fingerprint Security
Apple's latest product launch could breathe new life into a technology that failed to take hold the ...
- metasploit-post模块信息
Name Disclosure Date Rank Description ---- ...
- What does it mean for an algorithm to be fair
What does it mean for an algorithm to be fair In 2014 the White House commissioned a 90-day study th ...
- Visual Studio TFS Branching and Merging Guidance
Origin URL:https://msdn.microsoft.com/en-us/magazine/gg598921.aspx Bill Heys and Willy-Peter Schaub ...
- Chronic sleep loss cannot be cured that easily
Chronic sleep loss cannot be cured that easily Sleeping in on Saturday after a few weeks of too litt ...
- 使用机器学习检测TLS 恶意加密流——业界调研***有开源的数据集,包括恶意证书的,以及恶意tls pcap报文***
2018 年的文章, Using deep neural networks to hunt malicious TLS certificates from:https://techxplore.com ...
- 每日英语:A Buying Guide to Air-Pollution Masks
Blue skies were finally visible in the capital on Thursday after the region suffered fromseven strai ...
随机推荐
- day31 协程
day31 协程 一.死锁与递归锁 所谓死锁:是指两个或者两个以上的进程或线程在执行过程中,因争夺资源而造成的一种互相等待的现象,若无外力作用,它们都将无法推进下去.此时称系统处于死锁状态或系统产 ...
- AI作曲的一个点子
通常的AI作曲都是通过拆分音乐为几个声道, 然后再把各个声道拆成音符去分析. 我忽然之间有个想法,是否可以继续拆分下去. 音符就是一些有规则的高低电平,这样把音符拆成电平. 一定会带来巨大的运算,但如 ...
- 【Spring Framework】Spring注解设置Bean的初始化、销毁方法的方式
bean的生命周期:创建---初始化---销毁. Spring中声明的Bean的初始化和销毁方法有3种方式: @Bean的注解的initMethod.DestroyMethod属性 bean实现Ini ...
- 【Linux】【Shell】【Basic】数组
1. 数组: 变量:存储单个元素的内存空间: 数组:存储多个元素的连续的内存空间: 数组名:整个数组只有一个名字: 数组 ...
- 使用Booststrap布局网页页面
<!DOCTYPE html><html lang="zh-CN"><head> <meta charset="utf-8&qu ...
- 【JavaWeb】【MySQL】【edu01】jdbc.properties配置文件的编写
前提准备 导入 mysql-connector-java-版本号 的jar包 下面为大家提供几个jar包下载地址 点击进入下载界面 >>推荐 MySQL官方 多版本选择 点击进入下载界面 ...
- Spring Cloud Eureka源码分析之服务注册的流程与数据存储设计!
Spring Cloud是一个生态,它提供了一套标准,这套标准可以通过不同的组件来实现,其中就包含服务注册/发现.熔断.负载均衡等,在spring-cloud-common这个包中,org.sprin ...
- Mysql实例 数据库优化
目录 一.前言 二.数据库表设计 三.数据库结构设计 四.数据库性能优化 硬件配置选择 数据库配置优化 系统配置优化 数据库安全优化 五.数据库架构扩展 增加缓存 主从复制与读写分离 分库 分表 分区 ...
- Jmeter——SMTP Sampler发送邮件
在平时测试过程中,也会出一些测试报告,那jmeter在不依托其他工具的情况下,可不可以发送邮件呢,自然是可以的. 我们直接使用SMTP Sampler即可. SMTP Sampler参数 我们来添加个 ...
- 在项目中引入百度的ueditor编辑器
第一步:解压ueditor压缩包 在项目中按顺序引入三个文件 <script type="text/javascript" charset="utf-8" ...