目录 概 主要内容 Differential Privacy insensitivity Lemma1 Proposition1 如何令网络为-DP in practice Lecuyer M, Atlidakis V, Geambasu R, et al. Certified Robustness to Adversarial Examples with Differential Privacy[C]. ieee symposium on security and privacy, 2019:…
原文链接:Deep Learning with Differential Privacy abstract:新的机器学习算法,差分隐私框架下隐私成本的改良分析,使用非凸目标训练深度神经网络. 数学中最优化问题的一般表述是求取$  x * \in \chi $ 使得 $ f(x * ) = min\{ f(x):x \in \chi \}  $,其中x是n维向量, $  \chi $  是x的可行域,f是$ \chi $ 上的实值函数.凸优化问题是指$  \chi $ 是闭合的凸集且f是$  \c…
Adversarial Examples for Semantic Segmentation and Object Detection (语义分割和目标检测中的对抗样本) 作者:Cihang Xie, Jianyu Wang, Zhishuai Zhang, Yuyin Zhou, Lingxi Xie, Alan Yuille, Department of Computer Science, The Johns Hopkins University, Baltimore, MD 21218 U…
对文本对抗性样本的研究极少,近期论文归纳如下: 文本对抗三个难点: text data是离散数据,multimedia data是连续数据,样本空间不一样: 对text data的改动可能导致数据不合法: 基于word的改动(替换.增.删)会有语义兼容性的问题: 论文: Deep Text Classification Can be Fooled 和 Towards Crafting Text Adversarial Samples: 针对文本分类生成对抗样本——对输入文本进行增删改处理,使得文…
Generating Fluent Adversarial Examples for Natural Languages   ACL 2019 为自然语言生成流畅的对抗样本 摘要 有效地构建自然语言处理(NLP)任务的对抗性攻击者是一个真正的挑战.首先,由于句子空间是离散的.沿梯度方向做小扰动是困难的.其次,生成的样本的流畅性不能保证.在本文中,我们提出了MHA,它通过执行Metropolis-Hastings抽样来解决这两个问题,其建议是在梯度的指导下设计的.在IMDB和SNLI上的实验表明,…
<Explaining and harnessing adversarial examples> 论文学习报告 组员:裴建新   赖妍菱    周子玉 2020-03-27 1 背景 Szegedy有一个有趣的发现:有几种机器学习模型,包括最先进的神经网络,很容易遇到对抗性的例子.所谓的对抗性样例就是对数据集中的数据添加一个很小的扰动而形成的输入.在许多情况下,在训练数据的不同子集上训练不同体系结构的各种各样的模型错误地分类了相同的对抗性示例.这表明,对抗性例子暴露了我们训练算法中的基本盲点.…
原文链接:An Introduction to Differential Privacy 差分隐私算法可以允许分析人员执行良性的聚合分析,同时保证个人隐私得到切实的保护.. 背景数据分析中的隐私保护技术已有数十年的历史,差分隐私算法是这一领域的最新技术.两个早期概念直接影响了差分隐私:①最小查询集大小②Dalenius的统计披露定义 最小查询集大小旨在确保聚合查询的安全性,最小查询集大小是一种约束,只在确保聚合查询不会泄露有关个人的信息,给定某个配置的阈值量T,其确保每个聚合查询在至少有T个记录…
目录 概 主要内容 Huster T., Chiang C. J. and Chadha R. Limitations of the lipschitz constant as a defense against adversarial examples. In European Conference on Machine Learning and Data Mining (ECML PKDD), 2018. 概 本文是想说明现有的依赖Lipschitz常数的以获得可验证的鲁棒性存在很大局限性.…
Uncovering the Limits of Adversarial Training against Norm-Bounded Adversarial Examples 目录 概 主要内容 实验设置 损失的影响 额外的数据 网络结构 其他的一些tricks Gowal S., Qin C., Uesato J., Mann T. & Kohli P. Uncovering the Limits of Adversarial Training against Norm-Bounded Adv…
目录 概 主要内容 black-box 拓展 Xiao C, Li B, Zhu J, et al. Generating Adversarial Examples with Adversarial Networks[J]. arXiv: Cryptography and Security, 2018. @article{xiao2018generating, title={Generating Adversarial Examples with Adversarial Networks}, a…
目录 概 主要内容 Obfuscated Gradients BPDA 特例 一般情形 EOT Reparameterization 具体的案例 Thermometer encoding Input transformations LID Stochastic Activation Pruning Mitigating through randomization PixelDefend DenfenseGAN Athalye A, Carlini N, Wagner D, et al. Obfu…
目录 概 主要内容 符号说明及部分定义 可用特征 稳定可用特征 可用不稳定特征 标准(standard)训练 稳定(robust)训练 分离出稳定数据 分离出不稳定数据 随机选取 选取依赖于 比较重要的实验 1 迁移性 理论分析 定理1 定理2 定理3 Ilyas A, Santurkar S, Tsipras D, et al. Adversarial Examples Are Not Bugs, They Are Features[C]. neural information process…
目录 概 主要内容 least likely class adv. 实验1 l.l.c. adv.的效用 实验二 Alexey Kurakin, Ian J. Goodfellow, Samy Bengio, ADVERSARIAL EXAMPLES IN THE PHYSICAL WORLD 概 有很多种方法能够生成对抗样本(adversarial samples), 但是真实世界中是否存在这样的对抗样本呢? 主要内容 least likely class adv. 假设\(X\)为图像(各元…
Xie C, Tan M, Gong B, et al. Adversarial Examples Improve Image Recognition.[J]. arXiv: Computer Vision and Pattern Recognition, 2019. @article{xie2019adversarial, title={Adversarial Examples Improve Image Recognition.}, author={Xie, Cihang and Tan,…
目录 概 主要内容 从线性谈起 非线性 Goodfellow I, Shlens J, Szegedy C, et al. Explaining and Harnessing Adversarial Examples[J]. arXiv: Machine Learning, 2014. @article{goodfellow2014explaining, title={Explaining and Harnessing Adversarial Examples}, author={Goodfel…
1 前置知识 本部分只对相关概念做服务于差分隐私介绍的简单介绍,并非细致全面的介绍. 1.1 随机化算法 随机化算法指,对于特定输入,该算法的输出不是固定值,而是服从某一分布. 单纯形(simplex):一个\(k\)维单纯形是指包含\(k+1\)个顶点的凸多面体,一维单纯形是一条线段,二维单纯形是一个三角形,三维单纯形是一个四面体,以此类推推广到任意维."单纯"意味着基本,是组成更复杂结构的基本构件. 概率单纯形(probability simplex):是一个数学空间,上面每个点代…
核心思想 基于阅读理解中QA系统的样本中可能混有对抗样本的情况,在寻找答案时,首先筛选出可能包含答案的句子,再做进一步推断. 方法 Part 1 given: 段落C   query Q 段落切分成句子: 每个句子和Q合并: 使用依存句法分析得到表示: 基于T Si T Q ,分别构建 Tree-LSTMSi  Tree-LSTMQ 两个Tree-LSTMs的叶结点的输入都是GloVe word vectors 输出隐向量分别是  hSi  hQ hSi  hQ连接起来并传递给一个前馈神经网络来…
(没太听明白,以后再听) 1. 如何欺骗神经网络? 这部分研究最开始是想探究神经网络到底是如何工作的.结果人们意外的发现,可以只改变原图一点点,人眼根本看不出变化,但是神经网络会给出完全不同的答案.比如下图,左边的熊猫被识别成熊猫,但是加上中间的小"噪音"一样的数值,右图的熊猫就识别不出来了.而且这个小"噪音"不是随机的,它更像是offset,是某种系统误差,叠加到图片上去,总是可以欺骗神经网络. 2. 神经网络从权重到输出的映射是非线性的,非常复杂,非常难优化.训…
一.论文目标:将差分隐私和频繁项集挖掘结合,主要针对大规模数据. 二.论文的整体思路: 1)预处理阶段: 对于大的数据集,进行采样得到采样数据集并计算频繁项集,估计样本数据集最大长度限制,然后再缩小源数据集:(根据最小的support值,频繁项集之外的项集从源数据集移除)     我们利用字符串匹配去剪切数据集的事务: 2)挖掘阶段: 利用压缩数据集,先构造FP-Tree,隐私预算均匀分配,对真实的结果添加噪声: 3)扰动阶段: 对于候选频繁项集添加拉普拉斯噪声并且输出 通过限制每个事务的长度减…
[code] [pdf] 白盒 beam search 基于梯度 字符级…
(没太听明白,以后再听) 1. 如何欺骗神经网络? 这部分研究最开始是想探究神经网络到底是如何工作的.结果人们意外的发现,可以只改变原图一点点,人眼根本看不出变化,但是神经网络会给出完全不同的答案.比如下图,左边的熊猫被识别成熊猫,但是加上中间的小“噪音”一样的数值,右图的熊猫就识别不出来了.而且这个小“噪音”不是随机的,它更像是offset,是某种系统误差,叠加到图片上去,总是可以欺骗神经网络. 2. 神经网络从权重到输出的映射是非线性的,非常复杂,非常难优化.训练.但是从输入到输出的映射可以…
[pdf] [code] 句法控制释义网络 SCPNS  生成对抗样本 我们提出了句法控制意译网络(SCPNs),并利用它们来生成对抗性的例子.给定一个句子和一个目标语法形式(例如,一个选区解析),scpn经过训练,可以用所需的语法产生句子的释义.我们展示了为这个任务创建训练数据是可能的,首先在非常大的范围内进行反向翻译,然后使用解析器来标记在这个过程中自然发生的语法转换.这样的数据允许我们用额外的输入训练一个神经编码器解码模型来指定目标语法.自动化和人工评估的结合表明,与基准(非受控)释义系统…
原文:NeurIPS 2018 | 腾讯AI Lab详解3大热点:模型压缩.机器学习及最优化算法 导读 AI领域顶会NeurIPS正在加拿大蒙特利尔举办.本文针对实验室关注的几个研究热点,模型压缩.自动机器学习.机器学习与最优化算法,选取23篇会议上入选的重点论文进行分析解读,与大家分享.Enjoy! NeurIPS (Conference on Neural Information Processing Systems,神经信息处理系统进展大会)与ICML并称为神经计算和机器学习领域两大顶级学…
先睹为快:神经网络顶会ICLR 2019论文热点分析 - lqfarmer的文章 - 知乎 https://zhuanlan.zhihu.com/p/53011934 作者:lqfarmer链接:https://zhuanlan.zhihu.com/p/53011934来源:知乎著作权归作者所有.商业转载请联系作者获得授权,非商业转载请注明出处. ICLR-2019(International Conference on Learning Representations 2019),将于2019…
目录 概 主要内容 定理1 代码 Cohen J., Rosenfeld E., Kolter J. Certified Adversarial Robustness via Randomized Smoothing. International Conference on Machine Learning (ICML), 2019. @article{cohen2019certified, title={Certified Adversarial Robustness via Randomiz…
本文来自<towards principled methods for training generative adversarial networks>,时间线为2017年1月,第一作者为WGAN的作者,Martin Arjovsky. 下面引用自令人拍案叫绝的Wasserstein GAN 要知道自从2014年Ian Goodfellow提出以来,GAN就存在着训练困难.生成器和判别器的loss无法指示训练进程.生成样本缺乏多样性等问题.从那时起,很多论文都在尝试解决,但是效果不尽人意,比…
Paper: Practical Black-Box Attacks against Machine Learning 一.介绍 概况:Ian Goodfellow大神研究如何在不知道model内部结构和训练数据集的情况下(黑盒),产生adversarial example误导DNN分类器. 成果: 1)需要一个“人造”数据集,用于训练“替代”model,如何产生? 2)对不同DNN攻击 3)减少query的方法,在训练“替代”model时 4)为什么可以用“替代”model,附录B中解释 二.…
前言:好久不见了,最近一直瞎忙活,博客好久都没有更新了,表示道歉.希望大家在新的一年中工作顺利,学业进步,共勉! 今天我们介绍深度神经网络的缺点:无论模型有多深,无论是卷积还是RNN,都有的问题:以图像为例,我们人为的加一些东西,然后会急剧的降低网络的分类正确率.比如下图: 在生成对抗样本之后,分类器把alps 以高置信度把它识别成了狗,下面的一幅图,是把puffer 加上一些我们人类可能自己忽视的东西,但是对分类器来说,这个东西可能很重要,这样分类器就会去调节它,这就导致分类器以百分之百的置信…
来源:https://github.com/zhangqianhui/AdversarialNetsPapers AdversarialNetsPapers The classical Papers about adversarial nets The First paper ✅ [Generative Adversarial Nets] [Paper] [Code](the first paper about it) Unclassified ✅ [Deep Generative Image…
Functional mechanism: regression analysis under differential privacy 论文学习报告 组员:裴建新   赖妍菱    周子玉 2020-03-10 1 背景 当今社会,互联网技术正日益深入人们的生活.随着网络和信息化产业的迅猛发展,数据以前所未有的速度不断地增长和累积,大数据已经成为学术界和产业界的热点,同时改变着人们的日常生活.在大数据背景下,数据量相对以往有了质的飞跃.同时,人们对信息处理的速度.信息来源的多样性信息处理的价值…