SNN对抗攻击笔记

SNN对抗攻击笔记: 1. 解决SNN对抗攻击中脉冲与梯度数据格式不兼容性以及梯度消失问题: G2S Converter.Gradient Trigger[1] 2. 基于梯度的对抗攻击方式: FGSM[1-3] R-FGSM[3] I-FGSM[3] BIM[1] PGD[2] 3. 图像转化到脉冲序列的采样方式: Poisson事件生成过程[1-9] 4. SNN类型: SNN-conv(ANN-SNN Conversion)[2-7, 9] 采用的神经元模型 IF神经元模型[2-7, 9]…

KDD 2018 | 最佳论文：首个面向Facebook、arXiv网络图类的对抗攻击研究

8 月 19 日至 23 日,数据挖掘顶会 KDD 2018 在英国伦敦举行,昨日大会公布了最佳论文等奖项.最佳论文来自慕尼黑工业大学的研究者,他们提出了针对图深度学习模型的对抗攻击方法,是首个在属性图上的对抗攻击研究.研究者还提出了一种利用增量计算的高效算法 Nettack.此外,实验证明该攻击方法是可以迁移的. 图数据是很多高影响力应用的核心,比如社交和评级网络分析(Facebook.Amazon).基因相互作用网络(BioGRID),以及互连文档集合(PubMed.Arxiv).基于图数据…

对抗攻击(一) FGSM

引言在对抗样本综述(二)中,我们知道了几种著名的对抗攻击和对抗防御的方法.下面具体来看下几种对抗攻击是如何工作的.这篇文章介绍FGSM(Fast Gradient Sign Method). 预备知识符号函数sign 泰勒展开当函数\(f(x)\)在点\(x_0\)处可导时,在点\(x_0\)的邻域\(U(x_0)\)内恒有: \[f(x)=f(x_0)+f'(x_0)*(x-x_0)+o(x-x_0) \] 因为\(o(x-x_0)\)是一个无穷小量,故有: \[f(x)≈f(x_0)+…

QA 中的对抗攻击和防御

攻击 supporting facts 的修改:字符调换,替换词(用空格embedding或近同义词,变形词等) 还有针对question的攻击. 梯度下降,在embediing上做攻击,如何decode是个问题. 防御如果把大量对抗样本加到训练样本一起训练不够显示,作用不是很大,随时都可能会有新的对抗样本. 2018 Tackling Adversarial Examples in QA via Answer Sentence Selection这篇讲的是先筛选候选句,再进行推理回答. 20…

Yii防注入攻击笔记

网站表单有注入漏洞须对所有用户输入的内容进行个过滤和检查,可以使用正则表达式或者直接输入字符判断,大部分是只允许输入字母和数字的,其它字符度不允许:对于内容复杂表单的内容,应该对html和script的符号进行转义替换:尤其是<,>,',"",&这几个符号这里有个转义对照表:http://blog.csdn.net/xinzhu1990/article/details/7032301 单引号替换成两个直接将客户端传过来的的参数值直接组成字符串sql,而不是使用s…

Exploring Adversarial Attack in Spiking Neural Networks with Spike-Compatible Gradient

郑重声明:原文参见标题,如有侵权,请联系作者,将会撤销发布! arXiv:2001.01587v1 [cs.NE] 1 Jan 2020 Abstract 脉冲神经网络(SNN)被广泛应用于神经形态设备中,以模拟大脑功能.在这种背景下,SNN的安全性变得重要但缺乏深入的研究,这与深度学习的热潮不同.为此,我们针对SNN的对抗攻击,确认了与ANN攻击不同的几个挑战:i)当前的对抗攻击是基于SNN中以时空模式呈现的梯度信息,这在传统的学习算法中很难获得:ii)在梯度累积过程中,输入的连续梯度与二值脉…

Inherent Adversarial Robustness of Deep Spiking Neural Networks: Effects of Discrete Input Encoding and Non-Linear Activations

郑重声明:原文参见标题,如有侵权,请联系作者,将会撤销发布! arXiv:2003.10399v2 [cs.CV] 23 Jul 2020 ECCV 2020 1 https://github.com/ssharmin/spikingNN-adversarial-attack Abstract 在最近对可信任的神经网络的探索中,我们提出了一个潜在的候选,即脉冲神经网络(SNN)之于对抗攻击的内在鲁棒性.在这项工作中,我们证明对CIFAR数据集上的深度VGG和ResNet结构,在基于梯度的攻击下,…

深度学习课程笔记（十二） Matrix Capsule

深度学习课程笔记(十二) Matrix Capsule with EM Routing 2018-02-02 21:21:09 Paper: https://openreview.net/pdf/99b7cb0c78706ad8e91c13a2242bb15b7de325ad.pdf Blog: https://jhui.github.io/2017/11/14/Matrix-Capsules-with-EM-routing-Capsule-Network/ [Abstract] 一个…

Adversarial Examples for Semantic Segmentation and Object Detection 阅读笔记

Adversarial Examples for Semantic Segmentation and Object Detection (语义分割和目标检测中的对抗样本) 作者:Cihang Xie, Jianyu Wang, Zhishuai Zhang, Yuyin Zhou, Lingxi Xie, Alan Yuille, Department of Computer Science, The Johns Hopkins University, Baltimore, MD 21218 U…

对抗样本攻防战，清华大学TSAIL团队再获CAAD攻防赛第一

最近,在全球安全领域的殿堂级盛会 DEF CON 2018 上,GeekPwn 拉斯维加斯站举行了 CAAD CTF 邀请赛,六支由国内外顶级 AI 学者与研究院组成的队伍共同探讨以对抗训练为攻防手段的 CTF.TSAIL 团队的庞天宇.杜超作为代表获得该项比赛的冠军,参加比赛的骨干成员还包括董胤蓬.韦星星等,TSAIL 团队来自于清华大学人工智能研究院,主要研究领域为机器学习. 同样在去年,该团队在 NIPS 2017 AI 对抗性攻防竞赛的三项比赛任务中(有/无特定目标攻击:攻击检测),全部…

生成对抗网络（Generative Adversarial Networks，GAN）初探

1. 从纳什均衡(Nash equilibrium)说起我们先来看看纳什均衡的经济学定义: 所谓纳什均衡,指的是参与人的这样一种策略组合,在该策略组合上,任何参与人单独改变策略都不会得到好处.换句话说,如果在一个策略组合上,当所有其他人都不改变策略时,没有人会改变自己的策略,则该策略组合就是一个纳什均衡. B站上有一个关于”海滩2个兄弟卖雪糕“形成纳什均衡的视频,讲的很生动. 不管系统中的双方一开始处于什么样的状态,只要系统中参与竞争的个体都是”理性经济人“,即每个人在考虑其他人的可能动作的基…

《Machine Learning - 李宏毅》视频笔记(完结)

https://www.youtube.com/watch?v=CXgbekl66jc&list=PLJV_el3uVTsPy9oCRY30oBPNLCo89yu49 https://www.bilibili.com/video/av65521101 因为之前有些基础,对于本视频课程的学习仅仅记录一些要点.目前只学习涉及深度学习和对抗攻击的部分. 1 Regression 通过Gradient Descent找到Loss Function的局部最优点.Gradient就是Loss Functio…

《Attack ML Models - 李宏毅》视频笔记(完结)

Attack ML Models - 李宏毅 https://www.bilibili.com/video/av47022853 Training的Loss:固定x,修改θ,使y0接近ytrue. Non-targeted Attack的Loss:固定θ,修改x,使y‘远离ytrue. Targeted Attack的Loss:固定θ,修改x,使y‘远离ytrue且接近yfalse. constraint:x‘和原图像x0的相似度,必须小于阈值ε.有多种计算方法,如L2-norm,L-infin…

NLP 对抗方法整理

NLP中对抗应用 1. 分词 , 可以用GAN来做,消除不同分词器的差异性 2. 风格迁移, 这个在图像中应用较多,在NLP中同样可行 3. 提高问答系统/阅读理解的性能. 4. 机器翻译应该也可以做,可以用GAN,不同的翻译规则 -> 趋于相同的答案那这么说,一切和消歧相关的其实都可以用GAN来做 QA对抗攻击目前能想到的: 1. 调换两个字符的位置 2. 调换两个单词的位置 3. 用空白embedding代替关键词embedding 4. 用相似词代替原有关键词 5. 梯度下降学习可以攻…

NLP中的对抗样本

自然语言处理方面的研究在近几年取得了惊人的进步,深度神经网络模型已经取代了许多传统的方法.但是,当前提出的许多自然语言处理模型并不能够反映文本的多样特征.因此,许多研究者认为应该开辟新的研究方法,特别是利用近几年较为流行的对抗样本生成和防御的相关研究方法. 使用对抗样本生成和防御的自然语言处理研究可以基本概括为以下三种:1. 用未察觉的扰动迷惑模型,并评价模型在这种情况下的表现:2. 有意的改变深度神经网络的输出:3. 检测深度神经网络是否过于敏感或过于稳定,并寻找防御攻击的方法. Jia 和…

深度学习攻防对抗（JCAI-19 阿里巴巴人工智能对抗算法竞赛）

最近在参加IJCAI-19阿里巴巴人工智能对抗算法竞赛(点击了解),初赛刚刚结束,防御第23名,目标攻击和无目标攻击出了点小问题,成绩不太好都是50多名,由于找不到队友,只好一个人跟一群大佬PK,双拳难敌四手,差点自闭放弃比赛了.由于知道对抗攻击的人很少,于是抽空写篇博客,简单科普一下人工智能与信息安全的交叉前沿研究领域:深度学习攻防对抗. 然后简单介绍一下IJCAI-19 阿里巴巴人工智能对抗算法竞赛目前,人脸识别.自动驾驶.刷脸支付.抓捕逃犯.美颜直播……人工智能与实体经济深度结合,彻底改…

对抗防御之对抗样本检测（一）：Feature Squeezing

引言在之前的文章中,我们介绍了对抗样本和对抗攻击的方法.在该系列文章中,我们介绍一种对抗样本防御的策略--对抗样本检测,可以通过检测对抗样本来强化DNN模型.本篇文章论述其中一种方法:feature squeezing,特征压缩通过将原始空间中许多不同特征向量对应的样本合并成一个样本,减少了对手可用的搜索空间.通过比较DNN模型对原始输入的预测与对实施特征压缩后的输入的预测,特征压缩能够以高精度检测出对抗样本,并且误报率很低.本文探讨两种特征压缩方法:减少每个像素的颜色位深度和空间平滑.这些简…

【论文笔记】A review of applications in federated learning（综述）

A review of applications in federated learning Authors Li Li, Yuxi Fan, Mike Tse, Kuo-Yi Lin Keywords Federated learning; Literature review; Citation analysis; Research front Abstract FL是一种协作地分散式隐私保护技术,它的目标是克服数据孤岛与数据隐私的挑战.本研究旨在回顾目前在工业工程中的应用,以指导未来的落地应…

【主动学习】Variational Adversarial Active Learning

本文记录了博主阅读ICCV2019一篇关于主动学习论文的笔记,第一篇博客,以后持续更新哈哈论文题目:<Variational AdVersarial Active Learning> 原文地址:https://arxiv.org/pdf/1904.00370 开源地址:https://github.com/sinhasam/vaal ·摘要主动学习旨在形成有效标记的算法,通过采样最有代表性的查询结果去使用标注专家标记.本文描述了一种基于池的半监督主动学习算法,以对抗的方式学习采样机制.通过…

李宏毅深度学习与人类语言处理-introduction

深度学习与人类语言处理(Deep learning for Human Language Processing) 李宏毅老师深度学习与人类语言处理课程笔记,请看正文这门课会学到什么? 为什么叫人类语言处理呢? 现在大家熟知的基本都是自然语言处理,那什么是自然语言呢? 在自然中发展出来的用于沟通的语言(例如中文.英文) 自然语言相反的是人造语言:例如编程(Java.python) 人类的自然语言分为两种形态:语音.文字所以这门课叫深度学习与人类语言处理大多数自然语言处理课程中语音处理只占了一…

Improved robustness of reinforcement learning policies upon conversion to spiking neuronal network platforms applied to Atari Breakout game

郑重声明:原文参见标题,如有侵权,请联系作者,将会撤销发布! arXiv:1903.11012v3 [cs.LG] 19 Aug 2019 Neural Networks, 25 November 2019 Abstract 深度强化学习(RL)在可以通过训练过的策略解决的任务上表现了出色的性能.在使用多层神经网络(NN)的前沿机器学习方法中,它起着主导作用.同时,深度RL要求对噪声的高灵敏度,不完整和误导输入数据.遵循生物学直觉,我们将使用脉冲神经网络(SNN)来解决深度RL解决方案的一些不足…

NeuroAttack: Undermining Spiking Neural Networks Security through Externally Triggered Bit-Flips

郑重声明:原文参见标题,如有侵权,请联系作者,将会撤销发布! arXiv:2005.08041v1 [cs.CR] 16 May 2020 Abstract 由于机器学习系统被证明是有效的,因此它被广泛应用于各种复杂的现实问题中.更具体地说,脉冲神经网络(SNN)是解决机器学习系统中精度.资源利用率和能效挑战的一种有前途的方法.虽然这些系统正在成为主流,但它们存在固有的安全性和可靠性问题.在这篇文章中,我们提出NeuroAttack,一种跨层攻击,通过利用低层的可靠性问题通过高层攻击来威胁SNN…

printf的格式控制的完整格式

printf的格式控制的完整格式:% - 0 m.n l或h 格式字符下面对组成格式说明的各项加以说明:①%:表示格式说明的起始符号,不可缺少.②-:有-表示左对齐输出,如省略表示右对齐输出.③0:有0表示指定空位填0,如省略表示指定空位不填.④m.n:m指域宽,即对应的输出项在输出设备上所占的字符数.N指精度.用于说明输出的实型数的小数位数.为指定n时,隐含的精度为n=6位.⑤l或h:l对整型指long型,对实型指double型.h用于将整型的格式字符修正为short型. -----…

C语言Printf格式

使用printf打印时发现,如果数据类型和打印使用的类型不一致,结果就是混乱的. 这是因为printf本身并不进行数据的类型转换,他只是把输入按照给定的数据格式输出,如果二者不匹配,那么由于不同数据类型的二进制存储方式不一样,读出的数据就是错误的. 所以,为求稳妥,在使用printf,fprintf,scanf,fscanf在类型不一致时还是手动转化吧! printf("%f\n",1.3); printf("%d %f\n",1.3,1.3); 打印结果: 1.3…

欧洲AI规范先行，值得肯定与借鉴 --- 我看欧盟发布AI道德规范

欧洲AI规范先行,值得肯定与借鉴 --- 我看欧盟发布AI道德规范 [事件回放] 近日,据外媒报道,欧盟委员会(EC)任命的人工智能高级专家小组发布了AI开发和使用的道德草案,内容长达37页,提出可信赖AI应具备两大要素,以及AI不可为的基本原则. 欧盟AI道德准则草案指出,可信赖的AI有两个组成要素:一.应尊重基本权利,适用法规.核心原则和价值观,以确保“道德目的”,二.兼具技术鲁棒性和可靠性,AI技术必须足够稳健及强大以对抗攻击,以及如果AI出现问题,应该有“应急计划”. 另外,可信赖AI的…

XXE攻防总结

1. 前言与XML格式相同的web漏洞,比较广泛的共有xpath注入.xml注入.soap注入.XXE四种. 2. XML相关的介绍针对xml语言,要明白两个特性:合法性与合理性.所谓合法性,是指语法层面(比如xml标签严格区分大小写,xml文档必须有一个根元素等).所谓的合理性是指xml文档要有意义就必须满足一定的约束要求.在xml技术里,可以编写一个文档来约束一个xml文档的书写规范,这称之为XML约束.常用的约束技术XML DTD和XML Schema.XML被设计为传输和存储数据,其焦点…