目录 概 主要内容 广义对比损失 不同的先验 不同的权重比 Feature Suppression DigitOnImageNet dataset RandBit dataset 代码 [Chen T. & Li L. Intriguing Properties of Contrastive Losses. arXiv preprint arXiv 2011.02803, 2020.] 概 普通的对比损失有一种广义的表示方法, 改变alignment和distribution项的权重比有何影响?…

郑重声明:原文参见标题,如有侵权,请联系作者,将会撤销发布! https://arxiv.org/abs/1312.6199v4 Abstract 深度神经网络是近年来在语音和视觉识别任务中取得最新性能的高度表达模型.虽然它们的表现力是它们成功的原因,但它也会使它们学习不可理解的解决方案,这些解决方案可能具有反直觉的特性.在本文中,我们介绍了两个这样的性质. 首先,根据不同的单元分析方法,我们发现单个高层单元和高层单元的随机线性组合之间没有区别.这表明,在神经网络的高层中,包含语义信息的是空间,…

  本文转自:https://github.com/zhangqianhui/AdversarialNetsPapers AdversarialNetsPapers The classical Papers about adversarial nets The First paper ✅ [Generative Adversarial Nets] [Paper] [Code](the first paper about it) Unclassified ✅ [Deep Generative Im…

ICLR 2014 International Conference on Learning Representations Apr 14 - 16, 2014, Banff, Canada Workshop Track Submitted Papers Stochastic Gradient Estimate Variance in Contrastive Divergence and Persistent Contrastive Divergence Mathias Berglund, Ta…

转自:https://github.com/terryum/awesome-deep-learning-papers Awesome - Most Cited Deep Learning Papers A curated list of the most cited deep learning papers (since 2010) I believe that there exist classic deep learning papers which are worth reading re…

On Explainability of Deep Neural Networks « Learning F# Functional Data Structures and Algorithms is Out!   On Explainability of Deep Neural Networks During a discussion yesterday with software architect extraordinaire David Lazar regarding how every…

本文同步自我的知乎专栏: From Beijing with Love 机器学习和优化问题 很多机器学习方法可以归结为优化问题,对于一个参数模型,比如神经网络,用来表示的话,训练模型其实就是下面的参数优化问题: 其中L是loss function,比如神经网络中分类常用的cross-entropy. CNN学到了什么? 特征(Representation).把原始图像看做一个维度是像素×通道的向量,经过各种复杂的CNN结构,其实只不过成了另一个向量.这个向量所在的空间也许有更好的线性可分性,也许…

同步自我的知乎专栏:https://zhuanlan.zhihu.com/p/26122612 上篇文章 瞎谈CNN:通过优化求解输入图像 - 知乎专栏 中提到过对抗样本,这篇算是针对对抗样本的一个小小扩充:用Fast Gradient Sign方法在Caffe中生成对抗样本. 本文代码的完整例子可以在下面地址下载: frombeijingwithlove/dlcv_for_beginners Fast Gradient Sign方法 先回顾一下 瞎谈CNN:通过优化求解输入图像 - 知乎专栏 …

转自:http://www.cleverhans.io/security/privacy/ml/2017/02/15/why-attacking-machine-learning-is-easier-than-defending-it.html   Is attacking machine learning easier than defending it? Feb 15, 2017 by Ian Goodfellow and Nicolas Papernot In our first post…

My deep learning reading list 主要是顺着Bengio的PAMI review的文章找出来的.包括几本综述文章,将近100篇论文,各位山头们的Presentation.全部都可以在google上找到.BTW:由于我对视觉尤其是检测识别比较感兴趣,所以关于DL的应用主要都是跟Vision相关的.在其他方面比如语音或者NLP,很少或者几乎没有.个人非常看好CNN和Sparse Autoencoder,这个list也反映了我的偏好,仅供参考. Review Book Lis…