目录 概 主要内容 二分类模型 为线性 为一般二分类 多分类问题 仿射 为一般多分类 Moosavidezfooli S, Fawzi A, Frossard P, et al. DeepFool: A Simple and Accurate Method to Fool Deep Neural Networks[C]. computer vision and pattern recognition, 2016: 2574-2582. @article{moosavidezfooli2016de…
https://www.cs.toronto.edu/~hinton/absps/JMLRdropout.pdf Deep neural nets with a large number of parameters are very powerful machine learning systems. However, overfitting is a serious problem in such networks. Large networks are also slow to use, m…
目录 概 主要内容 实验的指标 Dan Hendrycks, Norman Mu,, et. al, AUGMIX : A SIMPLE DATA PROCESSING METHOD TO IMPROVE ROBUSTNESS AND UNCERTAINTY. 概 本文介绍AUGMIX算法--对现有的的一些augmentation方法进行混用, 并构建了一个新的损失函数. 主要内容 其中\(\mathrm{Dirichlet}\)为狄利克雷分布. 通过实验指出, Augmentation的混用(…
摘要 本文提出了一种新方法,可以基于简单的爬山过程自动搜索性能良好的CNN架构,该算法运算符应用网络态射,然后通过余弦退火进行短期优化运行. 令人惊讶的是,这种简单的方法产生了有竞争力的结果,尽管只需要与训练单个网络相同数量级的资源.例如使用该算法,在单个GPU上训练12个小时就可以将CIFAR-10数据集的错误率降低到6%一下,训练一整天后能够降低到5%左右. 1.介绍 背景不再详述,我们可以知道的是传统的优化算法并不能实现神经网络架构的自动搜索是因为其架构搜索空间是 离散的(例如层数.层类型…
本篇是基于 NAS 的图像超分辨率的文章,知名学术性自媒体 Paperweekly 在该文公布后迅速跟进,发表分析称「属于目前很火的 AutoML / Neural Architecture Search,论文基于弹性搜索(宏观+微观)在超分辨率问题上取得了非常好的结果.这种架构搜索在相当的 FLOPS 下生成了多个模型,结果完胜 ECCV 2018 明星模型 CARNM,这应该是截止至 2018 年可比 FLOPS 约束下的 SOTA(涵盖 ICCV 2017 和 CVPR 2018). 而达…
neurons and simple neural networks pynest – nest模拟器的界面 神经模拟工具(NEST:www.nest-initiative.org)专为仿真点神经元的大型异构网络而设计. 它是根据GPL许可证发布的开源软件. 该模拟器带有Python的接口[4]. 图1说明了用户的模拟脚本(mysimulation.py)和NEST模拟器之间的交互. [2]包含该接口实现的技术详细描述,本文的部分内容均基于此参考. 仿真内核使用C ++编写,以获得最高性能的仿真…
DCAN: Deep Contour-Aware Networks for Accurate Gland Segmentation 作者:Hao Chen Xiaojuan Qi Lequan Yu Pheng-Ann Heng 香港中文大学 文章:https://arxiv.org/abs/1604.02677 背景:腺体的形态与癌症的恶性程度息息相关. 目的:检测腺体并同时分离接触腺体 难点: 病例分级很多.疾病种类各不相同 相互接触的腺体难以准确分离 病变细胞与正常细胞差异性很大 人工切片…
simple factory good:1 devide implementation and initialization2 use config file can make system more flexible (reflection) bad:1 all initialization work in factory. when the logic is complex or too many products, the factory will be too complex. hard…
前言 致力于滤波器的剪枝,论文的方法不改变原始网络的结构.论文的方法是基于下一层的统计信息来进行剪枝,这是区别已有方法的. VGG-16上可以减少3.31FLOPs和16.63倍的压缩,top-5的准确率只下降0.52%.在ResNet-50上可以降低超过一半的参数量和FLOPs,top-5的准确率只降低1%. 如上图所示,在虚线框中找到那些弱通道(weak channels)和他们对应的滤波器(黄色高亮部分),这些通道和对应的滤波器对整体性能贡献较小,因此可以丢弃,这样就得到一个剪枝后的模型,…
论文地址:https://arxiv.org/abs/1707.06342 主要思想 选择一个channel的子集,然后让通过样本以后得到的误差最小(最小二乘),将裁剪问题转换成了优化问题. 这篇论文题目说是对filter的裁剪,其实是对channel的裁剪,对channel裁剪以后,当然涉及filter的裁剪. 对channel裁剪以后当然可以实现压缩和加速. 实现细节 在i+1层中选择channel的子集,因为filter i+1层的个数没有变,所以layer i + 2层的尺寸大小也没有变…
先上菜单: 摘要: Deep neural nets with a large number of parameters are very powerful machine learning systems. However, overfitting is a serious problem in such networks. Large networks are also slow to use, making it difficult to deal with overfitting by…
  本文转自:https://github.com/zhangqianhui/AdversarialNetsPapers AdversarialNetsPapers The classical Papers about adversarial nets The First paper ✅ [Generative Adversarial Nets] [Paper] [Code](the first paper about it) Unclassified ✅ [Deep Generative Im…
http://www.cv-foundation.org/openaccess/CVPR2016.py ORAL SESSION Image Captioning and Question Answering Monday, June 27th, 9:00AM - 10:05AM. These papers will also be presented at the following poster session 1   Deep Compositional Captioning: Descr…
CVPR2016 Paper list ORAL SESSIONImage Captioning and Question Answering Monday, June 27th, 9:00AM - 10:05AM. These papers will also be presented at the following poster session 1 Deep Compositional Captioning: Describing Novel Object Categories Witho…
http://handong1587.github.io/deep_learning/2015/10/09/training-dnn.html  //转载于 Training Deep Neural Networks  Published: 09 Oct 2015  Category: deep_learning Tutorials Popular Training Approaches of DNNs — A Quick Overview https://medium.com/@asjad/p…
0. 引言 神经网络中的注意机制就是参考人类的视觉注意机制原理.即人眼在聚焦视野区域中某个小区域时,会投入更多的注意力到这个区域,即以"高分辨率"聚焦于图像的某个区域,同时以"低分辨率"感知周围图像,然后随着时间的推移调整焦点. 参考文献: [arxiv] - .attention search [CV] - Mnih V, Heess N, Graves A. Recurrent models of visual attention[J]. arXiv prepr…
http://blog.csdn.net/jiandanjinxin/article/details/54087592 日前,LightOn CEO 兼联合创始人 Igor Carron 在其博客上放出了其收集到的 NIPS 2016 论文的实现(一共 22 个).他写道:「在 Reddit 上,peterkuharvarduk 决定编译所有来自 NIPS 2016 的可用实现,我很高兴他使用了『实现( implementation)』这个词,因为这让我可以快速搜索到这些项目.」除了 peter…
Batch Normalization(简称 BN)自从提出之后,因为效果特别好,很快被作为深度学习的标准工具应用在了各种场合.BN 大法虽然好,但是也存在一些局限和问题,诸如当 BatchSize 太小时效果不佳.对 RNN 等动态网络无法有效应用 BN 等.针对 BN 的问题,最近两年又陆续有基于 BN 思想的很多改进 Normalization 模型被提出.BN 是深度学习进展中里程碑式的工作之一,无论是希望深入了解深度学习,还是在实践中解决实际问题,BN 及一系列改进 Normaliza…
加速网络收敛——BN.LN.WN与selu 自Batch Norm出现之后,Layer Norm和Weight Norm作为Batch Norm的变体相继出现.最近又出来一个很”简单”的激活函数Selu,能够实现automatic rescale and shift.这些结构都是为了保证网络能够堆叠的更深的基本条件之一.除了这四种,还有highway network与resnet. Batch Norm BN对某一层激活值做batch维度的归一化,也就是对于每个batch,该层相应的output…
来源:https://www.chainnews.com/articles/504060702149.htm 机器之心专栏 作者:张俊林 Batch Normalization (简称 BN)自从提出之后,因为效果特别好,很快被作为深度学习的标准工具应用在了各种场合.BN 大法虽然好,但是也存在一些局限和问题,诸如当 BatchSize 太小时效果不佳.对 RNN 等动态网络无法有效应用 BN 等.针对 BN 的问题,最近两年又陆续有基于 BN 思想的很多改进 Normalization 模型被…
详解深度学习中的Normalization,BN/LN/WN 讲得是相当之透彻清晰了 深度神经网络模型训练之难众所周知,其中一个重要的现象就是 Internal Covariate Shift. Batch Norm 大法自 2015 年由Google 提出之后,就成为深度学习必备之神器.自 BN 之后, Layer Norm / Weight Norm / Cosine Norm 等也横空出世.本文从 Normalization 的背景讲起,用一个公式概括 Normalization 的基本思…
人脸识别中Softmax-based Loss的演化史  旷视科技 近期,人脸识别研究领域的主要进展之一集中在了 Softmax Loss 的改进之上:在本文中,旷视研究院(上海)(MEGVII Research Shanghai)从两种主要的改进方式——做归一化以及增加类间 margin——展开梳理,介绍了近年来基于 Softmax 的 Loss 的研究进展. 引言 Softmax简介 归一化(Normalization) Weight Normalization Feature Normal…
前面我们学习过深度学习中用于加速网络训练.提升网络泛化能力的两种策略:Batch Normalization(Batch Normalization)和Layer Normalization(LN).今天讨论另一种与它们类似的策略:Weight Normalization(Weight Normalization).Weight Normalization是Batch Normalization的一种变体,与Batch Normalization最大不同点:对神经网络的权值向量W进行参数重写Re…
前言: 归一化相关技术已经经过了几年的发展,目前针对不同的应用场合有相应的方法,在本文将这些方法做了一个总结,介绍了它们的思路,方法,应用场景.主要涉及到:LRN,BN,LN, IN, GN, FRN, WN, BRN, CBN, CmBN等. 本文又名"BN和它的后浪们",是因为几乎在BN后出现的所有归一化方法都是针对BN的三个缺陷改进而来,在本文也介绍了BN的三个缺陷.相信读者会读完此文会对归一化方法有个较为全面的认识和理解. LRN(2012) 局部响应归一化(Local Res…
论文地址:MelGAN:条件波形合成的生成对抗网络 代码地址:https://github.com/descriptinc/melgan-neurips 音频实例:https://melgan-neurips.github.io/ 配有MelGAN解码器的音乐翻译网络:https://www.descript.com/overdub 摘要 以前的工作(Donahue等人,2018a:Engel等人,2019a)已经发现用GAN生成相干的原始音频波形是一个挑战.在本文中,我们证明了通过引入一系列结…
https://www.quora.com/How-do-I-learn-machine-learning-1?redirected_qid=6578644   How Can I Learn X? Learning Machine Learning Learning About Computer Science Educational Resources Advice Artificial Intelligence How-to Question Learning New Things Lea…
About this Course If you want to break into cutting-edge AI, this course will help you do so. Deep learning engineers are highly sought after, and mastering deep learning will give you numerous new career opportunities. Deep learning is also a new "s…
@http://www-cs-faculty.stanford.edu/people/karpathy/cvpr2015papers/ CVPR 2015 papers (in nicer format than this) maintained by @karpathy NEW: This year I also embedded the (1,2-gram) tfidf vectors of all papers with t-sne and placed them in an interf…
转自:https://github.com/terryum/awesome-deep-learning-papers Awesome - Most Cited Deep Learning Papers A curated list of the most cited deep learning papers (since 2010) I believe that there exist classic deep learning papers which are worth reading re…
This article come from HEREARS-L1: Learning Tuesday 10:30–12:30; Oral Session; Room: Leonard de Vinci 10:30  ARS-L1.1—GROUP STRUCTURED DIRTY DICTIONARY LEARNING FOR CLASSIFICATION Yuanming Suo, Minh Dao, Trac Tran, Johns Hopkins University, USA; Hojj…