The Evolved Transformer - Enhancing Transformer with Neural Architecture Search 2019-03-26 19:14:33   Paper:"The Evolved Transformer." So, David R., Chen Liang, and Quoc V. Le.  arXiv preprint arXiv:1901.11117 (2019).  Code: https://github.com/t…

Fast Neural Architecture Search of Compact Semantic Segmentation Models via Auxiliary Cells 2019-04-24 14:49:10 Paper:https://arxiv.org/pdf/1810.10804.pdf 在过去的许多年,大家一直认为网络结构的设计是人类的事情.但是,近些年 NAS 的发展,打破了这种观念,用自动化的方法在给定的数据上设计合适的网络结构,变的势不可挡.本文在语义分割的任务上,尝…

Illustrated: Efficient Neural Architecture Search --- Guide on macro and micro search strategies in ENAS 2019-03-27 09:41:07 This blog is copied from: https://towardsdatascience.com/illustrated-efficient-neural-architecture-search-5f7387f9fb6 Designi…

ProxylessNAS: Direct Neural Architecture Search on Target Task and Hardware 2019-03-19 16:13:18 Paper:https://openreview.net/forum?id=HylVB3AqYm Code:https://github.com/MIT-HAN-LAB/ProxylessNAS 1. Background and Motivation:  先来看看算法的名字:ProxylessNAS,将其…

Progressive Neural Architecture Search 2019-03-18 20:28:13 Paper:http://openaccess.thecvf.com/content_ECCV_2018/papers/Chenxi_Liu_Progressive_Neural_Architecture_ECCV_2018_paper.pdf Code (PyTorch version):https://github.com/chenxi116/PNASNet.pytorch…

Auto-DeepLab: Hierarchical Neural Architecture Search for Semantic Image Segmentation2019-03-18 14:45:44 Paper:https://arxiv.org/pdf/1901.02985 Offical TensorFlow Code: https://github.com/tensorflow/models/blob/master/research/deeplab/core/nas_networ…

摘要 神经网络在多个领域都取得了不错的成绩,但是神经网络的合理设计却是比较困难的.在本篇论文中,作者使用 递归网络去省城神经网络的模型描述,并且使用 增强学习训练RNN,以使得生成得到的模型在验证集上取得最大的准确率. 在 CIFAR-10数据集上,基于本文提出的方法生成的模型在测试集上得到结果优于目前人类设计的所有模型.测试集误差率为3.65%,比之前使用相似结构的最先进的模型结构还有低0.09%,速度快1.05倍. 在 Penn Treebank数据集上,根据本文算法得到的模型能够生成一个新…

本篇是基于 NAS 的图像超分辨率的文章,知名学术性自媒体 Paperweekly 在该文公布后迅速跟进,发表分析称「属于目前很火的 AutoML / Neural Architecture Search,论文基于弹性搜索(宏观+微观)在超分辨率问题上取得了非常好的结果.这种架构搜索在相当的 FLOPS 下生成了多个模型,结果完胜 ECCV 2018 明星模型 CARNM,这应该是截止至 2018 年可比 FLOPS 约束下的 SOTA(涵盖 ICCV 2017 和 CVPR 2018). 而达…

Research Guide for Neural Architecture Search 2019-09-19 09:29:04 This blog is from: https://heartbeat.fritz.ai/research-guide-for-neural-architecture-search-b250c5b1b2e5 From training to experimenting with different parameters, the process of design…

Neural Architecture Search — Limitations and Extensions 2019-09-16 07:46:09 This blog is from: https://towardsdatascience.com/neural-architecture-search-limitations-and-extensions-8141bec7681f For the past couple of years, researchers and companies h…

论文为Google Brain在16年推出的使用强化学习的Neural Architecture Search方法,该方法能够针对数据集搜索构建特定的网络,但需要800卡训练一个月时间.虽然论文的思路有很多改进的地方,但该论文为AutoML的经典之作,为后面很多的研究提供了思路,属于里程碑式的论文,十分值得认真研读,后面读者会持续更新AutoML的论文,有兴趣的可以持续关注   来源:晓飞的算法工程笔记 公众号 论文:Neural Architecture Search with Reinfor…

Summary 本文提出超越神经架构搜索(NAS)的高效神经架构搜索(ENAS),这是一种经济的自动化模型设计方法,通过强制所有子模型共享权重从而提升了NAS的效率,克服了NAS算力成本巨大且耗时的缺陷,GPU运算时间缩短了1000倍以上.在Penn Treebank数据集上,ENAS实现了55.8的测试困惑度:在CIFAR-10数据集上,其测试误差达到了2.89%,与NASNet不相上下(2.65%的测试误差) Research Objective 作者的研究目标 设计一种快速有效且耗费资源低…

论文地址:https://arxiv.org/abs/1611.01578 1. 论文思想 强化学习,用一个RNN学一个网络参数的序列,然后将其转换成网络,然后训练,得到一个反馈,这个反馈作用于RNN网络,用于生成新的序列. 2. 整体架构 3. RNN网络 4. 具体实现 因为每生成一个网络,都会训练一遍,Google用了800个GPU,训练了12800个网络,它采用的是分布式训练的方法. 5. 结论…

Pytorch实现代码:https://github.com/MenghaoGuo/AutoDeeplab 创新点 cell-level and network-level search 以往的NAS算法都侧重于搜索cell的结构,即当搜索得到一种cell结构后只是简单地将固定数量的cell按链式结构连接起来组成最终的网络模型.AutoDeeplab则将如何cell的连接方式也纳入了搜索空间中,进一步扩大了网络结构的范围. dense image prediction 之前的大多数NAS算法都是…

…

摘要 本文提出了一种新方法,可以基于简单的爬山过程自动搜索性能良好的CNN架构,该算法运算符应用网络态射,然后通过余弦退火进行短期优化运行. 令人惊讶的是,这种简单的方法产生了有竞争力的结果,尽管只需要与训练单个网络相同数量级的资源.例如使用该算法,在单个GPU上训练12个小时就可以将CIFAR-10数据集的错误率降低到6%一下,训练一整天后能够降低到5%左右. 1.介绍 背景不再详述,我们可以知道的是传统的优化算法并不能实现神经网络架构的自动搜索是因为其架构搜索空间是 离散的(例如层数.层类型…

PNAS 2018-ECCV-Progressive Neural Architecture Search Johns Hopkins University(霍普金斯大学) && Google AI && Stanford GitHub:300+ stars Citation:504 Motivation current techniques usually fall into one of two categories: evolutionary algorithms(E…

论文笔记系列-Neural Network Search :A Survey 论文 笔记 NAS automl survey review reinforcement learning Bayesian Optimization evolutionary algorithm  注:本文主要是结合自己理解对原文献的总结翻译,有的部分直接翻译成英文不太好理解,所以查阅原文会更直观更好理解. 本文主要就Search Space.Search Strategy.Performance Estimatio…

前言: transformer用于图像方面的应用逐渐多了起来,其主要做法是将图像进行分块,形成块序列,简单地将块直接丢进transformer中.然而这样的做法忽略了块之间的内在结构信息,为此,这篇论文提出了一种同时利用了块内部序列和块之间序列信息的transformer模型,称之为Transformer-iN-Transformer,简称TNT. 主要思想…

Research Guide: Pruning Techniques for Neural Networks 2019-11-15 20:16:54 Original: https://heartbeat.fritz.ai/research-guide-pruning-techniques-for-neural-networks-d9b8440ab10d Pruning is a technique in deep learning that aids in the development of…

DMCP 2020-CVPR-DMCP Differentiable Markov Channel Pruning for Neural Networks Shaopeng Guo(sensetime 商汤) GitHub: 64 stars https://github.com/zx55/dmcp Introduction propose a novel differentiable channel pruning method named Differentiable Markov Chan…

作者:guan-yuan 项目地址:awesome-AutoML-and-Lightweight-Models 博客地址:http://www.lib4dev.in/info/guan-yuan/awesome-AutoML-and-Lightweight-Models/163359611 awesome-AutoML-and-Lightweight-Models A list of high-quality (newest) AutoML works and lightweight model…

Awesome-AutoML-and-Lightweight-Models 原文:http://bbs.cvmart.net/articles/414/zi-yuan-automl-yu-qing-liang-mo-xing-da-lie-biao A list of high-quality (newest) AutoML works and lightweight models including 1.) Neural Architecture Search, 2.) Lightweight…

不错的 Tutorial: 从零到一学习计算机视觉:朋友圈爆款背后的计算机视觉技术与应用 | 公开课笔记 分享人 | 叶聪(腾讯云 AI 和大数据中心高级研发工程师) 整    理 | Leo 出    品 | 人工智能头条(公众号ID:AI_Thinker) 刚刚过去的五四青年节,你的朋友圈是否被这样的民国风照片刷屏?用户只需要在 H5 页面上提交自己的头像照片,就可以自动生成诸如此类风格的人脸比对照片,简洁操作的背后离不开计算机视觉技术和腾讯云技术的支持. 那么这个爆款应用的背后用到了哪些计…

逐步会更新阅读过的AutoML文献(其实是NAS),以及自己的一些思考 Progressive Neural Architecture Search,2018ECCV的文章: 目的是:Speed up NAS by proposing an alternative algorithm (Progressive Search), 具体方法:采取Learning transferable architectures for scalable image recognition中相似的搜索空间,也就是…

[论文笔记系列]AutoML:A Survey of State-of-the-art (上) 上一篇文章介绍了Data preparation,Feature Engineering,Model Selection,这篇文章会继续介绍后面的内容. 4. Model Generation 4.2 Hyperparameters optimization 4.2.1 Grid&Random Search 下图很直观地展示了网格搜索(grid search)和随机搜索(random search)的…

CVPR2020无人驾驶论文摘要 无人 导读/ Starsky是一种比较独特的方案.它是在高速上自动驾驶,第一公里最后一公里采用远程驾驶的模式,Starsky的卡车可以由人类远程操作.没有使用较为昂贵的激光雷达,而是选择了摄像头+毫米波雷达的传感器配置. 国际计算机视觉与模式识别会议(CVPR)是IEEE一年一度的学术性会议,在世界范围内具有顶级的权威性与影响力,同时也是圈内学者关注和交流的重要场所. 素有计算机视觉领域"奥斯卡"之称的CVPR有着相当严苛的录用标准.据统计,会议往年的…

你只需要看一个层次的特征 摘要:本文回顾了单阶段检测器的特征金字塔网络(FPN),指出FPN的成功在于其对目标检测优化问题的分治解决,而不是多尺度特征融合.从优化的角度来看,我们引入了一种替代的方法来解决这个问题,而不是采用复杂的特征金字塔,这个方法就是利用一个层次的特征进行检测.在简单有效的基础上,提出了You Only Look One-level Feature (YOLOF).在我们的方法中,提出了两个关键组件,膨胀编码器和均匀匹配,并带来了相当大的改进.在COCO基准上的大量实验证明了…

Meta Learning/ Learning to Learn/ One Shot Learning/ Lifelong Learning 2018-08-03 19:16:56 本文转自:https://github.com/floodsung/Meta-Learning-Papers 1 Legacy Papers [1] Nicolas Schweighofer and Kenji Doya. Meta-learning in reinforcement learning. Neural…

Video Architecture Search 2019-10-20 06:48:26 This blog is from: https://ai.googleblog.com/2019/10/video-architecture-search.html Posted by Michael S. Ryoo, Research Scientist and AJ Piergiovanni, Student Researcher, Robotics at Google Video understa…