论文笔记系列-AutoFPN

原论文:Auto-FPN: Automatic Network Architecture Adaptation for Object Detection Beyond Classiﬁcation 之前的AutoML都是应用在图像分类或者语言模型上,AutoFPN成功地将这技术应用到了目标检测任务上. 传统two-stage目标检测网络结构在介绍AutoFPN之前,首先大致介绍一下two-stage目标检测网络的结构组成. backbone:即用来提取图像特征的网络结构,常用ResNet或VGG…

论文笔记系列-Neural Network Search ：A Survey

论文笔记系列-Neural Network Search :A Survey 论文笔记 NAS automl survey review reinforcement learning Bayesian Optimization evolutionary algorithm 注:本文主要是结合自己理解对原文献的总结翻译,有的部分直接翻译成英文不太好理解,所以查阅原文会更直观更好理解. 本文主要就Search Space.Search Strategy.Performance Estimatio…

论文笔记系列-Auto-DeepLab:Hierarchical Neural Architecture Search for Semantic Image Segmentation

Pytorch实现代码:https://github.com/MenghaoGuo/AutoDeeplab 创新点 cell-level and network-level search 以往的NAS算法都侧重于搜索cell的结构,即当搜索得到一种cell结构后只是简单地将固定数量的cell按链式结构连接起来组成最终的网络模型.AutoDeeplab则将如何cell的连接方式也纳入了搜索空间中,进一步扩大了网络结构的范围. dense image prediction 之前的大多数NAS算法都是…

【论文笔记系列】AutoML：A Survey of State-of-the-art （下）

[论文笔记系列]AutoML:A Survey of State-of-the-art (上) 上一篇文章介绍了Data preparation,Feature Engineering,Model Selection,这篇文章会继续介绍后面的内容. 4. Model Generation 4.2 Hyperparameters optimization 4.2.1 Grid&Random Search 下图很直观地展示了网格搜索(grid search)和随机搜索(random search)的…

论文笔记系列-Neural Architecture Search With Reinforcement Learning

摘要神经网络在多个领域都取得了不错的成绩,但是神经网络的合理设计却是比较困难的.在本篇论文中,作者使用递归网络去省城神经网络的模型描述,并且使用增强学习训练RNN,以使得生成得到的模型在验证集上取得最大的准确率. 在 CIFAR-10数据集上,基于本文提出的方法生成的模型在测试集上得到结果优于目前人类设计的所有模型.测试集误差率为3.65%,比之前使用相似结构的最先进的模型结构还有低0.09%,速度快1.05倍. 在 Penn Treebank数据集上,根据本文算法得到的模型能够生成一个新…

论文笔记系列-iCaRL： Incremental Classifier and Representation Learning

导言传统的神经网络都是基于固定的数据集进行训练学习的,一旦有新的,不同分布的数据进来,一般而言需要重新训练整个网络,这样费时费力,而且在实际应用场景中也不适用,所以增量学习应运而生. 增量学习主要旨在解决灾难性遗忘(Catastrophic-forgetting) 问题,本文将要介绍的<iCaRL: Incremental Classifier and Representation Learning>一文中对增量学习算法提出了如下三个要求: a) 当新的类别在不同时间出现,它都是可训练的 b…

【转载】论文笔记系列-Tree-CNN: A Deep Convolutional Neural Network for Lifelong Learning

一. 引出主题¶ 深度学习领域一直存在一个比较严重的问题——“灾难性遗忘”,即一旦使用新的数据集去训练已有的模型,该模型将会失去对原数据集识别的能力.为解决这一问题,本文提出了树卷积神经网络,通过先将物体分为几个大类,然后再将各个大类依次进行划分.识别,就像树一样不断地开枝散叶,最终叶节点得到的类别就是我们所要识别的类. 二.网络结构及学习策略¶ 1. 网络结构 Tree-CNN模型借鉴了层分类器,树卷积神经网络由节点构成,和数据结构中的树一样,每个节点都有自己的ID.父亲(Parent)及孩子…

论文笔记系列-Multi-Fidelity Automatic Hyper-Parameter Tuning via Transfer Series Expansion

论文: Multi-Fidelity Automatic Hyper-Parameter Tuning via Transfer Series Expansion 我们都知道实现AutoML的基本思路是不断选取不同的超参数组成一个网络结构,然后使用这个网络结构在整个数据集上进行评估 (假设评估值为\(f_H(X)=\mathcal{L}(δ,D^{train},D^{valid})\),X表示某一组超参数) ,最后选择出评估性能最好的网络参数. 但是基于full dataset进行评估cost太…

论文笔记系列-Simple And Efficient Architecture Search For Neural Networks

摘要本文提出了一种新方法,可以基于简单的爬山过程自动搜索性能良好的CNN架构,该算法运算符应用网络态射,然后通过余弦退火进行短期优化运行. 令人惊讶的是,这种简单的方法产生了有竞争力的结果,尽管只需要与训练单个网络相同数量级的资源.例如使用该算法,在单个GPU上训练12个小时就可以将CIFAR-10数据集的错误率降低到6%一下,训练一整天后能够降低到5%左右. 1.介绍背景不再详述,我们可以知道的是传统的优化算法并不能实现神经网络架构的自动搜索是因为其架构搜索空间是离散的(例如层数.层类型…

【论文笔记系列】AutoML：A Survey of State-of-the-art （上）

之前已经发过一篇文章来介绍我写的AutoML综述,最近把文章内容做了更新,所以这篇稍微细致地介绍一下.由于篇幅有限,下面介绍的方法中涉及到的细节感兴趣的可以移步到论文中查看. 论文地址:https://arxiv.org/abs/1908.00709 1. Introduction 以往的模型都是靠大佬们不断试错和调参炼丹炼出来的,而且不同场景或者不同类型的数据集又得设计不同的网络模型,而我等穷&菜鸡在设计模型的天赋和计算资源上都比不过大佬们.幸运的是终于有体恤民意的大佬提出了Neural Ar…

论文笔记系列-Well Begun Is Half Done：Generating High-Quality Seeds for Automatic Image Dataset Construction from Web

MARSGGBO♥原创 2019-3-2…

论文笔记系列-Speeding Up Automatic Hyperparameter Optimization of Deep Neural Networks by Extrapolation of Learning Curves

I. 背景介绍 1. 学习曲线(Learning Curve) 我们都知道在手工调试模型的参数的时候,我们并不会每次都等到模型迭代完后再修改超参数,而是待模型训练了一定的epoch次数后,通过观察学习曲线(learning curve, lc) 来判断是否有必要继续训练下去.那什么是学习曲线呢?主要分为两类: 1.模型性能是训练时间或者迭代次数的函数:performance=f(time) 或 performance=f(epoch).这个也就是我们常用到的方法,即横轴记录训练时间(或迭代次数)…

论文笔记系列-DARTS: Differentiable Architecture Search

Summary 我的理解就是原本节点和节点之间操作是离散的,因为就是从若干个操作中选择某一个,而作者试图使用softmax和relaxation(松弛化)将操作连续化,所以模型结构搜索的任务就转变成了对连续变量\(α={α^{(i,j)}}\)以及\(w\)的学习.(这里\(α\)可以理解成the encoding of the architecture). 之后就是迭代计算\(w\)和\(α\),这是一个双优化问题,具体处理细节参见3.Approximation Research Object…

论文笔记系列-Efficient Neural Architecture Search via Parameter Sharing

Summary 本文提出超越神经架构搜索(NAS)的高效神经架构搜索(ENAS),这是一种经济的自动化模型设计方法,通过强制所有子模型共享权重从而提升了NAS的效率,克服了NAS算力成本巨大且耗时的缺陷,GPU运算时间缩短了1000倍以上.在Penn Treebank数据集上,ENAS实现了55.8的测试困惑度:在CIFAR-10数据集上,其测试误差达到了2.89%,与NASNet不相上下(2.65%的测试误差) Research Objective 作者的研究目标设计一种快速有效且耗费资源低…

论文笔记：Mastering the game of Go with deep neural networks and tree search

Mastering the game of Go with deep neural networks and tree search Nature 2015 这是本人论文笔记系列第二篇 Nature 的文章了,第一篇是 DQN.好紧张!好兴奋! 本文可谓是在世界上赚够了吸引力! 围棋游戏被看做是 AI 领域最有挑战的经典游戏,由于其无穷的搜索空间和评价位置和移动的困难.本文提出了一种新的方法给计算机来玩围棋游戏,即:利用 "value network" 来评价广泛的位置和 “p…

Person Re-identification 系列论文笔记（一）：Scalable Person Re-identification: A Benchmark

打算整理一个关于Person Re-identification的系列论文笔记,主要记录近年CNN快速发展中的部分有亮点和借鉴意义的论文. 论文笔记流程采用contributions->algorithm pipeline>experiments->个人评价 Scalable Person Re-identification: A Benchmark Zheng L, Shen L, Tian L, et al. Scalable Person Re-identification: A…

Deep Learning论文笔记之（四）CNN卷积神经网络推导和实现（转）

Deep Learning论文笔记之(四)CNN卷积神经网络推导和实现 zouxy09@qq.com http://blog.csdn.net/zouxy09 自己平时看了一些论文,但老感觉看完过后就会慢慢的淡忘,某一天重新拾起来的时候又好像没有看过一样.所以想习惯地把一些感觉有用的论文中的知识点总结整理一下,一方面在整理过程中,自己的理解也会更深,另一方面也方便未来自己的勘察.更好的还可以放到博客上面与大家交流.因为基础有限,所以对论文的一些理解可能不太正确,还望大家不吝指正…

Hadoop学习笔记系列文章导航

一.为何要学习Hadoop? 这是一个信息爆炸的时代.经过数十年的积累,很多企业都聚集了大量的数据.这些数据也是企业的核心财富之一,怎样从累积的数据里寻找价值,变废为宝炼数成金成为当务之急.但数据增长的速度往往比cpu和内存性能增长的速度还要快得多.要处理海量数据,如果求助于昂贵的专用主机甚至超级计算机,成本无疑很高,有时即使是保存数据,也需要面对高成本的问题,因为具有海量数据容量的存储设备,价格往往也是天文数字.成本和IT能力成为了海量数据分析的主要瓶颈. Hadoop这个开源产品的出现,打破…

MongoDB学习笔记系列

回到占占推荐博客索引该来的总会来的,Ef,Redis,MVC甚至Sqlserver都有了自己的系列,MongoDB没有理由不去整理一下,这个系列都是平时在项目开发时总结出来的,希望可以为各位一些帮助和启发,文章中有对新技术的研究(Mongo驱动),对老技术的回顾(代码重构),还有对架构设计的阐述等(面向接口编程,对扩展开放,对修改关闭,所以出现了IMongoRepository接口). MongoDB学习笔记系列~目录 MongoDB学习笔记~环境搭建 (2015-03-30 10:34) M…

C#温故知新：《C#图解教程》读书笔记系列

一.此书到底何方神圣? 本书是广受赞誉C#图解教程的最新版本.作者在本书中创造了一种全新的可视化叙述方式,以图文并茂的形式.朴实简洁的文字,并辅之以大量表格和代码示例,全面.直观地阐述了C#语言的各种特性.新版本除了精心修订旧版内容外,还全面涵盖了C# 5.0的新增特性,比如异步编程.调用者信息.case表达式.带参数的泛型构造函数.支持null类型运算等.通过本书,读者能够快速.深入地理解C#,为自己的编程生涯打下良好的基础. 本书是C#入门的经典好书,适合对C#感兴趣的所有读者.Daniel…