Progressive Neural Network  Google DeepMind 摘要:学习去解决任务的复杂序列 --- 结合 transfer (迁移),并且避免 catastrophic forgetting (灾难性遗忘) --- 对于达到 human-level intelligence 仍然是一个关键性的难题.本文提出的 progressive networks approach 朝这个方向迈了一大步:他们对 forgetting 免疫,并且可以结合 prior knowledg…

论文<A Deep Neural Network Compression Pipeline: Pruning, Quantization, Huffman Encoding> Pruning by learning only the important connections. all connections with weights below a threshold are removed from the network. retrain the network to learn the…

Progressive NN Progressive NN是第一篇我看到的deepmind做这个问题的.思路就是说我不能忘记第一个任务的网络,同时又能使用第一个任务的网络来做第二个任务. 为了不忘记之前的任务,他们的方法简单暴力:对所有的之前任务的网络,保留并且fix,每次有一个新任务就新建一个网络(一列). 而为了能使用过去的经验,他们同样也会将这个任务的输入输入进所有之前的网络,并且将之前网络的每一层的输出,与当前任务的网络每一层的输出一起输入下一层. 每次有一个新的任务,就重新添加一列,然…

Progressive Neural Architecture Search 2019-03-18 20:28:13 Paper:http://openaccess.thecvf.com/content_ECCV_2018/papers/Chenxi_Liu_Progressive_Neural_Architecture_ECCV_2018_paper.pdf Code (PyTorch version):https://github.com/chenxi116/PNASNet.pytorch…

论文笔记: Dual Deep Network for Visual Tracking  2017-10-17 21:57:08  先来看文章的流程吧 ... 可以看到,作者所总结的三个点在于: 1. 文章将 边界和形状信息结合到深度网络中.底层 feature 和 高层 feature 结合起来,得到 coarse prior map,然后用 ICA-R model 得到更加显著的物体轮廓,以得到更好的似然性模型: 2. Dual network 分别处理两路不同的网络,使得前景和背景更加具有…

读这篇论文“ Multi Column Deep Neural Network for Traffic Sign Classification”是为了更加理解,论文“Multi-column Deep Neural Networks for Image Classification”…

Roadmap Motivation Neural Network Hypothesis Neural Network Learning Optimization and Regularization Summary…

Diffusion-Convolutional Neural Networks (传播-卷积神经网络)2018-04-09 21:59:02 1. Abstract: 我们提出传播-卷积神经网络(DCNNs),一种处理 graph-structured data 的新模型.随着 DCNNs 的介绍,我们展示如何从 graph structured data 中学习基于传播的表示(diffusion-based representations),然后作为节点分类的有效基础.DCNNs 拥有多个有趣…

文章转自微信公众号:[机器学习炼丹术] 参考目录: 目录 0 概述 1 主要内容 1.1 Non local的优势 1.2 pytorch复现 1.3 代码解读 1.4 论文解读 2 总结 论文名称:"Non-local Neural Networks" 论文地址:https://arxiv.org/abs/1711.07971 0 概述 首先,这个论文中的模块,叫做non-local block,然后这个思想是基于NLP中的self-attention自注意力机制的.所以在提到CV中…

Fast Neural Architecture Search of Compact Semantic Segmentation Models via Auxiliary Cells 2019-04-24 14:49:10 Paper:https://arxiv.org/pdf/1810.10804.pdf 在过去的许多年,大家一直认为网络结构的设计是人类的事情.但是,近些年 NAS 的发展,打破了这种观念,用自动化的方法在给定的数据上设计合适的网络结构,变的势不可挡.本文在语义分割的任务上,尝…

Improving neural networks by preventing co-adaptation of feature detectors 是Hinton在2012年6月份发表的,从这篇文章开始提出dropout的相关理论.该文章中没有详细的理论说明,只是通过实验说明了dropout在大数据量的情况下是有效的.以下记录论文的重要部分 1.为了防止overfitting,使用dropout的方式,在数据量较大的情况下比较有效果. 2.hidden unit采用0.5的比例,随机被忽略.…

论文地址:https://dl.acm.org/doi/abs/10.1145/3330393.3330399 基于深度神经网络的回声消除回归方法 摘要 声学回声消除器(AEC)的目的是消除近端传声器接收到的混合信号中的声学回声.传统的方法是使用自适应有限脉冲响应(FIR)滤波器来识别房间脉冲响应(RIR),因为房间脉冲响应对各种野外场景都不具有鲁棒性.在本文中,我们提出了一种基于深度神经网络的回归方法,从近端和远端混合信号中提取的特征直接估计近端目标信号的幅值谱.利用深度学习强大的建模和泛化能…

自己讲论文做的异构图神经网络的ppt.再转变成博客有点麻烦,所以做成图片笔记. 论文链接:https://arxiv.org/abs/1903.07293…

Dueling Network Architectures for Deep Reinforcement Learning ICML 2016 Best Paper 摘要:本文的贡献点主要是在 DQN 网络结构上,将卷积神经网络提出的特征,分为两路走,即:the state value function 和 the state-dependent action advantage function. 这个设计的主要特色在于 generalize learning across actions w…

Summary 本文提出超越神经架构搜索(NAS)的高效神经架构搜索(ENAS),这是一种经济的自动化模型设计方法,通过强制所有子模型共享权重从而提升了NAS的效率,克服了NAS算力成本巨大且耗时的缺陷,GPU运算时间缩短了1000倍以上.在Penn Treebank数据集上,ENAS实现了55.8的测试困惑度:在CIFAR-10数据集上,其测试误差达到了2.89%,与NASNet不相上下(2.65%的测试误差) Research Objective 作者的研究目标 设计一种快速有效且耗费资源低…

1. 论文思想 将3D卷积分解为spatial convolution in each channel and linear projection across channels. (spatial convolution + linear projection.) 2. 两种卷积对比 3. 总结 简单概括就是spatial conv + linear projection,但是在spatial conv的时候用了一个residual connection,感觉很有道理,例如是一个vertica…

1. 论文思想 一维滤过器.将三维卷积分解成三个一维卷积.convolution across channels(lateral), vertical and horizontal direction. 2. 计算量对比 变换后计算量: 对比: 3. 总结 因为spatial convolution会带来大量的参数以及是非常耗时的,本文将三维卷积分解成了三个一维的卷积,极大的减少了计算量.其实,本文也引入了不对称卷积,再后来也证实了这种不对称卷积Nx1和1xN,对准确率是有提升的.…

Progressive Differentiable Architecture Search:Bridging the Depth Gap between Search and Evaluation 2019-04-30 11:46:21 Paper:https://arxiv.org/pdf/1904.12760.pdf Code:https://github.com/chenxin061/pdarts 本文是 DARTS 的改善,关于 DARTS 的细节,可以参考其原文(代码,博文). 本文…

[论文笔记系列]AutoML:A Survey of State-of-the-art (上) 上一篇文章介绍了Data preparation,Feature Engineering,Model Selection,这篇文章会继续介绍后面的内容. 4. Model Generation 4.2 Hyperparameters optimization 4.2.1 Grid&Random Search 下图很直观地展示了网格搜索(grid search)和随机搜索(random search)的…

[论文笔记]Malware Detection with Deep Neural Network Using Process Behavior 论文基本信息 会议: IEEE(2016 IEEE 40th Annual Computer Software and Applications Conference) 单位: Nagoya University(名古屋大学).NTT Secure Platform Laboratories(NTT安全平台实验室) 方法概述 数据:81个恶意软件日志文件…

论文笔记系列-Neural Network Search :A Survey 论文 笔记 NAS automl survey review reinforcement learning Bayesian Optimization evolutionary algorithm  注:本文主要是结合自己理解对原文献的总结翻译,有的部分直接翻译成英文不太好理解,所以查阅原文会更直观更好理解. 本文主要就Search Space.Search Strategy.Performance Estimatio…

Distilling the Knowledge in Neural Network Geoffrey Hinton, Oriol Vinyals, Jeff Dean preprint arXiv:1503.02531, 2015 NIPS 2014 Deep Learning Workshop 简单总结 主要工作(What) "蒸馏"(distillation):把大网络的知识压缩成小网络的一种方法 "专用模型"(specialist models):对于一个大…

1. 文章内容概述 本人精读了事件抽取领域的经典论文<Event Extraction via Dynamic Multi-Pooling Convolutional Neural Network>,并作出我的读书报告.这篇论文由中科院自动化所赵军.刘康等人发表于ACL2015会议,提出了用CNN模型解决事件抽取任务. 在深度学习没有盛行之前,解决事件抽取任务的传统方法,依赖于较为精细的特征设计已经一系列复杂的NLP工具,并且泛化能力较低.针对此类问题,这篇论文提出了一个新颖的事件抽取方法,能…

目录 摘要 一.引言 二.相关工作 基于体素网格的特征学习 直接从非结构化点云中学习特征 从多视图模型中学习特征 几何深度学习的学习特征 三.GAPNet架构 3.1 GAPLayer 局部结构表示 单头GAPLayer 多头机制 3.2注意力池化层 3.3 GAPNet架构 四.实验 4.1分类 数据集 网络结构 训练细节 结果 消融研究 4.2 语义部件分割 数据集 模型结构 训练细节 结果 五.结论 GAPNet: Graph Attention based Point Neural Ne…

目录 摘要 一.引言 二.相关工作 基于视图和体素的方法 点云上的深度学习 相关性学习 三.形状意识表示学习 3.1关系-形状卷积 建模 经典CNN的局限性 变换:从关系中学习 通道提升映射 3.2性质 置换不变性 对刚性变换鲁棒 点相互作用 权重共享 3.3再讨论2D网格卷积 3.4用于点云分析的RS-CNN 3.5应用细节 四.实验 4.1点云分析 形状分类 形状部件分割 法向量估计 4.2 RS-CNN设计分析 消融研究 聚合函数A 映射函数M 低级关系h 点置换和刚性变换的鲁棒性 4.3…

Hybrid computing using a neural network with dynamic external memory Nature  2016 原文链接:http://www.nature.com/nature/journal/vaop/ncurrent/pdf/nature20101.pdf 摘要:人工智能神经网络 在感知处理,序列学习,强化学习领域得到了非常大的成功,但是限制于其表示变量和数据结构的能力,长时间存储知识的能力,因为其缺少一个额外的记忆单元.此处,我们引入一…

Decoupled Deep Neural Network for Semi-supervised Semantic Segmentation xx…

题目:利用自适应概率网络设计一种在线脑机接口楼方法控制手部抓握 概要:这篇文章提出了一种新的脑机接口方法,控制手部,系列手部抓握动作和张开在虚拟现实环境中.这篇文章希望在现实生活中利用脑机接口技术控制抓握.BCI研究的一个难点是被试者训练问题.现在,大多数方法采用的离线的无反馈训练 我们研究了被试者在进行运动想象时候,是否能够在没有离线训练而直接就在线训练中取得良好的表现. 另外一个重要的话题是设计在线BCI系统,机器学习的方法分类以不同天数标记的大脑信号. 设计了概率神经网络 只在线训练了三分…

Person Re-identification with Deep Similarity-Guided Graph Neural Network 2018-07-27 17:41:45 Paper: https://128.84.21.199/pdf/1807.09975.pdf 本文将 Graph Neural Network (GNN) 应用到 person re-ID 的任务中,用于 model 不同 prob-gallery 之间的关系,将该信息也用于 feature learning…

ReNet: A Recurrent Neural Network Based Alternative to Convolutional Networks2018-03-05  11:13:05   1. 引言: 本文尝试用 基于四个方向的 RNN 来替换掉 CNN中的 convolutional layer(即:卷积+Pooling 的组合).通过在前一层的 feature 上进行四个方向的扫描,完成特征学习的过程. The recurrent layer ensures that each…