Alexnet - 论文研读个人笔记 一.论文架构 摘要: 简要说明了获得成绩.网络架构.技巧特点 1.introduction 领域方向概述 前人模型成绩 本文具体贡献 2.The Dataset 数据集来源,训练数据进行的一些预处理 3.The Architecture 网络模型大体组成 ReLU Training on Multiple GPUs LRN (Local Response Normalization) Overlapping Pooling 网络模型整个具体架构 4.Redu…

Inception-v4, Inception-ResNet and the Impact of Residual Connections on Learning 原文链接 摘要 向传统体系结构中引入残差连接使网络的性能变得更好,这提出了一个问题,即将Inception架构与残差连接结合起来是否能带来一些好处.在此,研究者通过实验表明使用残差连接显著地加速了Inception网络的训练.也有一些证据表明,相比没有残差连接的消耗相似的Inception网络,残差Inception网络在性能上具有微…

Rethinking the Inception Architecture for Computer Vision 原文链接 摘要 卷积网络是目前最新的计算机视觉解决方案的核心,对于大多数任务而言,虽然增加的模型大小和计算成本都趋向于转化为直接的质量收益(只要提供足够的标注数据去训练),但计算效率和低参数计数仍是各种应用场景的限制因素.目前,我们正在探索增大网络的方法,目标是通过适当的分解卷积和积极的正则化来尽可能地有效利用增加的计算 引言 深度卷积架构上的架构改进可以用来改善大多数越来越多地依…

Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift 原文链接 摘要 当前神经网络层之前的神经网络层的参数变化,引起神经网络每一层输入数据的分布产生了变化,这使得训练一个深度神经网络变得复杂.这样就要求使用更小的学习率,参数初始化也需要更为谨慎的设置.并且由于非线性饱和(注:如sigmoid激活函数的非线性饱和问题),训练一个深度神经网络会非常困难.我们称这个现象为…

Going deeper with convolutions 原文链接 摘要 研究提出了一个名为"Inception"的深度卷积神经网结构,其目标是将分类.识别ILSVRC14数据集的技术水平提高一个层次.这一结构的主要特征是对网络内部计算资源的利用进行了优化.这一目标的实现是通过细致的设计,使得在保持计算消耗稳定不变的同时增加网络的宽度与深度 引言 在物体识别方面,最大的收获其实并不来自于深度网络或是大型模型的单独使用,而是来自深度结构和传统机器视觉的协同作用,比如R-CNN算法 此…

EARLY PREDICTION OF ALZHEIMER'S DISEASE DEMENTIA BASED ON BASELINE HIPPOCAMPAL MRI AND 1-YEAR FOLLOW-UP COGNITIVE MEASURES USING DEEP RECURRENT NEURAL NETWORKS (基于基础海马MRI和1年随访认知测量的阿尔茨海默病痴呆早期预测) 原文链接 摘要 多模生物学.影像学和神经心理学标记物已经展示了区分阿尔茨海默病(AD)患者和认知正常的老年人的良…

A Deep Learning Model to Predict a Diagnosis of Alzheimer Disease by Using 18F-FDG PET of the Brain 原文链接 提要 目的 开发并验证一种深度学习算法,该算法可以基于脑部18F FDG PET来预测AD.轻度认知障碍或者二者均不是的诊断结果,并将其性能与放射学阅读器的性能进行比较 材料和方法 来自ADNI的18F-FDG PET脑图(含2109张图片,包括1002个病人)用于训练.验证,40张来自4…

这是Deepmind 公司在2016年1月28日Nature 杂志发表论文 <Mastering the game of Go with deep neural networks and tree search>.介绍了 AlphaGo 程序的细节. 本博文是对这篇论文的阅读笔记. AlphaGo 神经网络构成 AlphaGo 总体上由两个神经网络构成.以下我把它们简单称为「两个大脑」,这并非原文中的提法,仅仅是我的一个比喻. 第一个大脑(Policy Network)的作用是在当前局面下推断…

MapReduce 论文研读 说明:本文为论文 <MapReduce: Simplified Data Processing on Large Clusters> 的个人理解,难免有理解不到位之处,欢迎交流与指正 . 论文地址:MapReduce Paper 1. MapReduce 编程模型 MapReduce 是 Google 提出的一种用于处理和生成大数据集的 编程模型 ,具象地可以理解成一个 框架 . 该框架含有两个由用户来实现的接口:map 和 reduce ,map 函数接收一个键…

VM-FT 论文研读 说明:本文为论文 <The Design of a Practical System for Fault-Tolerant Virtual Machines> 的个人理解,难免有理解不到位之处,欢迎交流与指正 . 论文地址:VM-FT 论文 本文的总结包括论文内容以及 MIT6.824 Lec4 中的授课内容,其中包含了论文中没有提及的一些细节 . 1. 前言 本论文主要介绍了一个用于提供 容错虚拟机 (fault-tolerant virtual machine) 的企…