URL: https://arxiv.org/abs/1608.08021 year: 2016 TL;DR PVANet 一个轻量级多物体目标检测架构, 遵循 "less channels with more layers" 的设计原则, 通过结合 CReLU, Inception, HyperNet 3 个模块构成了一个高效的目标检测架构, 在达到了当时 SOTA. CReLU 应用于PVANet 早期阶段, 以将计算次数减少一半而不会失去准确性. Inception 应用于特征生…
第三周:浅层神经网络(Shallow neural networks) 神经网络概述(Neural Network Overview) 本周你将学习如何实现一个神经网络.在我们深入学习具体技术之前,我希望快速的带你预览一下本周你将会学到的东西.如果在本节课中的某些细节你没有看懂你也不用担心,我们将在后面的几节课中深入讨论技术细节. 现在我们开始快速浏览一下如何实现神经网络.首先你需要输入特征 \(x​\),参数 \(w​\) 和 \(b​\),通过这些你就可以计算出 \(z​\),接下来使用 \…
arxiv上放出的物体检测的文章,在Pascal voc数据集上排第二.源码也已放出(https://github.com/sanghoon/pva-faster-rcnn),又可以慢慢把玩了.这篇文章遵循faster-rcnn"CNN feature extraction + region proposal + RoI classification"的pipeline,重新设计了feature extraction的网络结构."The devil is in details…
Deep Neural Network Getting your matrix dimention right 选hyper-pamameter 完全是凭经验 补充阅读: cost 函数的计算公式: 求导公式…
整个deep learing 系列课程主要包括哪些内容 Intro to Deep learning…
NN representation 这一课主要是讲3层神经网络 下面是常见的 activation 函数.sigmoid, tanh, ReLU, leaky ReLU. Sigmoid 只用在输出0/1 时候的output layer, 其他情况基本不用,因为tanh 总是比sigmoid 好. 两种 ReLU 使用起来总是要比sigmoid 和 tanh 快.ReLU 是最常用的 activation. 为什么Activation function 要是non-linear的?因为如下图所示…
Logistic regression Cost function for logistic regression Gradient Descent 接下来主要讲 Vectorization Logistic Regression 的向量实现 Vectorizing LR Gradient output Python/Numpy and Jupyter Notebook 上图中 axis=0 表示竖直方向,axis=1 是水平方向…
1. 摘要 ReLU 相比 Tanh 能产生相同或者更好的性能,而且能产生真零的稀疏表示,非常适合自然就稀疏的数据. 采用 ReLU 后,在大量的有标签数据下,有没有无监督预训练模型取得的最好效果是一样的,这可以被看做是训练深层有监督网络的一个新的里程碑. 2. 背景 2.1. 神经元科学的观察 对脑能量消耗的研究表明,神经元以稀疏和分布的方式编码信息,同时活跃的神经元的百分比估计在 1% 到 4% 之间.这是信息表示丰富度和潜在能量消耗的一种平衡.但是,如果没有额外的正则化,比如 \(L_1\…
1.Introduction DL解决VO问题:End-to-End VO with RCNN 2.Network structure a.CNN based Feature Extraction 论文使用KITTI数据集. CNN部分有9个卷积层,除了Conv6,其他的卷积层后都连接1层ReLU,则共有17层. b.RNN based Sequential Modelling RNN is different from CNN in that it maintains memory of it…
郑重声明:原文参见标题,如有侵权,请联系作者,将会撤销发布! Abstract 灵长类视觉系统激发了深度人工神经网络的发展,使计算机视觉领域发生了革命性的变化.然而,这些网络的能量效率比它们的生物学对应体要低得多,而且它们通常使用反向传播进行训练,这是非常需要数据的.为了解决这些限制,我们使用了深度卷积脉冲神经网络(DCSNN)和延迟编码方案.我们将最低层的脉冲时序依赖可塑性(STDP)和最高层的奖励调节STDP(R-STDP)结合起来训练.简而言之,在R-STDP中,正确(错误)决策导致STD…