CNN的发展史 上一篇回顾讲的是2006年Hinton他们的Science Paper,当时提到,2006年虽然Deep Learning的概念被提出来了,但是学术界的大家还是表示不服.当时有流传的段子是Hinton的学生在台上讲paper时,台下的机器学习大牛们不屑一顾,质问你们的东西有理论推导吗?有数学基础吗?搞得过SVM之类吗?回头来看,就算是真的,大牛们也确实不算无理取闹,是骡子是马拉出来遛遛,不要光提个概念. 时间终于到了2012年,Hinton的学生Alex Krizhevsky在寝…
AlexNet: VGGNet: 用3x3的小的卷积核代替大的卷积核,让网络只关注相邻的像素 3x3的感受野与7x7的感受野相同,但是需要更深的网络 这样使得参数更少 大多数内存占用在靠前的卷积层,大部分的参数在后面的全连接层 GoogleNet: Inception模块:设计了一个局部网络拓扑结构,然后堆放大量的局部拓扑在每一个的顶部 目的是将卷积和池化(filter)操作并行,最后在顶层将得到的输出串联得到一个张量进入下一层 这种做法会增加庞大的计算量: (图中输入输出尺寸不变是因为增加了零…
AlexNet (2012) The network had a very similar architecture as LeNet by Yann LeCun et al but was deeper, with more filters per layer, and with stacked convolutional layers. It consisted 11x11, 5x5,3x3, convolutions, max pooling, dropout, data augmenta…
#Deep Learning回顾#之LeNet.AlexNet.GoogLeNet.VGG.ResNet 深入浅出——网络模型中Inception的作用与结构全解析 图像识别中的深度残差学习(Deep Residual Learning for Image Recognition), 论文来源,翻译地址…
1. LeNet 2. AlexNet 3. 参考文献: 1.  经典卷积神经网络结构——LeNet-5.AlexNet.VGG-16 2. 初探Alexnet网络结构 3.…
CNN的发展史 上一篇回顾讲的是2006年Hinton他们的Science Paper,当时提到,2006年虽然Deep Learning的概念被提出来了,但是学术界的大家还是表示不服.当时有流传的段子是Hinton的学生在台上讲paper时,台下的机器学习大牛们不屑一顾,质问你们的东西有理论推导吗?有数学基础吗?搞得过SVM之类吗?回头来看,就算是真的,大牛们也确实不算无理取闹,是骡子是马拉出来遛遛,不要光提个概念. 时间终于到了2012年,Hinton的学生Alex Krizhevsky在寝…
ResNet, AlexNet, VGG, Inception: Understanding various architectures of Convolutional Networks by KOUSTUBH        this blog from: http://cv-tricks.com/cnn/understand-resnet-alexnet-vgg-inception/ Convolutional neural networks are fantastic for visual…
Deep Learning是机器学习中一个非常接近AI的领域,其动机在于建立.模拟人脑进行分析学习的神经网络,近期研究了机器学习中一些深度学习的相关知识,本文给出一些非常实用的资料和心得. Key Words:有监督学习与无监督学习.分类.回归.密度预计.聚类,深度学习,Sparse DBN, 1. 有监督学习和无监督学习 给定一组数据(input,target)为Z=(X,Y). 有监督学习:最常见的是regression & classification. regression:Y是实数ve…
四.拓展学习推荐 Deep Learning 经典阅读材料: The monograph or review paper Learning Deep Architectures for AI (Foundations & Trends in Machine Learning, 2009). The ICML 2009 Workshop on Learning Feature Hierarchies webpage has a list of references. The LISA public…
入门基础阅读:http://www.cnblogs.com/avril/archive/2013/02/08/2909344.html 书籍推荐:http://blog.chinaunix.net/uid-10314004-id-3594337.html Deep Learning Main Ideas : http://deeplearning.stanford.edu/wiki/index.php/UFLDL_Tutorial Deep Learning博客笔记:http://blog.cs…