看了很多关于卷积神经网络的论文和资料 可是我发现一个问题,就是pooling会出现一个问题 我能找到的代码里面都是用的均值子采样,如果改成最大或最小,或P范数都会在学习训练的时候遇到不知道怎么处理的问题 刚刚看到一篇关于反卷积的文章,其中就解决了max,min,median这一类的问题,就是在正向pooling的时候,记下这些max,min,median的位置,然后在BP的时候误差反馈的时候把误差放在记下的位置. pooling 是否真的有必要?…

完整代码及其数据,请移步小编的GitHub地址 传送门:请点击我 如果点击有误:https://github.com/LeBron-Jian/DeepLearningNote 在整理这些知识点之前,我建议先看一下原论文,不然看我这个笔记,感觉想到哪里说哪里,如果看了论文,还有不懂的,正好这篇博客就是其详细解析,包括源码解析. 我翻译的链接: 深度学习论文翻译解析(五):Siamese Neural Networks for One-shot Image Recognition 下面开始: 1,S…

完整代码及其数据,请移步小编的GitHub地址 传送门:请点击我 如果点击有误:https://github.com/LeBron-Jian/DeepLearningNote 这里结合网络的资料和SENet论文,捋一遍SENet,基本代码和图片都是来自网络,这里表示感谢,参考链接均在后文.下面开始. SENet论文写的很好,有想法的可以去看一下,我这里提供翻译地址: 深度学习论文翻译解析(十六):Squeeze-and-Excitation Networks 在深度学习领域,CNN分类网络的发展…

完整代码及其数据,请移步小编的GitHub地址 传送门:请点击我 如果点击有误:https://github.com/LeBron-Jian/DeepLearningNote 这里结合网络的资料和MobileNet论文,捋一遍MobileNet,基本代码和图片都是来自网络,这里表示感谢,参考链接均在后文.下面开始. MobileNet论文写的很好,有想法的可以去看一下,我这里提供翻译地址: 深度学习论文翻译解析(十七):MobileNets: Efficient Convolutional Ne…

这已经是我的第四篇博客学习卷积神经网络了.之前的文章分别是: 1,Keras深度学习之卷积神经网络(CNN),这是开始学习Keras,了解到CNN,其实不懂的还是有点多,当然第一次笔记主要是给自己心中留下一个印象,知道什么是卷积神经网络,当然主要是学习Keras,顺便走一下CNN的过程. 2,深入学习卷积神经网络(CNN)的原理知识,这次是对CNN进行深入的学习,对其原理知识认真学习,明白了神经网络如何识别图像,知道了卷积如何运行,池化如何计算,常用的卷积神经网络都有哪些等等. 3,Tensor…

这个结构是10年Quoc V.Le等人提出的,这里的tiled,按照 Lecun的解释是Locally-connect non shared.即是局部连接,而且不是共享的,这是针对于权重来说的.本文翻译如有错误,还望指正,谢谢!!这篇论文是10年的,相比较来说四年的东西,比较旧了,可是这个tcnn在ng的ufldl最后也有提及(只有目录部分,ng没写完),而且也算是个cnn的变化,不过看效果没有获得the state of art.因为在cifar-10数据集上当前的效果都达到了91%,而且NI…

+ mu) * v # 位置更新变了形式 对于NAG(Nesterov's Accelerated Momentum)的来源和数学公式推导,我们推荐以下的拓展阅读: Yoshua Bengio的Advances in optimizing Recurrent Networks,Section 3.5. Ilya Sutskever's thesis (pdf)在section 7.2对于这个主题有更详尽的阐述. 学习率退火 在训练深度网络的时候,让学习率随着时间退火通常是有帮助的.可以这样理解:…

神经网络推荐博客: 深度学习概述 神经网络基础之逻辑回归 神经网络基础之Python与向量化 浅层神经网络 深层神经网络 前言 首先声明,以下内容绝大部分转自知乎智能单元,他们将官方学习笔记进行了很专业的翻译,在此我会直接copy他们翻译的笔记,有些地方会用红字写自己的笔记,本文只是作为自己的学习笔记.本文内容官网链接:Optimization Note , 1) # 含3个数字的随机输入向量(3x1) h1 = f(np.dot(W1, x) + b1) # 计算第一个隐层的激活数据(4x1)…

1. 传统的边缘检测(比如Sobel)手工设计了3*3的filter(或者叫kernel)的9个权重,在深度学习中,这9个权重都是学习出来的参数,会比手工设计的filter更好,不但可以提取90度.0度的边缘,也可以提取出任意朝向的边缘(比如73度).把这9个权重当成参数的思想已经成为计算机视觉中最为有效的思想之一. 2. Padding 对于原始的卷积操作,原图分辨率为n*n,filter分辨率为f*f,则卷积后的结果是 (n-f+1)*(n-f+1).有两个缺点:1)每次卷积操作都会把图像缩…

tensorflow中使用mnist数据集训练全连接神经网络 ——学习曹健老师“人工智能实践:tensorflow笔记”的学习笔记, 感谢曹老师 前期准备:mnist数据集下载,并存入data目录: 文件列表:四个文件,分别为训练和测试集数据 Four files are available on 官网  http://yann.lecun.com/exdb/mnist/ : train-images-idx3-ubyte.gz:  training set images (9912422 by…