[深度学习]CNN 中 1x1 卷积核的作用 最近研究 GoogLeNet 和 VGG 神经网络结构的时候,都看见了它们在某些层有采取 1x1 作为卷积核,起初的时候,对这个做法很是迷惑,这是因为之前接触过的教材的例子中最小的卷积核是 3x3 ,那么,1x1 的卷积核有什么意义呢? 最初应用 1x1 卷积核的神经网络是 Network In Network,然后 GoogLeNet 和 VGG 也不约而同的更正了. 他们在论文中解释,大概有下面 2 个意义. 1.增加网络的深度 这个就比较好理解…

声明: 1. 我和每一个应该看这篇博文的人一样,都是初学者,都是小菜鸟,我发布博文只是希望加深学习印象并与大家讨论. 2. 我不确定的地方用了"应该"二字 首先,通俗说一下,CNN的存在是为了解决两个主要问题: 1. 权值太多.这个随便一篇博文都能解释 2. 语义理解.全连接网络结构处理每一个像素时,其相邻像素与距离很远的像素无差别对待,并没有考虑图像内容的空间结构.换句话说,打乱图像像素的输入顺序,结果不变. 然后,CNN中的卷积核的一个重要特点是它是需要网络自己来学习的.这一点很简…

以下叙述只是简单的叙述,CNN+RNN(LSTM,GRU)的应用相关文章还很多,而且研究的方向不仅仅是下文提到的1. CNN 特征提取,用于RNN语句生成图片标注.2. RNN特征提取用于CNN内容分类视频分类.3. CNN特征提取用于对话问答图片问答.还有很多领域,比如根据面目表情判断情感,用于遥感地图的标注,用于生物医学的图像解析,用于安全领域的防火实时监控等.而且现阶段关于CNN+RNN的研究应用相关文章更加多样,效果越来越好,我们可以通过谷歌学术参阅这些文章,而且大部分可免费下载阅读,至…

原文链接:https://yq.aliyun.com/articles/61941?spm=5176.100239.bloglist.64.UPL8ec 某会议中的一篇演讲,主要讲述深度学习在图像领域中的应用. 作者将图像处理分成了三类:图像增强.图像变换.图像生成. 图像增强:包括分辨率增强.清晰度增强.画面改善.色彩的增强等,并相应的举了几个案例,比如去掉噪声和 马赛克,给图像上色等. 图像变换:从一张图像变换到另一张图像,主要是风格的变换,前段时间很火的一个软件. 图像生成:从无到有,生成…

作者:zhxfl 邮箱:zhxfl##mail.ustc.edu.cn 主页:http://www.cnblogs.com/zhxfl/p/4155236.html 第1个版本blog在这里:http://www.cnblogs.com/zhxfl/p/4134834.html 第2个版本github:https://github.com/zhxfl/CUDA-CNN 欢迎fork,在第一个版本的时候,我们只是针对手写数字,也就是黑白图片.在第二个版本中,我加入了很多东西. 第二个版本的特性 1…

前言 在训练深度学习模型时,常想一窥网络结构中的attention层权重分布,观察序列输入的哪些词或者词组合是网络比较care的.在小论文中主要研究了关于词性POS对输入序列的注意力机制.同时对比实验采取的是words的self-attention机制. 效果 下图主要包含两列:word_attention是self-attention机制的模型训练结果,POS_attention是词性模型的训练结果. 可以看出,相对于word_attention,POS的注意力机制不仅能够捕捉到评价的aspe…

参看:https://blog.csdn.net/ybdesire/article/details/80314925…

整理自: https://blog.csdn.net/woaidapaopao/article/details/77806273?locationnum=9&fps=1 思想 filter尺寸的选择 输出尺寸计算公式 pooling池化的作用 常用的几个模型,这个最好能记住模型大致的尺寸参数 1.思想 改变全连接为局部连接,这是由于图片的特殊性造成的(图像的一部分的统计特性与其他部分是一样的),通过局部连接和参数共享大范围的减少参数值.可以通过使用多个filter来提取图片的不同特征(多卷积核)…

前言: 前段时间我在树莓派上通过KNN,SVM等机器学习的算法实现了门派识别的项目,所用到的数据集是经典的MNIST.可能是因为手写数字与印刷体存在一些区别,识别率并是很不高.基于这样的情况,我打算在PC端用CNN试一试MNIST上的识别率. 正文: 一张图展示CNN 导入基础包 import tensorflow as tf from sklearn.datasets import load_digits import numpy as np 导入数据集 digits = load_digit…

目前在计算机视觉中应用的数组维度最多有四维,可以表示为 (Batch_size, Row, Column, Channel) 以下将要从二维数组到四维数组进行代码的简单说明: Tips: 1) 在numpy中所有的index都是从0开始. 2) axis = 0 对Cloumn(Width)操作: axis = 1 对Row(Height)操作: axis = 2 or -1 对Channel(Depth)操作 1. 二维数组 (Row, Column) import numpy as np #…