一、原理讲解

1. 卷积神经网络的应用

  • 分类(分类预测)
  • 检索(检索出该物体的类别)
  • 检测(检测出图像中的物体,并标注)
  • 分割(将图像分割出来)
  • 人脸识别
  • 图像生成(生成不同状态的图像)
  • 自动驾驶
  • 等等。。。

2. 传统神经网络与卷积神经网络比较

传统神经网络采用的是全连接神经网络,权重矩阵的参数太多,导致速度减慢,也会产生过拟合。

卷积神经网络通过卷积核,大大降低了参数个数。实现局部关联,参数共享的效果。

3. 卷积神经网络基本结构

  • 卷积层
  • 激活层(ReLu)
  • 池化层
  • 全连接层

3.1 卷积层(Convolutional Layer)

卷积是对两个实变函数的一种数学操作,也就是求内积。

在图像处理中,图像是以二维矩阵的形式输入到神经网络的,因此我们需要二维卷积。

图3-1

图3-2

图3-3

图3-1、图3-2、图3-3很好地展示了卷积过程,名称注释如下:

input:输入层,即图像的矩阵向量

kernel:卷积核或称滤波器,可以定义卷积核的大小,图3-1中卷积核的大小为2*2

output:输出,即特征图feature map,通过卷积计算出来的结果。计算公式为input(图3-1中为4*3)•kernel(图3-1中为2*2),两个向量求内积。

stride:步长,即卷积核向右滑动的长度。图3-1中步长为1。

padding:填充,当卷积时,卷积核滑动到最右侧发现无法形成与自己单元一致的向量时,需要在四周用0填充,确保卷积核能完成计算过程。如图3-4所示。

depth/channel:深度,即当前卷积层中卷积核的个数。如图3-4为2层。

图3-4

卷积是从输入图像中提取特征的第一层,Conv层的目标是提取输入数据的特征。 卷积通过使用小方块输入数据学习图像特征来保持像素之间的关系。

输出的特征图(feature map)大小:

图3-5

未加padding时:

(N-F)/stride + 1

加padding时:

(N-F+padding*2)/stride + 1

例子:

input:32*32

filter:10, 5*5

stride:1

padding:2

输出:?  (32-5+2*2)/1+1=32 ,即 32*32*10

参数:?  (5*5+1)*10

代码实现:

 # 定义卷积核,10个卷积核,卷积核大小是5,用Relu激活
conv0 = tf.layers.conv2d(datas, 10, 5, activation=tf.nn.relu)

3.2 池化层(Pooling Layer)

特征:

保留了主要特征的同事减少参数和计算量,防止过拟合,提高模型泛化能力。

它一般处在卷积层和卷积层之间,全连接层和全连接层之间。

类型划分:

max pooling:最大化池化,如图3-6和图3-7所示

average pooling:平均池化,如图3-7所示

图3-6

图3-7

3.3 全连接层(Fully Connected Layer)

  • 两层之间所有神经元都有权重连接
  • 通常全连接才呢过在卷积神经网络尾部
  • 全连接层参数量通常最大

二、代码实战

 # 定义卷积层, 20个卷积核,卷积核大小为5, 用Relu激活
conv0 = tf.layers.conv2d(datas, 20, 5, activation=tf.nn.relu)
# 定义max-pooling层,pooling窗口为2*2,步长为2*2
pool0 = tf.layers.max_pooling2d(conv0, [2, 2], [2, 2]) # 定义卷积层,40个卷积核,卷积核大小为4, 用Relu激活
conv1 = tf.layers.conv2d(pool0, 40, 4, activation=tf.nn.relu)
# 定义max-pooling层,pooling窗口为2*2,步长为2*2
pool1 = rf.layers.max_pooling2d(conv1, [2, 2], [2, 2]) # 将3维特征装换为1维向量
flatten = tf.layers.flatten(pool1) # 全连接层,转换为长度为400的特征向量
fc = tf.layers.dense(flatten, 400, activation=tf.nn.relu) # 加上DropOut,防止过拟合
dropput_fc = tf.layers.dropout(fc, dropout_placeholdr) # 未激活的输出层
# num_classes:分类数
logits = tf.layers.dense(dropout_fc, num_classes) predicted_labels = tf.arg_max(ligits, 1)

CNN(卷积神经网络)原理讲解及简单代码的更多相关文章

  1. cnn(卷积神经网络)比较系统的讲解

    本文整理了网上几位大牛的博客,详细地讲解了CNN的基础结构与核心思想,欢迎交流. [1]Deep learning简介 [2]Deep Learning训练过程 [3]Deep Learning模型之 ...

  2. Keras(四)CNN 卷积神经网络 RNN 循环神经网络 原理及实例

    CNN 卷积神经网络 卷积 池化 https://www.cnblogs.com/peng8098/p/nlp_16.html 中有介绍 以数据集MNIST构建一个卷积神经网路 from keras. ...

  3. tensorflow CNN 卷积神经网络中的卷积层和池化层的代码和效果图

    tensorflow CNN 卷积神经网络中的卷积层和池化层的代码和效果图 因为很多 demo 都比较复杂,专门抽出这两个函数,写的 demo. 更多教程:http://www.tensorflown ...

  4. Deep Learning模型之:CNN卷积神经网络(一)深度解析CNN

    http://m.blog.csdn.net/blog/wu010555688/24487301 本文整理了网上几位大牛的博客,详细地讲解了CNN的基础结构与核心思想,欢迎交流. [1]Deep le ...

  5. [转]Theano下用CNN(卷积神经网络)做车牌中文字符OCR

    Theano下用CNN(卷积神经网络)做车牌中文字符OCR 原文地址:http://m.blog.csdn.net/article/details?id=50989742 之前时间一直在看 Micha ...

  6. Deep Learning论文笔记之(四)CNN卷积神经网络推导和实现(转)

    Deep Learning论文笔记之(四)CNN卷积神经网络推导和实现 zouxy09@qq.com http://blog.csdn.net/zouxy09          自己平时看了一些论文, ...

  7. TensorFlow——CNN卷积神经网络处理Mnist数据集

    CNN卷积神经网络处理Mnist数据集 CNN模型结构: 输入层:Mnist数据集(28*28) 第一层卷积:感受视野5*5,步长为1,卷积核:32个 第一层池化:池化视野2*2,步长为2 第二层卷积 ...

  8. 3层-CNN卷积神经网络预测MNIST数字

    3层-CNN卷积神经网络预测MNIST数字 本文创建一个简单的三层卷积网络来预测 MNIST 数字.这个深层网络由两个带有 ReLU 和 maxpool 的卷积层以及两个全连接层组成. MNIST 由 ...

  9. CNN(卷积神经网络)、RNN(循环神经网络)、DNN(深度神经网络)的内部网络结构有什么区别?

    https://www.zhihu.com/question/34681168 CNN(卷积神经网络).RNN(循环神经网络).DNN(深度神经网络)的内部网络结构有什么区别?修改 CNN(卷积神经网 ...

随机推荐

  1. uboot dcc

    arch\arm\lib crt0.S 1.设置sp为CONFIG_SYS_INIT_SP_ADDR include/configs/xxx.h #define CONFIG_SYS_INIT_SP_ ...

  2. Python 爬虫插件

    #coding:utf-8import sys,urllib2,re,Queuesys.path.append("..") from lib.Http_Class import H ...

  3. [LOJ 6704] 健身计划

    问题描述 九条可怜是一个肥胖的女孩. 她最近长胖了,她想要通过健身达到减肥的目的,于是她决定每天做n次仰卧起坐以达到健身的目的. 她可以将这n次动作分为若干组完成,每一次完成ai次仰卧起坐,每做完一次 ...

  4. C#Regex中replace方法的替换自定义小数点后的内容

    $1应该就是引用了这个组,不用这个会匹配不到 /// <summary> /// 截取 /// </summary> /// <param name="n&qu ...

  5. TypeScript作为前端开发你必须学习的技能(三)

    TypeScript 运算符 TypeScript 主要包含以下几种运算: 算术运算符 逻辑运算符 关系运算符 按位运算符 赋值运算符 三元/条件运算符 字符串运算符 类型运算符 实例看图: 关系运算 ...

  6. 容器适配器————queue

    只能访问 queue<T> 容器适配器的第一个和最后一个元素.只能在容器的末尾添加新元素,只能从头部移除元素. 操作 queue<int> q;//创建一个int型的空队列q ...

  7. 【gym102394L】LRU Algorithm(自然溢出哈希)

    题意:给定一个n个数的数字序列,第i个数为a[i],每次操作会将a[i]插入或移到最前端: 1.若a[i]已经在序列中出现过,则将其移到最前端,并删除原出现位置 2.若a[i]未出现过,则直接将其插入 ...

  8. Spring Boot教程(十五)使用Intellij中的Spring Initializr来快速构建Spring Boot/Cloud工程

    在之前的所有Spring Boot和Spring Cloud相关博文中,都会涉及Spring Boot工程的创建.而创建的方式多种多样,我们可以通过Maven来手工构建或是通过脚手架等方式快速搭建,也 ...

  9. [BZOJ1718]:[Usaco2006 Jan] Redundant Paths 分离的路径(塔尖)

    题目传送门 题目描述 为了从F个草场中的一个走到另一个,贝茜和她的同伴们有时不得不路过一些她们讨厌的可怕的树.奶牛们已经厌倦了被迫走某一条路,所以她们想建一些新路,使每一对草场之间都会至少有两条相互分 ...

  10. Mysql 数据库锁表的原因和解决方法

    摘自: https://www.csdn.net/gather_2f/MtTaIgxsMTM5NC1ibG9n.html 锁表的原因:当多个连接(数据库连接)同时对一个表的数据进行更新操作,那么速度将 ...