CNN(卷积神经网络)原理讲解及简单代码
一、原理讲解
1. 卷积神经网络的应用
- 分类(分类预测)
- 检索(检索出该物体的类别)
- 检测(检测出图像中的物体,并标注)
- 分割(将图像分割出来)
- 人脸识别
- 图像生成(生成不同状态的图像)
- 自动驾驶
- 等等。。。
2. 传统神经网络与卷积神经网络比较
传统神经网络采用的是全连接神经网络,权重矩阵的参数太多,导致速度减慢,也会产生过拟合。
卷积神经网络通过卷积核,大大降低了参数个数。实现局部关联,参数共享的效果。
3. 卷积神经网络基本结构
- 卷积层
- 激活层(ReLu)
- 池化层
- 全连接层
3.1 卷积层(Convolutional Layer)
卷积是对两个实变函数的一种数学操作,也就是求内积。
在图像处理中,图像是以二维矩阵的形式输入到神经网络的,因此我们需要二维卷积。
图3-1
图3-2
图3-3
图3-1、图3-2、图3-3很好地展示了卷积过程,名称注释如下:
input:输入层,即图像的矩阵向量
kernel:卷积核或称滤波器,可以定义卷积核的大小,图3-1中卷积核的大小为2*2
output:输出,即特征图feature map,通过卷积计算出来的结果。计算公式为input(图3-1中为4*3)•kernel(图3-1中为2*2),两个向量求内积。
stride:步长,即卷积核向右滑动的长度。图3-1中步长为1。
padding:填充,当卷积时,卷积核滑动到最右侧发现无法形成与自己单元一致的向量时,需要在四周用0填充,确保卷积核能完成计算过程。如图3-4所示。
depth/channel:深度,即当前卷积层中卷积核的个数。如图3-4为2层。
图3-4
卷积是从输入图像中提取特征的第一层,Conv层的目标是提取输入数据的特征。 卷积通过使用小方块输入数据学习图像特征来保持像素之间的关系。
输出的特征图(feature map)大小:
图3-5
未加padding时:
(N-F)/stride + 1
加padding时:
(N-F+padding*2)/stride + 1
例子:
input:32*32
filter:10, 5*5
stride:1
padding:2
输出:? (32-5+2*2)/1+1=32 ,即 32*32*10
参数:? (5*5+1)*10
代码实现:
# 定义卷积核,10个卷积核,卷积核大小是5,用Relu激活
conv0 = tf.layers.conv2d(datas, 10, 5, activation=tf.nn.relu)
3.2 池化层(Pooling Layer)
特征:
保留了主要特征的同事减少参数和计算量,防止过拟合,提高模型泛化能力。
它一般处在卷积层和卷积层之间,全连接层和全连接层之间。
类型划分:
max pooling:最大化池化,如图3-6和图3-7所示
average pooling:平均池化,如图3-7所示
图3-6
图3-7
3.3 全连接层(Fully Connected Layer)
- 两层之间所有神经元都有权重连接
- 通常全连接才呢过在卷积神经网络尾部
- 全连接层参数量通常最大
二、代码实战
# 定义卷积层, 20个卷积核,卷积核大小为5, 用Relu激活
conv0 = tf.layers.conv2d(datas, 20, 5, activation=tf.nn.relu)
# 定义max-pooling层,pooling窗口为2*2,步长为2*2
pool0 = tf.layers.max_pooling2d(conv0, [2, 2], [2, 2]) # 定义卷积层,40个卷积核,卷积核大小为4, 用Relu激活
conv1 = tf.layers.conv2d(pool0, 40, 4, activation=tf.nn.relu)
# 定义max-pooling层,pooling窗口为2*2,步长为2*2
pool1 = rf.layers.max_pooling2d(conv1, [2, 2], [2, 2]) # 将3维特征装换为1维向量
flatten = tf.layers.flatten(pool1) # 全连接层,转换为长度为400的特征向量
fc = tf.layers.dense(flatten, 400, activation=tf.nn.relu) # 加上DropOut,防止过拟合
dropput_fc = tf.layers.dropout(fc, dropout_placeholdr) # 未激活的输出层
# num_classes:分类数
logits = tf.layers.dense(dropout_fc, num_classes) predicted_labels = tf.arg_max(ligits, 1)
CNN(卷积神经网络)原理讲解及简单代码的更多相关文章
- cnn(卷积神经网络)比较系统的讲解
本文整理了网上几位大牛的博客,详细地讲解了CNN的基础结构与核心思想,欢迎交流. [1]Deep learning简介 [2]Deep Learning训练过程 [3]Deep Learning模型之 ...
- Keras(四)CNN 卷积神经网络 RNN 循环神经网络 原理及实例
CNN 卷积神经网络 卷积 池化 https://www.cnblogs.com/peng8098/p/nlp_16.html 中有介绍 以数据集MNIST构建一个卷积神经网路 from keras. ...
- tensorflow CNN 卷积神经网络中的卷积层和池化层的代码和效果图
tensorflow CNN 卷积神经网络中的卷积层和池化层的代码和效果图 因为很多 demo 都比较复杂,专门抽出这两个函数,写的 demo. 更多教程:http://www.tensorflown ...
- Deep Learning模型之:CNN卷积神经网络(一)深度解析CNN
http://m.blog.csdn.net/blog/wu010555688/24487301 本文整理了网上几位大牛的博客,详细地讲解了CNN的基础结构与核心思想,欢迎交流. [1]Deep le ...
- [转]Theano下用CNN(卷积神经网络)做车牌中文字符OCR
Theano下用CNN(卷积神经网络)做车牌中文字符OCR 原文地址:http://m.blog.csdn.net/article/details?id=50989742 之前时间一直在看 Micha ...
- Deep Learning论文笔记之(四)CNN卷积神经网络推导和实现(转)
Deep Learning论文笔记之(四)CNN卷积神经网络推导和实现 zouxy09@qq.com http://blog.csdn.net/zouxy09 自己平时看了一些论文, ...
- TensorFlow——CNN卷积神经网络处理Mnist数据集
CNN卷积神经网络处理Mnist数据集 CNN模型结构: 输入层:Mnist数据集(28*28) 第一层卷积:感受视野5*5,步长为1,卷积核:32个 第一层池化:池化视野2*2,步长为2 第二层卷积 ...
- 3层-CNN卷积神经网络预测MNIST数字
3层-CNN卷积神经网络预测MNIST数字 本文创建一个简单的三层卷积网络来预测 MNIST 数字.这个深层网络由两个带有 ReLU 和 maxpool 的卷积层以及两个全连接层组成. MNIST 由 ...
- CNN(卷积神经网络)、RNN(循环神经网络)、DNN(深度神经网络)的内部网络结构有什么区别?
https://www.zhihu.com/question/34681168 CNN(卷积神经网络).RNN(循环神经网络).DNN(深度神经网络)的内部网络结构有什么区别?修改 CNN(卷积神经网 ...
随机推荐
- uboot dcc
arch\arm\lib crt0.S 1.设置sp为CONFIG_SYS_INIT_SP_ADDR include/configs/xxx.h #define CONFIG_SYS_INIT_SP_ ...
- Python 爬虫插件
#coding:utf-8import sys,urllib2,re,Queuesys.path.append("..") from lib.Http_Class import H ...
- [LOJ 6704] 健身计划
问题描述 九条可怜是一个肥胖的女孩. 她最近长胖了,她想要通过健身达到减肥的目的,于是她决定每天做n次仰卧起坐以达到健身的目的. 她可以将这n次动作分为若干组完成,每一次完成ai次仰卧起坐,每做完一次 ...
- C#Regex中replace方法的替换自定义小数点后的内容
$1应该就是引用了这个组,不用这个会匹配不到 /// <summary> /// 截取 /// </summary> /// <param name="n&qu ...
- TypeScript作为前端开发你必须学习的技能(三)
TypeScript 运算符 TypeScript 主要包含以下几种运算: 算术运算符 逻辑运算符 关系运算符 按位运算符 赋值运算符 三元/条件运算符 字符串运算符 类型运算符 实例看图: 关系运算 ...
- 容器适配器————queue
只能访问 queue<T> 容器适配器的第一个和最后一个元素.只能在容器的末尾添加新元素,只能从头部移除元素. 操作 queue<int> q;//创建一个int型的空队列q ...
- 【gym102394L】LRU Algorithm(自然溢出哈希)
题意:给定一个n个数的数字序列,第i个数为a[i],每次操作会将a[i]插入或移到最前端: 1.若a[i]已经在序列中出现过,则将其移到最前端,并删除原出现位置 2.若a[i]未出现过,则直接将其插入 ...
- Spring Boot教程(十五)使用Intellij中的Spring Initializr来快速构建Spring Boot/Cloud工程
在之前的所有Spring Boot和Spring Cloud相关博文中,都会涉及Spring Boot工程的创建.而创建的方式多种多样,我们可以通过Maven来手工构建或是通过脚手架等方式快速搭建,也 ...
- [BZOJ1718]:[Usaco2006 Jan] Redundant Paths 分离的路径(塔尖)
题目传送门 题目描述 为了从F个草场中的一个走到另一个,贝茜和她的同伴们有时不得不路过一些她们讨厌的可怕的树.奶牛们已经厌倦了被迫走某一条路,所以她们想建一些新路,使每一对草场之间都会至少有两条相互分 ...
- Mysql 数据库锁表的原因和解决方法
摘自: https://www.csdn.net/gather_2f/MtTaIgxsMTM5NC1ibG9n.html 锁表的原因:当多个连接(数据库连接)同时对一个表的数据进行更新操作,那么速度将 ...