Python3 卷积神经网络卷积层,池化层,全连接层前馈实现
# -*- coding: utf-8 -*-
"""
Created on Sun Mar 4 09:21:41 2018 @author: markli
"""
import numpy as np; def ReLU(x):
return max(0,x); def logistic(x):
return 1/(1 + np.exp(-x)); def logistic_derivative(x):
return logistic(x)*(1-logistic(x)); class ConvolutionLayer:
"""
卷积神经网络中的卷积层
"""
def __init__(self,shape,padding,filters,stride):
"""
shape 卷积层形状,元组 (行,列,通道数)
padding 填充零个数的大小
filters 过滤器的形状,元组 (行,列,通道数,个数)
stride 步长
"""
self.shape = shape;
self.padding = padding;
self.stride = stride;
self.fileters = filters[:3];
self.fileternum = filters[3];
self.weights = [];
for i in range(filters[3]):
self.weights.append(np.random.randn(shape[2],filters[0],filters[1]));
self.baises = list(np.random.randn(filters[3])); self.convlutionsize = (int((shape[0] + 2*padding - filters[0])/stride + 1),int((shape[1] + 2*padding - filters[1])/stride + 1));
self.conv = np.ones((filters[3],self.convlutionsize[0],self.convlutionsize[1])); def Convolute(self,Data):
"""
Data 三维数组,若只有两维则通道数设为1.
"""
if(self.padding != 0):
for c in range(self.shape[2]):
ones = np.zeros((self.shape[0]+2*self.padding,self.shape[1]+2*self.padding));
ones[self.padding:self.padding+self.shape[0],self.padding:self.padding+self.shape[1]] = Data[c];
Data[c] = ones;
c,m,n = Data.shape; #遍历每一个过滤器
for f in range(self.fileternum):
t_conv = self.conv[f]; #取出第f个过滤器卷积后的临时容器
w = self.weights[f]; #取出第f个过滤器的权值集合
b = self.baises[f]; #取出第f个过滤器的偏倚
#卷积运算,所有通道一起遍历
row = 0;
for i in range(self.convlutionsize[0]):
col = 0;
for j in range(self.convlutionsize[1]):
data = Data[:,row:row+self.fileters[0],col:col+self.fileters[1]]; #取出卷积运算的数据立方体
s = 0; #存放卷积立方体的乘积的和
#对取出的临时数据的每个通道进行卷积运算
for t_c in range(c):
t_w = w[t_c];
t_data = data[t_c];
temp = sum(np.multiply(t_w,t_data));
s = temp + s;
t_conv[i,j] = ReLU(s+b);
#向右移动过滤器
col = col + self.stride;
#向下移动过滤器
row = row + self.stride;
#更新卷积结果容器
self.conv[f] = t_conv; class PoolLayer:
"""池化层"""
def __init__(self,shape,poolsize,stride,classic="max"):
"""
shape 池化目标的形状, 元组(行,列,通道数)
poolsize 池化矩阵的形状,元组 (行,列)
stride 步长 一般情况下池化的步长等于池化大小
classic 池化方式 max,average
"""
self.shape = shape;
self.stride = stride;
self.poolsize = poolsize;
self.classic = classic;
#生成池化结果矩阵形状
self.pool = np.ones((shape[2],(shape[0]-poolsize[0])/stride + 1,(shape[1]-poolsize[1])/stride + 1));
#生成过度池化矩阵形状
self.c_poolsize = ((shape[0]-poolsize[0])/stride + 1,(shape[1]-poolsize[1])/stride + 1); def Pool(self,Data):
"""
Data 三维数组,若只有两维则通道数设为1.
"""
c,m,n = Data.shape; #在每个通道上进行池化操作
for k in range(c):
p_temp = Data[k];
row = 0;
for i in range(self.c_poolsize[0]):
col = 0;
for j in range(self.c_poolsize[1]):
temp = p_temp[row:row+self.poolsize[0],col:col+self.poolsize[1]];
if(self.classic == "average"):
self.pool[k][i][j] = np.sum(temp) / (self.poolsize[0] * self.poolsize[1]);
if(self.classic == "max"):
self.pool[k][i][j] = np.max(temp);
else:
print("the classic does not exist"); col = col + self.stride; row = row + self.stride; class FullConnectLayer:
"""全连接层"""
def __init__(self,n_in,n_out,action_fun=logistic,action_fun_der=logistic_derivative,flag):
"""
n_in 输入层的单元数
n_out 输出单元个数 及紧邻下一层的单元数
action_fun 激活函数
action_fun_der 激活函数的导函数
flag 初始化权值和偏倚的标记 normal,larger,smaller
"""
self.action_fun = action_fun;
self.action_fun_der = action_fun_der;
self.n_in = n_in;
self.n_out = n_out;
init_weight_biase(flag); def init_weight_biase(self,init_flag):
if(init_flag == "noraml"):
self.weight = np.random.randn(self.n_out,self.n_in);#weight 取值服从N(0,1) 分布
self.biase = np.random.randn(self.n_out,1);
elif(init_flag == "larger"):
self.weight = 2*np.random.randn(self.n_out,self.n_in)-1; #weight 取值范围(-1,1)
self.biases = 2*np.random.randn(self.n_out,1)-1 ; #b 取值范围(-1,1)
elif(init_flag == "smaller"):
self.weight = np.random.randn(self.n_out,self.n_in)/np.sqrt(self.n_out) ; #weight 取值服从N(0,1/x) 分布
self.biase = np.random.randn(self.n_out,1); def Forward(self,inpt):
"""全连接层的前馈传播"""
self.inpt = np.dot(self.weight,inpt) + self.biase;
self.outpt = self.action_fun(self.inpt); """Softmax Layer"""
后向传播的实现还是没有头绪,三层之间如何衔接不知道该怎么设计。本人能力水平有限,欢迎交流。本人微信号 markli52024
Python3 卷积神经网络卷积层,池化层,全连接层前馈实现的更多相关文章
- tensorflow 1.0 学习:池化层(pooling)和全连接层(dense)
池化层定义在 tensorflow/python/layers/pooling.py. 有最大值池化和均值池化. 1.tf.layers.max_pooling2d max_pooling2d( in ...
- 深度学习原理与框架-Tensorflow卷积神经网络-卷积神经网络mnist分类 1.tf.nn.conv2d(卷积操作) 2.tf.nn.max_pool(最大池化操作) 3.tf.nn.dropout(执行dropout操作) 4.tf.nn.softmax_cross_entropy_with_logits(交叉熵损失) 5.tf.truncated_normal(两个标准差内的正态分布)
1. tf.nn.conv2d(x, w, strides=[1, 1, 1, 1], padding='SAME') # 对数据进行卷积操作 参数说明:x表示输入数据,w表示卷积核, stride ...
- CNN学习笔记:全连接层
CNN学习笔记:全连接层 全连接层 全连接层在整个网络卷积神经网络中起到“分类器”的作用.如果说卷积层.池化层和激活函数等操作是将原始数据映射到隐层特征空间的话,全连接层则起到将学到的特征表示映射到样 ...
- mnist全连接层网络权值可视化
一.数据准备 网络结构:lenet_lr.prototxt 训练好的模型:lenet_lr_iter_10000.caffemodel 下载地址:链接:https://pan.baidu.com/s/ ...
- CNN中卷积层 池化层反向传播
参考:https://blog.csdn.net/kyang624823/article/details/78633897 卷积层 池化层反向传播: 1,CNN的前向传播 a)对于卷积层,卷积核与输入 ...
- 【深度学习篇】--神经网络中的池化层和CNN架构模型
一.前述 本文讲述池化层和经典神经网络中的架构模型. 二.池化Pooling 1.目标 降采样subsample,shrink(浓缩),减少计算负荷,减少内存使用,参数数量减少(也可防止过拟合)减少输 ...
- 神经网络中的池化层(pooling)
在卷积神经网络中,我们经常会碰到池化操作,而池化层往往在卷积层后面,通过池化来降低卷积层输出的特征向量,同时改善结果(不易出现过拟合).为什么可以通过降低维度呢? 因为图像具有一种“静态性”的属性,这 ...
- 【python实现卷积神经网络】全连接层实现
代码来源:https://github.com/eriklindernoren/ML-From-Scratch 卷积神经网络中卷积层Conv2D(带stride.padding)的具体实现:https ...
- caffe中全卷积层和全连接层训练参数如何确定
今天来仔细讲一下卷基层和全连接层训练参数个数如何确定的问题.我们以Mnist为例,首先贴出网络配置文件: name: "LeNet" layer { name: "mni ...
随机推荐
- 【tomcat】sessionId学习(未完待续)
这里主要研究tomcat中session的管理方式以及sessionId的原理,下文将研究sessionid存到redis中以及基于redis实现session共享. 平时也就是了解session是基 ...
- CrossUI SPA Builder ---- feathers API框架
CrossUI SPA Builder: http://www.crossui.com/ 国产? 龙博(JSLINB)AJAX框架? CrossUI SPA Builderenables de ...
- ActiveMQ 入门Nodejs版
ActiveMQ 入门下载与安装 官方下载地址 解压,运行bin/win[32|64]/activemq[.bat] 启动服务 环境信息 控制台: http://localhost:8161 默认端口 ...
- dubbo系列六、SPI扩展Filter隐式传参
一.实现Filter接口 1.消费者过滤器:ConsumerTraceFilter.java package com.dubbo.demo.Filter; import com.alibaba.dub ...
- OA系统高性能解决方案(史上最全的通达OA系统优化方案)
序: 这是一篇针对通达OA系统的整体优化方案,文档将硬件.网络.linux操作系统.程序本身(包括web和数据库)以及现有业务有效结合在一起,进行了系统的整合优化.该方案应用于真实生产环境,部署完成后 ...
- spring整合strus2的Hellowworld
比较笨,看了三遍才能理解敲对并正确运行: step: 1.建立web工程( Dynamic Web project)一定要勾上创建web.xml 2.导入jar包 这个就比较坑了,我查了有半个小时才查 ...
- PHP 中解析 url 并得到 url 参数
这里介绍两种对url操作的方法: 1.拿到一个完整url后,如何解析该url得到里面的参数. /** * 解析url中参数信息,返回参数数组 */ function convertUrlQuery($ ...
- yield()方法就是礼让,具体还是看cpu怎么分配
package charpter07; //yield():礼让的行为public class Processor implements Runnable { @Override public voi ...
- extern "C" 回顾
引入:在测试"extern "C" 与gcc, g++无关"时,使用到了extern "C"的概念,网上找篇文章回顾一下. 试验如下: te ...
- 【C++ Primer | 15】C++类内存分布
C++类内存分布 书上类继承相关章节到这里就结束了,这里不妨说下C++内存分布结构,我们来看看编译器是怎么处理类成员内存分布的,特别是在继承.虚函数存在的情况下. 下面可以定义一个类,像下面这样: c ...