alexnet- tensorflow
alexnet 在 imagenet上夺冠是卷积神经网络如今这么火热的起点。
虽然卷积神经网络很早就被提出来,但是由于计算能力和各方面原因,没有得到关注。
alexnet 为什么能取得这么好的成绩,它的主要归功于
- ReLU激活函数(能更快的收敛)
- LRN 局部响应归一化(ReLU 之后的结果不像tanh,或sigmoid函数一样在一个区间,需要进行归一化)
- dropout(防止过拟合,一定概率的删除一些神经元)
- data augmentation(从256*256的图像中提取227*227的patches)
import os
import numpy as np
import tensorflow as tf
from scipy.misc import imread train_x=np.zeros((1,227,227,3)).astype(np.float32)
train_y=np.zeros((1,1000)).astype(np.float32)
xdim=train_x.shape[1:]
def conv(input, kernel, biases,s_h,s_w,padding="VALID",group=1):
c=input.get_shape()[-1]
assert c%group==0 # conv2d(input, filter, strides, padding, use_cudnn_on_gpu=None, name=None)
# lambda实现匿名函数, 参数为i,k,
convolve=lambda i,k: tf.nn.conv2d(i,k,[1,s_h,s_w,1],padding=padding)
if group==1:
conv=convolve(input,kernel)
else:
# tf.split(num_split,input,dimension): which dimension to split
input_groups=tf.split(input,group,3)
kernel_groups=tf.split(kernel,group,3)
output_groups=[convolve(i,k) for i,k in zip(input_groups, kernel_groups)]
conv=tf.concat(output_groups,3)
return tf.reshape(tf.nn.bias_add(conv,biases),[-1]+conv.get_shape().as_list()[1:]) # load 加载 npy数据,训练好的alexnet网络
# item函数是将dict 中的key 和 value 组成一个元组
net=np.load("bvlc_alexnet.npy")
# .item() convert the key and value in dict to a cell.
# person={'name':''lizhang','age':'26'} for key, value in person.items() : print key value
net=net.item() im1=(imread("2.jpg").astype(np.float32))
im1=im1-np.mean(im1)
im1[:,:,0]=im1[:,:,2]
im1[:,:,2]=im1[:,:,0]
im1=im1.reshape(1,227,227,3)
x=tf.placeholder(tf.float32,(None,)+xdim) conv1w=tf.Variable(net["conv1"][0])
conv1b=tf.Variable(net["conv1"][1]) s_h=4
s_w=4
## 取 conv1 对应的参数,net_data["conv1"] 是value,包含两组值,net_data["conv1"][0]是卷积核的值, net_data["conv1"][1]对应偏置的值
conv1=conv(x,conv1w,conv1b,s_h,s_w,padding="SAME",group=1)
conv1=tf.nn.relu(conv1)
radius=2
alpha=2e-05
beta=0.75
bias=1.0
lrn1=tf.nn.local_response_normalization(conv1,depth_radius=radius,alpha=alpha,beta=beta,bias=bias)
maxpooling1=tf.nn.max_pool(lrn1,ksize=[1,3,3,1],strides=[1,2,2,1],padding='VALID') conv2w=tf.Variable(net["conv2"][0])
conv2b=tf.Variable(net["conv2"][1])
conv2=conv(maxpooling1,conv2w,conv2b,1,1,padding="SAME",group=2)
conv2=tf.nn.relu(conv2)
lrn2=tf.nn.local_response_normalization(conv2,depth_radius=radius,alpha=alpha,beta=beta,bias=bias)
maxpooling2=tf.nn.max_pool(lrn2,ksize=[1,3,3,1],strides=[1,2,2,1],padding='VALID') conv3w=tf.Variable(net["conv3"][0])
conv3b=tf.Variable(net["conv3"][1])
conv3=conv(maxpooling2,conv3w,conv3b,1,1,padding="SAME",group=1)
conv3=tf.nn.relu(conv3) conv4w=tf.Variable(net["conv4"][0])
conv4b=tf.Variable(net["conv4"][1])
conv4=conv(conv3,conv4w,conv4b,1,1,padding="SAME",group=2)
conv4=tf.nn.relu(conv4) conv5w=tf.Variable(net["conv5"][0])
conv5b=tf.Variable(net["conv5"][1])
conv5=conv(conv4,conv5w,conv5b,1,1,padding="SAME",group=2)
conv5=tf.nn.relu(conv5)
maxpooling5=tf.nn.max_pool(conv5,ksize=[1,3,3,1],strides=[1,2,2,1],padding='VALID') fc6w=tf.Variable(net["fc6"][0])
fc6b=tf.Variable(net["fc6"][1])
fc6=tf.nn.relu_layer(tf.reshape(maxpooling5,[1,9216]),fc6w,fc6b) fc7w=tf.Variable(net["fc7"][0])
fc7b=tf.Variable(net["fc7"][1])
fc7=tf.nn.relu_layer(fc6,fc7w,fc7b) fc8w=tf.Variable(net["fc8"][0])
fc8b=tf.Variable(net["fc8"][1])
fc8=tf.nn.xw_plus_b(fc7,fc8w,fc8b) prob=tf.nn.softmax(fc8)
init=tf.initialize_all_variables()
sess=tf.Session()
sess.run(init)
output=sess.run(prob,feed_dict={x:im1}) inds=np.argsort(output)[0,:]
for x in range(5):
print(inds[x])
github: https://github.com/hahafan/tensorflow_learning/blob/master/README.md
tf.nn.conv2d(input, filter, strides, padding, use_cudnn_on_gpu=None, name=None)
除去name参数用以指定该操作的name,与方法有关的一共五个参数:
第一个参数input:指需要做卷积的输入图像,它要求是一个Tensor,具有[batch, in_height, in_width, in_channels]这样的shape,具体含义是
[训练时一个batch的图片数量, 图片高度, 图片宽度, 图像通道数],注意
这是一个4维的Tensor,要求类型为float32和float64其中之一
],要求类型与参数input相同,有一个地方需要注意,第三维第二个参数filter:相当于CNN中的卷积核,
它要求是一个Tensor,具有
[filter_height, filter_width, in_channels, out_channels]这样的shape
,具体含义是[卷积核的高度,
卷积核的宽度,图像通道数,卷积核个数
,就是参数input的第四维in_channels
第三个参数strides:卷积时在图像每一维的步长,这是一个一维的向量,长度4
第四个参数padding:string类型的量,只能是"SAME","VALID"其中之一,这个值决定了不同的卷积方式(后面会介绍)
第五个参数:use_cudnn_on_gpu:bool类型,是否使用cudnn加速,默认为true
结果返回一个Tensor,这个输出,就是我们常说的feature map
conv2d实际上执行了以下操作:
- 将filter转为二维矩阵,shape为
[filter_height * filter_width * in_channels, output_channels]
. - 从input tensor中提取image patches,每个patch是一个virtual tensor,shape
[batch, out_height, out_width, filter_height * filter_width * in_channels]
. - 将每个filter矩阵和image patch向量相乘
load(alexnet.npy) : alexnet.npy 是通过caffe model 转过来的, 具体见https://github.com/ethereon/caffe-tensorflow
出现问题:
- Tensorflow 函数tf.cocat([fw,bw],2)出错:TypeError: Expected int32, got list containing Tensors of type ‘_Message’ instead.
Expected int32, got list containing Tensors of type ‘_Message’ inst
原因是11版本的函数形式为:tf.concat(2,[fw,bw]),即应把串联的维度与串联值位置调换即可.
Input ‘split_dim’ of ‘Split’ Op has type float32 that does not match expected type of int32
#原来是这样的:
This is because in Tensorflow versions < 0.12.0 the split function takes the arguments as:
x = tf.split(0, n_steps, x) # tf.split(axis, num_or_size_splits, value) #修改成这样的:
The tutorial you are working from was written for versions > 0.12.0, which has been changed to be consistent with Numpy’s split syntax:
x = tf.split(x, n_steps, 0) # tf.split(value, num_or_size_splits, axis)
alexnet- tensorflow的更多相关文章
- TensorFlow资源整理
什么是TensorFlow? TensorFlow 是一个采用数据流图(data flow graphs),用于数值计算的开源软件库.节点(Nodes)在图中表示数学操作,图中的线(edges)则表示 ...
- AlexNet 网络详解及Tensorflow实现源码
版权声明:本文为博主原创文章,未经博主允许不得转载. 1. 图片数据处理 2. 卷积神经网络 2.1. 卷积层 2.2. 池化层 2.3. 全链层 3. AlexNet 4. 用Tensorflow搭 ...
- 学习笔记TF052:卷积网络,神经网络发展,AlexNet的TensorFlow实现
卷积神经网络(convolutional neural network,CNN),权值共享(weight sharing)网络结构降低模型复杂度,减少权值数量,是语音分析.图像识别热点.无须人工特征提 ...
- 【深度学习系列】用PaddlePaddle和Tensorflow实现AlexNet
上周我们用PaddlePaddle和Tensorflow实现了图像分类,分别用自己手写的一个简单的CNN网络simple_cnn和LeNet-5的CNN网络识别cifar-10数据集.在上周的实验表现 ...
- TensorFlow实战之实现AlexNet经典卷积神经网络
本文根据最近学习TensorFlow书籍网络文章的情况,特将一些学习心得做了总结,详情如下.如有不当之处,请各位大拿多多指点,在此谢过. 一.AlexNet模型及其基本原理阐述 1.关于AlexNet ...
- 【深度学习系列】用PaddlePaddle和Tensorflow实现经典CNN网络AlexNet
上周我们用PaddlePaddle和Tensorflow实现了图像分类,分别用自己手写的一个简单的CNN网络simple_cnn和LeNet-5的CNN网络识别cifar-10数据集.在上周的实验表现 ...
- tensorFlow入门实践(三)初识AlexNet实现结构
参考黄文坚<TensorFlow实战>一书,完成AlexNet的整体实现并展望其训练和预测过程. import tensorflow as tf batch_size = 32 num_b ...
- 深度学习之 TensorFlow(五):mnist 的 Alexnet 实现
尝试用 Alexnet 来构建一个网络模型,并使用 mnist 数据查看训练结果. 我们将代码实现分为三个过程,加载数据.定义网络模型.训练数据和评估模型. 实现代码如下: #-*- coding:u ...
- 《TensorFlow实战》中AlexNet卷积神经网络的训练中
TensorFlow实战中AlexNet卷积神经网络的训练 01 出错 TypeError: as_default() missing 1 required positional argument: ...
- TensorFlow笔记六:基于cifar10数据库的AlexNet识别
准确率只有70%,cpu版本的TF居然跑了两天才跑完,其他方法将继续尝试. 生成数据目录: import numpy as np import os train_label = {} for i in ...
随机推荐
- OpenLayers学习笔记(六)— 拖拽叠加层overlayer
是在官网例子基础上增加的拖拽功能 GitHub:八至 作者:狐狸家的鱼 本文链接:拖拽叠加层overlayer 全部代码 <!DOCTYPE html> <html> < ...
- OpenLayers学习笔记(四)— QML显示html中openlayers地图的坐标
GitHub:八至 作者:狐狸家的鱼 本文链接:实现QML中显示html中地图的坐标 如何QML与HTML通信已经在这篇文章 QML与HTML通信之画图 详细讲述了 1.HTML var coord; ...
- bzoj4198 荷马史诗
关于Huffman树: 大概就是那样子吧. 是这样的:对于最多只能有k个叉的树,我们想要使得∑val(i) * deep(i)最大 那么我们补0后建立小根堆即可. 最典型例题:合并果子. 然后是这个: ...
- A1125. Chain the Ropes
Given some segments of rope, you are supposed to chain them into one rope. Each time you may only fo ...
- win10 python3.5 自动补全设置
https://www.cnblogs.com/lgh344902118/p/8521437.html # python startup file import readline import rlc ...
- unittest的使用一
selenium: (1).firefox官方下载驱动geckodriver,windows:放在\python36或者是27的目录下 Mac: /usr/local/bin (2).firefox的 ...
- php递归函数中使用return的注意事项
php递归函数中使用return的时候会碰到无法正确返回想要的值得情况,如果不明白其中的原因,很难找出错误的,就下面的具体例子来说明一下吧: function test($i){ $i-=4; if( ...
- SqlAlchenmy基本使用
#简单查询 print(session.query(User).all()) print(session.query(User.name, User.fullname).all()) print(se ...
- numpy知识点
1.nonzero 对于一维数据来说,将返回符合条件的 下标 >>> b1 = np.array([True, False, True, False]) >>> n ...
- Redash 安装部署
介绍 是一款开源的BI工具,提供了基于web的数据库查询和数据可视化功能. 官网:https://redash.io/ GitHub:https://github.com/getredash/reda ...