整体流程介绍:

我们从main函数走,在train函数中,首先new了一个network;然后初始化后开始训练,训练时设定设备和迭代的次数,训练完后关闭流程图。

下面看network这个类,这个类有许多方法,inference方法定义整个网络的结构,包括每一层的规格和连接的顺序。__init__方法是把权值和偏置初始化。其他两个方法一个是optimer,定义优化器,一个是sorfmax_loss定义损失函数。

程序最开始的两个函数read_and_decode和get_batch。一个是读取tfrecords,一个是生成批次数据。

OK。就是这样简单。

下面展开说明。

#!/usr/bin/env python2

# -*- coding: utf-8 -*-

"""

Created on Mon Jan 16 11:08:21 2017

@author: root

"""

import tensorflow as tf

import frecordfortrain

tf.device(0)

def read_and_decode(filename):

#根据文件名生成一个队列

#读取已有的tfrecords,返回图片和标签

filename_queue = tf.train.string_input_producer([filename])

reader = tf.TFRecordReader()

_, serialized_example = reader.read(filename_queue)   #返回文件名和文件

features = tf.parse_single_example(serialized_example,

features={

'label': tf.FixedLenFeature([], tf.int64),

'img_raw' : tf.FixedLenFeature([], tf.string),

})

img = tf.decode_raw(features['img_raw'], tf.uint8)

img = tf.reshape(img, [227, 227, 3])

#    img = tf.reshape(img, [39, 39, 3])

img = tf.cast(img, tf.float32) * (1. / 255) - 0.5

label = tf.cast(features['label'], tf.int32)

print img,label

return img, label

def get_batch(image, label, batch_size,crop_size):

#数据扩充变换

distorted_image = tf.random_crop(image, [crop_size, crop_size, 3])#随机裁剪

distorted_image = tf.image.random_flip_up_down(distorted_image)#上下随机翻转

#生成batch

#shuffle_batch的参数:capacity用于定义shuttle的范围,如果是对整个训练数据集,获取batch,那么capacity就应该够大

#保证数据打的足够乱

#                                                num_threads=16,capacity=50000,min_after_dequeue=10000)

images, label_batch = tf.train.shuffle_batch([distorted_image, label],batch_size=batch_size,

num_threads=2,capacity=2,min_after_dequeue=10)

# 调试显示

#tf.image_summary('images', images)

print "in get batch"

print images,label_batch

return images, tf.reshape(label_batch, [batch_size])

#from  data_encoder_decoeder import  encode_to_tfrecords,decode_from_tfrecords,get_batch,get_test_batch

import  cv2

import  os

class network(object):

def inference(self,images):

# 向量转为矩阵

#  images = tf.reshape(images, shape=[-1, 39,39, 3])

images = tf.reshape(images, shape=[-1, 227,227, 3])# [batch, in_height, in_width, in_channels]

images=(tf.cast(images,tf.float32)/255.-0.5)*2#归一化处理

#第一层  定义卷积偏置和下采样

conv1=tf.nn.bias_add(tf.nn.conv2d(images, self.weights['conv1'], strides=[1, 4, 4, 1], padding='VALID'),

self.biases['conv1'])

relu1= tf.nn.relu(conv1)

pool1=tf.nn.max_pool(relu1, ksize=[1, 3, 3, 1], strides=[1, 2, 2, 1], padding='VALID')

#第二层

conv2=tf.nn.bias_add(tf.nn.conv2d(pool1, self.weights['conv2'], strides=[1, 1, 1, 1], padding='SAME'),

self.biases['conv2'])

relu2= tf.nn.relu(conv2)

pool2=tf.nn.max_pool(relu2, ksize=[1, 3, 3, 1], strides=[1, 2, 2, 1], padding='VALID')

# 第三层

conv3=tf.nn.bias_add(tf.nn.conv2d(pool2, self.weights['conv3'], strides=[1, 1, 1, 1], padding='SAME'),

self.biases['conv3'])

relu3= tf.nn.relu(conv3)

#  pool3=tf.nn.max_pool(relu3, ksize=[1, 2, 2, 1], strides=[1, 2, 2, 1], padding='VALID')

conv4=tf.nn.bias_add(tf.nn.conv2d(relu3, self.weights['conv4'], strides=[1, 1, 1, 1], padding='SAME'),

self.biases['conv4'])

relu4= tf.nn.relu(conv4)

conv5=tf.nn.bias_add(tf.nn.conv2d(relu4, self.weights['conv5'], strides=[1, 1, 1, 1], padding='SAME'),

self.biases['conv5'])

relu5= tf.nn.relu(conv5)

pool5=tf.nn.max_pool(relu5, ksize=[1, 3, 3, 1], strides=[1, 2, 2, 1], padding='VALID')

# 全连接层1,先把特征图转为向量

flatten = tf.reshape(pool5, [-1, self.weights['fc1'].get_shape().as_list()[0]])

drop1=tf.nn.dropout(flatten,0.5)

fc1=tf.matmul(drop1, self.weights['fc1'])+self.biases['fc1']

fc_relu1=tf.nn.relu(fc1)

fc2=tf.matmul(fc_relu1, self.weights['fc2'])+self.biases['fc2']

fc_relu2=tf.nn.relu(fc2)

fc3=tf.matmul(fc_relu2, self.weights['fc3'])+self.biases['fc3']

return  fc3

def __init__(self):

#初始化权值和偏置

with tf.variable_scope("weights"):

self.weights={

#39*39*3->36*36*20->18*18*20

'conv1':tf.get_variable('conv1',[11,11,3,96],initializer=tf.contrib.layers.xavier_initializer_conv2d()),

#18*18*20->16*16*40->8*8*40

'conv2':tf.get_variable('conv2',[5,5,96,256],initializer=tf.contrib.layers.xavier_initializer_conv2d()),

#8*8*40->6*6*60->3*3*60

'conv3':tf.get_variable('conv3',[3,3,256,384],initializer=tf.contrib.layers.xavier_initializer_conv2d()),

#3*3*60->120

'conv4':tf.get_variable('conv4',[3,3,384,384],initializer=tf.contrib.layers.xavier_initializer_conv2d()),

'conv5':tf.get_variable('conv5',[3,3,384,256],initializer=tf.contrib.layers.xavier_initializer_conv2d()),

'fc1':tf.get_variable('fc1',[6*6*256,4096],initializer=tf.contrib.layers.xavier_initializer()),

'fc2':tf.get_variable('fc2',[4096,4096],initializer=tf.contrib.layers.xavier_initializer()),

#120->6

'fc3':tf.get_variable('fc3',[4096,2],initializer=tf.contrib.layers.xavier_initializer()),

}

with tf.variable_scope("biases"):

self.biases={

'conv1':tf.get_variable('conv1',[96,],initializer=tf.constant_initializer(value=0.0, dtype=tf.float32)),

'conv2':tf.get_variable('conv2',[256,],initializer=tf.constant_initializer(value=0.0, dtype=tf.float32)),

'conv3':tf.get_variable('conv3',[384,],initializer=tf.constant_initializer(value=0.0, dtype=tf.float32)),

'conv4':tf.get_variable('conv4',[384,],initializer=tf.constant_initializer(value=0.0, dtype=tf.float32)),

'conv5':tf.get_variable('conv5',[256,],initializer=tf.constant_initializer(value=0.0, dtype=tf.float32)),

'fc1':tf.get_variable('fc1',[4096,],initializer=tf.constant_initializer(value=0.0, dtype=tf.float32)),

'fc2':tf.get_variable('fc2',[4096,],initializer=tf.constant_initializer(value=0.0, dtype=tf.float32)),

'fc3':tf.get_variable('fc3',[2,],initializer=tf.constant_initializer(value=0.0, dtype=tf.float32))

}

def inference_test(self,images):

# 向量转为矩阵

#这个是用于测试的

images = tf.reshape(images, shape=[-1, 39,39, 3])# [batch, in_height, in_width, in_channels]

images=(tf.cast(images,tf.float32)/255.-0.5)*2#归一化处理

#第一层

conv1=tf.nn.bias_add(tf.nn.conv2d(images, self.weights['conv1'], strides=[1, 1, 1, 1], padding='VALID'),

self.biases['conv1'])

relu1= tf.nn.relu(conv1)

pool1=tf.nn.max_pool(relu1, ksize=[1, 2, 2, 1], strides=[1, 2, 2, 1], padding='VALID')

#第二层

conv2=tf.nn.bias_add(tf.nn.conv2d(pool1, self.weights['conv2'], strides=[1, 1, 1, 1], padding='VALID'),

self.biases['conv2'])

relu2= tf.nn.relu(conv2)

pool2=tf.nn.max_pool(relu2, ksize=[1, 2, 2, 1], strides=[1, 2, 2, 1], padding='VALID')

# 第三层

conv3=tf.nn.bias_add(tf.nn.conv2d(pool2, self.weights['conv3'], strides=[1, 1, 1, 1], padding='VALID'),

self.biases['conv3'])

relu3= tf.nn.relu(conv3)

pool3=tf.nn.max_pool(relu3, ksize=[1, 2, 2, 1], strides=[1, 2, 2, 1], padding='VALID')

# 全连接层1,先把特征图转为向量

flatten = tf.reshape(pool3, [-1, self.weights['fc1'].get_shape().as_list()[0]])

fc1=tf.matmul(flatten, self.weights['fc1'])+self.biases['fc1']

fc_relu1=tf.nn.relu(fc1)

fc2=tf.matmul(fc_relu1, self.weights['fc2'])+self.biases['fc2']

return  fc2

#计算softmax交叉熵损失函数

def sorfmax_loss(self,predicts,labels):

predicts=tf.nn.softmax(predicts)

labels=tf.one_hot(labels,self.weights['fc3'].get_shape().as_list()[1])

loss = tf.nn.softmax_cross_entropy_with_logits(predicts, labels)

#  loss =-tf.reduce_mean(labels * tf.log(predicts))# tf.nn.softmax_cross_entropy_with_logits(predicts, labels)

self.cost= loss

return self.cost

#梯度下降

def optimer(self,loss,lr=0.01):

train_optimizer = tf.train.GradientDescentOptimizer(lr).minimize(loss)

return train_optimizer

def train():

batch_image,batch_label=read_and_decode("/home/zenggq/data/imagedata/data.tfrecords")

#网络链接,训练所用

net=network()

inf=net.inference(batch_image)

loss=net.sorfmax_loss(inf,batch_label)

opti=net.optimer(loss)

#验证集所用

init=tf.initialize_all_variables()

with tf.Session() as session:

with tf.device("/gpu:1"):

session.run(init)

coord = tf.train.Coordinator()

threads = tf.train.start_queue_runners(coord=coord)

max_iter=9000

iter=0

if os.path.exists(os.path.join("model",'model.ckpt')) is True:

tf.train.Saver(max_to_keep=None).restore(session, os.path.join("model",'model.ckpt'))

while iter<max_iter:

loss_np,_,label_np,image_np,inf_np=session.run([loss,opti,batch_image,batch_label,inf])

if iter%50==0:

print 'trainloss:',loss_np

iter+=1

coord.request_stop()#queue需要关闭,否则报错

coord.join(threads)

if __name__ == '__main__':

#主函数训练

train()

tensorflow实战系列(四)基于TensorFlow构建AlexNet代码解析的更多相关文章

  1. tensorflow实战系列(一)

    最近开始整理一下tensorflow,准备出一个tensorflow实战系列,以飨读者. 学习一个深度学习框架,一般遵循这样的思路:数据如何读取,如如何从图片和标签数据中读出成tensorflow可以 ...

  2. Jenkins持续集成企业实战系列之Jenkins手动构建-----04

    注:原创作品,允许转载,转载时请务必以超链接形式标明文章 原始出处 .作者信息和本声明.否则将追究法律责任.    最初接触Jenkins也是由于公司需求,根据公司需求Java代码项目升级的.(公司是 ...

  3. WCF开发实战系列四:使用Windows服务发布WCF服务

    WCF开发实战系列四:使用Windows服务发布WCF服务 (原创:灰灰虫的家http://hi.baidu.com/grayworm) 上一篇文章中我们通过编写的控制台程序或WinForm程序来为本 ...

  4. Keil MDK STM32系列(四) 基于抽象外设库HAL的STM32F401开发

    Keil MDK STM32系列 Keil MDK STM32系列(一) 基于标准外设库SPL的STM32F103开发 Keil MDK STM32系列(二) 基于标准外设库SPL的STM32F401 ...

  5. Tensorflow实战系列之五:

    打算写实例分割的实战,类似mask-rcnn. Tensorflow实战先写五个系列吧,后面新的技术再添加~~

  6. ElasticSearch实战系列四: ElasticSearch理论知识介绍

    前言 在前几篇关于ElasticSearch的文章中,简单的讲了下有关ElasticSearch的一些使用,这篇文章讲一下有关 ElasticSearch的一些理论知识以及自己的一些见解. 虽然本人是 ...

  7. Tensorflow实战系列之四:

    这个是第四篇,打算写一些语义分割的内容实战.

  8. Tensorflow实战系列之一:《Tensorflow实现自己的图像分类》

    最近做GAN的实验,刚好有一批二分类的数据集,心血来潮想着也来试一下Tensorflow的实验.并且会尝试些不同网络的效果,重点在于动手尝试,加油~~ 首先介绍下我的数据集,简单的男性和女性,分别存在 ...

  9. tensorflow实战系列(三)一个完整的例子

    #!/usr/bin/env python2# -*- coding: utf-8 -*-"""Created on Wed Jan 18 08:42:55 2017 @ ...

随机推荐

  1. HTML5:链接与路径

    链接与路径 一.路径 绝对路径——指包含服务器协议的完全路径 相对路径——指被链接文档相对于当前文档的路径. 二.超链接<a> 1.语法: <a href=“目标”>链接文本& ...

  2. C++ File Binary

    论操作非文本文件时,std::ios::binary的重要性 今天在读取图片文件的时候,根据图片数据的高宽对图片数据进行读取,但是出现了图片数据读取不完整,但是文件已经到达末尾的情况,中间想过read ...

  3. js获取table中的列的数字的和

    function getTdValue(a) { var tableId = document.getElementById("tab"); var num; for(var i= ...

  4. VS2013/VS2015/VS2017通过oschina托管代码

    1.到http://git.oschina.net注册账号,创建项目,这一步不做详细描述,创建后效果如图 2.打开VS创建项目,为了测试,创建一个空白解决方案 3.把解决方案添加到源代码管理(这一步仅 ...

  5. Django App(五) load static files

    经过前面4篇的努力,已经基本完成了,polls站点的功能,但是所有界面都没有涉及样式,和JavaScript的导入.到目前为止了解到的Django是通过解析Url来完成对客户端的响应的,那么组成站点所 ...

  6. 解决Yii2中刷新网页时验证码不刷新的问题

    解决Yii2中刷新网页时验证码不刷新的问题 [ 2.0 版本 ] ljfrocky  2015-05-30 19:39:00  1304次浏览 5条评论 10110 在Yii2框架中,如果在表单中使用 ...

  7. Win10+Ubuntu双系统删除Ubuntu方法

    前情提要 Win10下试了许多种方法,什么MbrFix.EasyBCD.亦或是Boot Option.都不行.前两者不行,操作之后重启无法直接进入Windows,后者也不行,找不到所谓的Delete ...

  8. ubuntu16.04+caffe+GPU+cuda+cudnn安装教程

    步骤简述: 1.安装GPU驱动(系统适配,不采取手动安装的方式) 2.安装依赖(cuda依赖库,caffe依赖) 3.安装cuda 4.安装cudnn(只是复制文件加链接,不需要编译安装的过程) 5. ...

  9. i3wm 入门

    安装 所用Linux版本为kali-rolling,直接安装 apt install i3 设置为xinit的启动对像 修改 ~/.xserverrc #!/bin/sh exec /usr/bin/ ...

  10. CXF develop Webserice Tuturial

    1. 修改pom.xml 在Maven中引入CXF 依赖包 1.1 引入CXF依赖包 ,配置Tomcat插件及其它 <project xmlns="http://maven.apach ...