TF启程
我第一次开始接触到TensorFlow大概是去年五月份,大三下,如果一年多已过,我却还在写启程。。这进度,实在汗颜。。
一个完整的tensorflow程序可以分为以下几部分:
- Inputs and Placeholders
- Build the Graph
- Inference
- Loss
- Training
- Train the Model
- Visualize the Status
- Save a Checkpoint
- Evaluate the Model
- Build the Eval Graph
- Eval Output
Inputs and Placeholders
对于一个完整的网络来说,必定有输入还有输出,而Placeholders
就是针对网络输入来的,相当于预先给输入变量占个坑,拿mnist来说,占坑代码可以如下面的例子:
images_placeholder = tf.placeholder(tf.float32, shape=(batch_size,mnist.IMAGE_PIXELS))
labels_placeholder = tf.placeholder(tf.int32, shape=(batch_size))
上述代码相当于为mnist图片和标签分别占坑,而tf.placeholder
参数可以如下面所示:
tf.placeholder(dtype, shape=None, name=None)
即需要提供占坑数据类型dtype
,占坑数据shape
,当然也可以给它提供一个唯一的name
。
Build the Graph
因为tf是通过构建图模型来进行网络搭建的,因此搭建网络也就是’Build the Graph’。
Inference
首先就是构建图,利用一系列符号将要表达的操作表达清楚,以用于后续模型的训练。如下面代码:
with tf.name_scope('hidden1'):
weights = tf.Variable(tf.truncated_normal([IMAGE_PIXELS, hidden1_units],\
stddev=1.0 / math.sqrt(float(IMAGE_PIXELS))),name='weights') biases = tf.Variable(tf.zeros([hidden1_units]),\
name='biases')
如上述代码,对于一个图的搭建,需要一些变量来支持我们的运算,比如矩阵相乘等,需要通过tf.Variable
来声明变量,其参数格式如下:
tf.Variable(self, initial_value=None, trainable=True, collections=None, validate_shape=True,\
caching_device=None, name=None, variable_def=None, dtype=None)
需要提供变量初始值initial_value
, 是否接受训练trainable
,对于validate_shape
表示该变量是否可以改变,如果形状可以改变,那么应该为False
。对于每个变量,可以赋予不同的名字tf.name_scope
。
Loss
在定义完图结构之后,我们需要有个目标函数,用作更新图结构中的各个变量。
labels = tf.to_int64(labels)
cross_entropy = tf.nn.sparse_softmax_cross_entropy_with_logits(logits, labels, name='xentropy')
如上,通过给定的labels
占坑变量,完成手写数字识别的最后交叉熵函数。
Training
在得到目标函数之后,我们就可以对模型进行训练,这里常用梯度下降法。在训练阶段,我们可以通过tf.scalar_summary
来实现变量的记录,用作后续的tensorboard的可视化,如:
tf.scalar_summary(loss.op.name, loss)
然后通过tf.SummaryWriter()
来得到对应的提交值。
而对于模型的最优化,这里 tf 提供了很多optimazer,通常在tf.train
里面,这里常用的是GradientDenscentOptimizer(lr)
,然后通过调用:
train_op = optimizer.minimize(loss, global_step=global_step)
Train the Model
在模型训练时,我们需要打开一个默认的图环境,用作训练,如:
with tf.Graph().as_default():
以此来打开一个图结构,然后我们需要声明一个会话在所有操作都定义完毕之后,这样我们就可以利用这个session来运行Graph.可以通过如下方法声明:
with tf.Session() as sess:
init = tf.initialize_all_variables()
sess.run(init)
每次我们可以通过sess.run
来运行一些操作,进而获取其输出值,
sess.run(fetches, feed_dict=None, options=None, run_metadata=None)
可以看到,run需要fetches
,即操作,feed_dict
为fetches
的输入,即占坑变量与其对应值构成的字典。
Visualize the Status
当然,在运行过程,我们可以通过可视化的操作来看网络运行情况。
在之前的tf.scalar_summary
, 我们可以通过:
summary = tf.merge_all_summaries()
将在图构建阶段的变量收集起来,然后在session创建之后运行如下命令生成可视化的值。
summary_str = sess.run(summary, feed_dict=feed_dict)
summary_writer.add_summary(summary_str, step)
其中summary_writer
由如下得到:
summary_writer = tf.train.SummaryWriter(FLAGS.train_dir, sess.graph)
然后用tensorboard打开对应文件即可。
Save a Chenckpoint
对于模型的保存,可以通过如下代码实现:
saver = tf.train.Saver()
saver.save(sess, FLAGS.train_dir, global_step=step)
而载入模型可以通过如下的代码来实现:
saver.restore(sess, FLAGS.train_dir)
当然了,模型的估计就类似上述了。
这样简单的模型搭建到运行就完成了。本文主要用到这些函数:
tf.placeholder
tf.Variable
tf.train
tf.train.GradientDenscentOptimizer
tf.train.SummaryWriter
tf.train.Saver
tf.session
tf.Graph
tf.add_summary
tf.merge_all_summaries
其实构建一个模型基本就用这些函数,然后就是一些数理计算方法。详情参看tensorflow。
Reference:Link。
TF启程的更多相关文章
- TFS命令tf:undo(强制签入签出文件)
由于修改计算机名称或不同电脑上操作忘记签入,则需要强制签入文件 具体步骤如下: 1.在命令行中输入"cd C:\Program Files\Microsoft Visual Studio ...
- 制作HP MicroServer Gen8可用的ESXi 5.x SD/TF卡启动盘
前些日子看到HP公司和京东在搞服务器促销活动,于是就入了一个 ProLiant MicroServer Gen8 的低配版 相比上一代产品,新一代 MicroServer系列微型服务器可更换处理器,还 ...
- TF Boys (TensorFlow Boys ) 养成记(六)
圣诞节玩的有点嗨,差点忘记更新.祝大家昨天圣诞节快乐,再过几天元旦节快乐. 来继续学习,在/home/your_name/TensorFlow/cifar10/ 下新建文件夹cifar10_train ...
- TF Boys (TensorFlow Boys ) 养成记(五)
有了数据,有了网络结构,下面我们就来写 cifar10 的代码. 首先处理输入,在 /home/your_name/TensorFlow/cifar10/ 下建立 cifar10_input.py,输 ...
- TF Boys (TensorFlow Boys ) 养成记(四)
前面基本上把 TensorFlow 的在图像处理上的基础知识介绍完了,下面我们就用 TensorFlow 来搭建一个分类 cifar10 的神经网络. 首先准备数据: cifar10 的数据集共有 6 ...
- TF Boys (TensorFlow Boys ) 养成记(三)
上次说到了 TensorFlow 从文件读取数据,这次我们来谈一谈变量共享的问题. 为什么要共享变量?我举个简单的例子:例如,当我们研究生成对抗网络GAN的时候,判别器的任务是,如果接收到的是生成器生 ...
- TF Boys (TensorFlow Boys ) 养成记(二)
TensorFlow 的 How-Tos,讲解了这么几点: 1. 变量:创建,初始化,保存,加载,共享: 2. TensorFlow 的可视化学习,(r0.12版本后,加入了Embedding Vis ...
- TF Boys (TensorFlow Boys ) 养成记(一)
本资料是在Ubuntu14.0.4版本下进行,用来进行图像处理,所以只介绍关于图像处理部分的内容,并且默认TensorFlow已经配置好,如果没有配置好,请参考官方文档配置安装,推荐用pip安装.关于 ...
- ROS TF——learning tf
在机器人的控制中,坐标系统是非常重要的,在ROS使用tf软件库进行坐标转换. 相关链接:http://www.ros.org/wiki/tf/Tutorials#Learning_tf 一.tf简介 ...
随机推荐
- Leetcode之动态规划(DP)专题-188. 买卖股票的最佳时机 IV(Best Time to Buy and Sell Stock IV)
Leetcode之动态规划(DP)专题-188. 买卖股票的最佳时机 IV(Best Time to Buy and Sell Stock IV) 股票问题: 121. 买卖股票的最佳时机 122. ...
- Nginx的负载均衡和项目部署
nginx的作用 Nginx是一款自由的.开源的.高性能的HTTP服务器和反向代理服务器:同时也是一个IMAP.POP3.SMTP代理服务器:Nginx可以作为一个HTTP服务器进行网站的发布处理,另 ...
- Linux下部署FastDFS
FastDFS的安装 首先需要准备的资源如下: libfastcommon-master:https://github.com/happyfish100/libfastcommon FastD ...
- 2019牛客暑期多校训练营(第九场)-D Knapsack Cryptosystem (折半搜索)
题目链接:https://ac.nowcoder.com/acm/contest/889/D 题意:题意简单,从大小为36的集合中选若干元素使得他们的和为sum. 思路:第一感觉用搜索,复杂度为2^3 ...
- springboot系列:使用缓存
前言:springboot已经为我们实现了抽象的api接口,因此当我们使用不同的缓存时,只是配置有可能有点区别(比如ehcache和Redis),但是在程序中使用缓存的方法是一样的. 1.spring ...
- python 高阶函数 lamdad reduce map
## def use_filer(l):## # 过滤偶数# rest = filter(lambda n: n % 2 != 0, l)# return rest## if __name__ == ...
- python中property属性的介绍及其应用
Python的property属性的功能是:property属性内部进行一系列的逻辑计算,最终将计算结果返回. 使用property修饰的实例方法被调用时,可以把它当做实例属性一样 property的 ...
- Java EE Servlet相关的两个包
Servlet in Java EE 在Java EE的规范API中(链接),Servlet相关联的最重要的两个Package为: 1.javax.servlet 包含了一系列接口和类,他们在一个Se ...
- java语言中使用三元式的时候应该注意的问题
今天在项目中改领导要求的代码表现的时候发现了一个很有趣的问题. 但是的代码情况类似如下: 1 2 Integer test1 = null; System.out.println("test ...
- 进阶Java编程(5)基础类库
Java基础类库 1,StringBuffer类 String类是在所有项目开发之中一定会使用到的一个功能类,并且这个类拥有如下的特点: ①每一个字符串的常量都属于一个String类的匿名对象,并且不 ...