tensorflow实现线性回归、以及模型保存与加载
内容:包含tensorflow变量作用域、tensorboard收集、模型保存与加载、自定义命令行参数
1、知识点
"""
1、训练过程:
1、准备好特征和目标值
2、建立模型,随机初始化权重和偏置; 模型的参数必须要使用变量
3、求损失函数,误差为均方误差
4、梯度下降去优化损失过程,指定学习率 2、Tensorflow运算API:
1、矩阵运算:tf.matmul(x,w)
2、平方:tf.square(error)
3、均值:tf.reduce_mean(error)
4、梯度下降API: tf.train.tf.train.GradientDescentOptimizer(learning_rate)
learning_rate:学习率
minimize(lose):优化最小损失
return:梯度下降op
3、注意项:
1、tf.Variable()中的trainable表示为变量在训练过程可变
2、学习率设置很大时,可能会出现权重和偏置为NAN,这种现象表现叫梯度爆炸
解决方法:1、重新设计网络 2、调整学习率 3、使用梯度截断 4、使用激活函数 4、变量作用域:主要用于tensorboard查看,同时使代码更加清晰 with tf.variable_scope("data"): 5、添加权重、参数、损失值等在tensoroard观察的情况:
1、收集tensor变量 tf.summary.scalar('losses', loss)、tf.summary.histogram('weight',weight)
2、合并变量并写入事件文件:merged = tf.summary.merge_all()
3、运行合并的tensor:summary = sess.run(merged)、fileWriter.add_summary(summary,i) 6、模型保存与加载: tf.train.Saver(var_list=None,max_to_keep=5)
var_list:指定将要保存和还原的变量。它可以作为一个dict或一个列表传递.
max_to_keep:指示要保留的最近检查点文件的最大数量。
创建新文件时,会删除较旧的文件。如果无或0,则保留所有
检查点文件。默认为5(即保留最新的5个检查点文件。
a)例如:saver.save(sess, '/tmp/ckpt/test/model')
saver.restore(sess, '/tmp/ckpt/test/model')
保存文件格式:checkpoint文件 b)模型加载:
if os.path.exists('./ckpt/checkpoint'):
saver.restore(sess,'./ckpt/model') 7、自定义命令行参数:
1、首先定义有哪些参数需要在运行时候指定
2、程序当中获取定义命令行参数
3、运行 python *.py --max_step=500 --model_dir='./ckpt/model'
本例执行命令:python tensorflow实现线性回归.py --max_step=50 --model_dir="./ckpt/model" """
2、代码
# coding = utf-8
import tensorflow as tf
import os #自定义命令行参数
tf.app.flags.DEFINE_integer("max_step",100,"模型训练的步数")
tf.app.flags.DEFINE_string("model_dir"," ","模型文件加载路径")
#定义获取命令行参数名字
FLAGS = tf.app.flags.FLAGS
def myLinear():
"""
自实现一个线性回归预测
:return:
"""
#定义作用域
with tf.variable_scope("data"):
#1、准备数据,特征值
x = tf.random_normal([100,1],mean=1.75,stddev=0.5)
#目标值。矩阵相乘,必须是二维的
y_true = tf.matmul(x,[[0.7]])+0.8 with tf.variable_scope("model"):
#2、建立线性模型 y = wx+b ,随机给定w和b的值,必须定义成变量
weight = tf.Variable(tf.random_normal([1,1],mean=0.0,stddev=1.0,name="w"))
bias = tf.Variable(0.0,name="b")
y_predict = tf.matmul(x,weight)+bias with tf.variable_scope("loss"):
#3、建立损失函数,均方误差
loss = tf.reduce_mean(tf.square(y_true-y_predict))
with tf.variable_scope("optimizer"):
#4、梯度下降优化损失
train_op = tf.train.GradientDescentOptimizer(learning_rate=0.01).minimize(loss) ##############模型保存################
with tf.variable_scope("save_model"):
saver = tf.train.Saver(); # 初始化变量
init_op = tf.global_variables_initializer()
####################收集变量#########################
# 收集tensor变量
tf.summary.scalar('losses', loss)
tf.summary.histogram('weight',weight) #合并变量并写入事件文件
merged = tf.summary.merge_all()
#通过会话运行程序
with tf.Session() as sess:
#必须要运行初始化变量
sess.run(init_op) #打印随机最先初始化的权重和偏置
print("随机初始化的参数权重为:%f,偏置为:%f" % (weight.eval(),bias.eval()))
# 建立事件文件
fileWriter = tf.summary.FileWriter("./tmp", graph=sess.graph) ###########加载模型,覆盖之前的参数##############
if os.path.exists('./ckpt/checkpoint'):
#saver.restore(sess,'./ckpt/model')
saver.restore(sess, FLAGS.model_dir) #循环优化
for i in range(FLAGS.max_step):
#运行优化
sess.run(train_op)
#运行合并的tensor
summary = sess.run(merged)
fileWriter.add_summary(summary,i)
print("第%d次优化参数权重为:%f,偏置为:%f" % (i,weight.eval(), bias.eval()))
################模型保存##############
# if i%1000==0:
# #saver.save(sess,'./ckpt/model')
# saver.save(sess,FLAGS.model_dir)
saver.save(sess, FLAGS.model_dir)
return None if __name__ == '__main__':
myLinear()
tensorflow实现线性回归、以及模型保存与加载的更多相关文章
- tensorflow 模型保存与加载 和TensorFlow serving + grpc + docker项目部署
TensorFlow 模型保存与加载 TensorFlow中总共有两种保存和加载模型的方法.第一种是利用 tf.train.Saver() 来保存,第二种就是利用 SavedModel 来保存模型,接 ...
- sklearn模型保存与加载
sklearn模型保存与加载 sklearn模型的保存和加载API 线性回归的模型保存加载案例 保存模型 sklearn模型的保存和加载API from sklearn.externals impor ...
- [PyTorch 学习笔记] 7.1 模型保存与加载
本章代码: https://github.com/zhangxiann/PyTorch_Practice/blob/master/lesson7/model_save.py https://githu ...
- 转 tensorflow模型保存 与 加载
使用tensorflow过程中,训练结束后我们需要用到模型文件.有时候,我们可能也需要用到别人训练好的模型,并在这个基础上再次训练.这时候我们需要掌握如何操作这些模型数据.看完本文,相信你一定会有收获 ...
- TensorFlow构建卷积神经网络/模型保存与加载/正则化
TensorFlow 官方文档:https://www.tensorflow.org/api_guides/python/math_ops # Arithmetic Operators import ...
- Tensorflow模型保存与加载
在使用Tensorflow时,我们经常要将以训练好的模型保存到本地或者使用别人已训练好的模型,因此,作此笔记记录下来. TensorFlow通过tf.train.Saver类实现神经网络模型的保存和提 ...
- TensorFlow的模型保存与加载
import os os.environ['TF_CPP_MIN_LOG_LEVEL'] = '2' import tensorflow as tf #tensorboard --logdir=&qu ...
- tensorflow 之模型的保存与加载(一)
怎样让通过训练的神经网络模型得以复用? 本文先介绍简单的模型保存与加载的方法,后续文章再慢慢深入解读. #!/usr/bin/env python3 #-*- coding:utf-8 -*- ### ...
- TensorFlow保存、加载模型参数 | 原理描述及踩坑经验总结
写在前面 我之前使用的LSTM计算单元是根据其前向传播的计算公式手动实现的,这两天想要和TensorFlow自带的tf.nn.rnn_cell.BasicLSTMCell()比较一下,看看哪个训练速度 ...
随机推荐
- ubuntu版本信息查看
1.cat /etc/issue 2.cat /etc/lsb-release 3.uname -a 4.cat /proc/version 5.lsb_release -a 显卡信息1.lspci ...
- manjaro开机出现grub 解决办法
# 第一步:输入ls出现(hd0,msods1),(hd0,msdos5),(hd0,msods7)# 不同的电脑不一样,这是我电脑中的磁盘分区,和系统中的表示方法不一样,# linux中一般是/de ...
- java-web服务器-tomcat
HTTP服务器: 一.定义: 1)是一个安装在服务端的[资源文件调度软件] 二.作用: 1)自动解析接收的[请求协议包]内容 2)自动在服务端计算机上定位[被访问的文件] 3)自动创建[Http响应协 ...
- Cubase如何进行音频移调
- 生产者消费者问题--lock
# 代码: public class App { public static void main(String[] args) { Depot depot = new Depot(100); Prod ...
- Access数据库LIKE问题
access里like的通配符用法是这样:“?”表示任何单一字符: “*”表示零个或多个字符: “#”表示任何一个数字 有时候用%作为通配符不行,需要用*号作为通配符select * from tab ...
- git fetch, merge, pull, push需要注意的地方
在git操作中,我们经常会用到fetch, merge, pull和push等命令,以下是一些我们需要注意的地方. 给大家准备了参考资料: 1. Whatʼs a Fast Forward Merge ...
- CSS——简写属性(在padding和margin这样的简写属性中,值赋值的顺序是top、right、bottom、left)
/* 在padding和margin这样的简写属性中,值赋值的顺序是top.right.bottom.left. 它们还有其他简写方式,例如给padding两个值,则第一个值表示top/bottom, ...
- nginx第七天
nginx的proxy_buffering和proxy_cache 两个都是nginx代理中内存设置相关的参数. proxy_buffering设置 proxy_buffering主要是实现被代理服务 ...
- Java-收邮件
import java.util.Properties; import javax.mail.Folder; import javax.mail.Message; import javax.mail. ...