TF版网络模型搭建常用代码备忘
本文主要介绍如何搭建一个网络并训练
最近,我在写代码时经常碰到这样的情况,明明记得代码应该怎么写,在写出来的代码调试时,总是有些小错误。原因不是接口参数个数不对,就是位置不对。为了节约上网查找时间,现记录下常用操作,以备需要时快速查看。
根据网络结构不同功能,主要分这几大块:网络基本结构元组件,网络常用结构,Tensorboard调试接口,数据预处理常用操作,后处理常用操作。
1、搭建一个基础网络所需的元组件:
import tensorflow as tf
import glog as log class basenet(object):
'''
base model for other specific cnn
'''
def __init__(self):
pass def weight_variable(self,shape,sdtdev=0.1,name):
initial=tf.truncated_normal(shape=shape,mean=0.0,stddev=sdtdev)
if name is None:
return tf.Variable(initial)
else:
return tf.get_variable(name=name,initial=initialdef bias_variable(self,shape,name): initial=tf.constant(.01,shape=shape)
if name is None:
return tf.Variable(initial,name=name)
else:
return tf.get_variable(name=name,initial=initial)
@staticmethod
def conv2d(self,x,w,s=1,name=None,padding='SAME'):
#with tf.variable_scope(name):
if s == 1:
x = tf.nn.conv2d(x,w,strides=[1,s,s,1],padding=padding)
else:
x = tf.nn.conv2d(x,w,strides=[1,s,s,1],padding=padding)
#log.info('basenet conv2d x:{:}'.format(x.get_shape().as_list()))
return x def conv2d_transpose(x,w,b,output_shape,stride=2):
if output_shape is None:
output_shape =x.get_shape().as_list()
output_shape[1]*=2
output_shape[2]*=2
output_shape[3]=w.get_shape().as_list()[2]
conv = tf.nn.conv2d_transpose(x,w,output_shape,strides=[1,stride,stride,1],padding='SAME')
return tf.nn.bias_add(conv,b)
def maxpool(self,x,k=2,s=2,padding='SAME'):
x= tf.nn.max_pool(x,ksize=[1,k,k,1],strides=[1,s,s,1],padding=padding)
return x def avgpool(self,x,k,s,padding='SAME'):
x= tf.nn.avg_pool(x,ksize=[1,k,k,1],strides=[1,s,s,1],padding=padding)
def local_response_norm(x):
return tf.nn.lrn(x,depth_radius=5,bias=2,alpha=1e-4,beta=0.75)
def relu(self,x,name):
x = tf.nn.relu(x)
return x def leaky_relu(x,alpha=0.0,name=""):
return tf.maximum(alpha*x,x,name) def relu6(self,x):
x= min(max(0,x), 6)
x = tf.nn.relu(x)
return x
def batch_norm(x,output,phrase,scope='bn',decay=0.9,eps=1e-5):
with tf.variable_scope(scope):
beta=tf.get_variable(name='beta',shape=[output],initializer=tf.constant_initializer(0.05))
gamma=tf.get_variable(name='gamma',shape=[output],initialzer=tf.random_normal_initializer(1.0,0.02)
batch_mean,batch_var=tf.nn.moment(x,[0,1,2],name='moment') def mean_var_2_update():
ema_apply_op = ema.apply([batch_mean,batch_var])
with tf.control_dependencies([ema_apply_op]):
return tf.identity(batch_mean),tf.identity(batch_var)
mean,var = tf.cond(phrase,mean_var_2_update,lambda:(ema.average(batch_mean),ema.average(batch_var))
normed = tf.nn.batch_normalization(x,mean,var,beta,gamma,eps)
return normed
def wx_b(self,x,w,b):
x = tf.matmul(x,w)+b
log.info('basenet wx_b x:{:}'.format(x.get_shape().as_list()))
return x def fc(self,x,w,b):
x = tf.add(tf.matmul(x,w),b)
return x
2、常用网络结构
网络结构1: def bottleneck_unit(x,out_chan1,out_chan2,down_stride=False,up_stride=False,name=None):
3、数据预处理常用操作
def save_img(image,save_dir,name,mean=None):
if mean:
image=unprocess_image(image,mean)
misc.imsave(os.path.join(save_dir,name+'.png'),image) def process_image(image,mean_pixel):
return image-mean_pixel
4、Tensorboard常用接口
def add_regular_to_summary(var):
if var is not None:
tf.summary.histogram(var.op.name,var)
tf.add_to_collection('reg_loss',tf.nn.l2_loss(var)) def add_activation_to_summary(var):
if var is not None:
tf.summary.histogram(var.op.name+'/activation',var)
tf.summary.scalar(var.op.name+'/sparsity',tf.nn.zero_fraction(var)) def add_gradient_to_summary(grad,var):
if grad is not None:
tf.summary.histogram(var.op.name+'/gradient',grad)
TF版网络模型搭建常用代码备忘的更多相关文章
- metasploit 常用命令备忘
metasploit 常用命令备忘 MSFconsole Commands-------------------------------------24show exploits 查看所有exp ...
- 代码备忘, TODO宏实现
代码备忘, TODO宏实现 我们平时在开发过程中, 往往并非憋足气一股脑敲完所有代码.每一个模块, 每一个函数的实现总有个先后顺序. 又或者哪个部分须要做调整, 改动- 所以, 我们须要有一个东西, ...
- Linux基础之常用基本命令备忘
Linux基础之常用基本命令备忘 PWD 查询当前所在Linux上的位置 / 根目录 CD(change directory)切换目录 语法 CD /(注意添加空格) LS ...
- Webstorm常用快捷键备忘(Webstorm入门指南)
WebStorm 是jetbrains公司旗下一款JavaScript 开发工具.被广大中国JS开发者誉为“Web前端开发神器”.“最强大的HTML5编辑器”.“最智能的JavaSscript IDE ...
- sublime 常用快捷键备忘
转一篇sublime常用的快捷键备忘 sublime常用快捷键 选择类Ctrl+D 选中光标所占的文本,继续操作则会选中下一个相同的文本.Alt+F3 选中文本按下快捷键,即可一次性选择全部的相同文本 ...
- Webstorm常用快捷键备忘
WebStorm 是jetbrains公司旗下一款JavaScript 开发工具.被广大中国JS开发者誉为“Web前端开发神器”.“最强大的HTML5编辑器”.“最智能的JavaSscript IDE ...
- Axure常用操作备忘
目录 前言 技巧 边框重合 复制对象文本居中 复制粘贴样式 文本自适应 给图形添加连接点 导出图片无空白 前言 下面列出Axure画图过程中曾经遇到过的问题,备忘一下,避免别人也走弯路,法布施一下~ ...
- CentOS常用命令备忘
1. 查看进程 ps -a 杀掉进程 kill PID 2. 添加计划任务crontab -e 例如:30 21 * * * service httpd restart 每天21:30重启apache ...
- 【荐1】Total Commander 7.57 个人使用设置 及 常用快捷键 备忘
Total Commander 7.57a 下载地址:http://www.baidu.com/s?wd=total commander 7.57 破解版 软件整体预览图:(注意,下面的版本我用的是 ...
随机推荐
- <marquee>滚动文字</marquee>
<marquee>滚动文字</marquee> 水平滚动: <marquee direction=">水平滚动字幕内容</marquee> 垂 ...
- 关于RNN(Recurrent Neural Network)的一篇文章
文章链接:https://blog.csdn.net/zhaojc1995/article/details/80572098 写的很好!
- Unstanding LSTM
1.RNNs 我们可以把RNNs看成一个普通网络做多次复制后叠加在一起组合起来,每一个网络都会把输出传递到下一个网络中. 把RNNs按时间步上展开,就得到了下图: 从RNNs链状结构可以容易理解到他是 ...
- shell学习笔记1-文件安全与权限
1,创建文件的用户和他所属的组拥有该文件,文件的属主可以设定谁具有读.写.执行该文件的权限,根用户可以改变任何普通用户的设置. 2,一个文件一经创建,就具有三种访问权限:读(可以显示该文件的内容).写 ...
- python3中django-admin找不到core的解决方法
今天在测试django-admin startproject mysite时,出现以下问题: ImportError: No module named django.core 在执行此命令之前,我将d ...
- mysql中的反引号``
[1]反引号`,数字1左边的符号.tab键上面的符号. 它是为了区分MYSQL的保留字与普通字符而引入的符号. 不加反引号建的表不能包含MYSQL保留字,否则出错 如上图,很明显的,如果我们直接建立名 ...
- android 自动化测试 ---python wrapper(python 包装)
关于有道云笔记复制的东西不能直接copy到博客园,可以选择使用txt文件做个媒介 1.appium 2.monkeyrunner 3.uiautomator2 前面两种种方式都要加载androidsd ...
- ACM-ICPC 2018 徐州赛区网络预赛 I. query 树状数组
I. query 题目链接: Problem Description Given a permutation \(p\) of length \(n\), you are asked to answe ...
- poj 2342 【Anniversary party】树形dp
题目传送门//res tp poj 题意 给出一棵有权树,求一个节点集的权值和,满足集合内的任意两点不存在边 分析 每个点有选中与不选中两种状态,对于第\(i\)个点,记选中为\(sel_i\),不选 ...
- PostgreSQL练习3
select dname,count(ename),avg(sal),sum(sal) from emp e,dept d where e.deptno=d.deptno group by dname ...