6、TensorFlow基础(四)队列和线程
队列和线程
和 TensorFlow 中的其他组件一样,队列(queue)本身也是图中的一个节点,是一种有状态的节点,其他节点,如入队节点(enqueue)和出队节点(dequeue),可以修改它的内容。例如,入队节点可以把新元素插到队列末尾,出队节点可以把队列前面的元素删除。本节主要介绍队列、队列管理器、线程和协调器的有关知识。
1、队列:
TensorFlow 中主要有两种队列,即 FIFOQueue 和 RandomShuffleQueue,它们的源代码实现在 tensorflow-1.1.0/tensorflow/python/ops/data_flow_ops.py 中。
(1)、FIFOQueue
FIFOQueue创建一个先入先出队列。列如,我们在训练一些语音、文字样本时,使用循环神经网络的网络结构,希望读入的训练样本是有序的,就要用FIFOQUEUE。
我们行创建一个含有队列的图:
# -*- coding: UTF-8 -*-
# date:2018/6/22
# User:WangHong
import tensorflow as tf
#创建一个先入先出的队列,初始化队列插入0.1,0.2,0.3三个数字
q = tf.FIFOQueue(3,'float')
init = q.enqueue_many(([0.1,0.2,0.3],))
#定义出队、+1、入队操作
x =q.dequeue()
y = x+1
q_inc = q.enqueue([y])
#然后开启一个会话,执行2次q_inc操作,随后查看队列内容。
with tf.Session() as sess:
sess.run(init)
quelen = sess.run(q.size())
for i in range(2):
sess.run(q_inc)#执行2次操作,队列中的值变为0.3,1.1,1.2
quelen = sess.run(q.size())
for i in range(quelen):
print(sess.run(q.dequeue()))#输出队列的值
结果:
(2)、RandomShuffleQueue
RandomShuffleQueue创建一个随机队列,在出队列时,是以随机的顺序产生元素的,例如,我们在训练一些图像样本是,使用CNN的网络结构,希望。可以无序的读入训练样本,就要用RandomShuffleQueue,每次随机产生一个训练样本。
RandomShuffleQueue在在TensorFlow使用异步计算时很重要。因为TensorFlow的会话是支持多线程的,我们可以在主线程里执行训练操作,使用RandomShuffleQueue作为训练输入,开多线程来准备训练样本,将样本压入队列后,主线性会从线程中每次取出mini-batch的样本进行训练。
例子;
# -*- coding: UTF-8 -*-
# date:2018/6/22
# User:WangHong
import tensorflow as tf
q = tf.RandomShuffleQueue(capacity=10,min_after_dequeue=2,dtypes = 'float')
#然后开启一个会话
sess = tf.Session()
for i in range(0,10):#10次入队
sess.run(q.enqueue(i))
for i in range(0,8):#8次出队
print(sess.run(q.dequeue()))
结果:发现结果是乱序
我们尝试修改入队次数为 12 次,再运行,发现程序阻断不动,或者我们尝试修改出队此
时为 10 次,即不保留队列最小长度,发现队列输出 8 次结果后,在终端仍然阻断了。
阻断一般发生在:
● 队列长度等于最小值,执行出队操作;
● 队列长度等于最大值,执行入队操作。
上面的例子都是在会话的主线程中进行入队操作。当数据量很大时,入队操作从硬盘中读
取数据,放入内存中,主线程需要等待入队操作完成,才能进行训练操作。会话中可以运行多
个线程,我们使用线程管理器 QueueRunner 创建一系列的新线程进行入队操作,让主线程继续
使用数据,即训练网络和读取数据是异步的,主线程在训练网络,另一个线程在将数据从硬盘
读入内存。
2、队列管理器
创建一个含有队列的图:
# -*- coding: UTF-8 -*-
# date:2018/6/22
# User:WangHong
import tensorflow as tf
q = tf.FIFOQueue(1000,'float')
counter = tf.Variable(0.0)#计数器
increment_op = tf.assign_add(counter,tf.constant(1.0))#操作给计数器加一
enqueue_op = q.enqueue(counter)#操作;计数器值加入队列
#创建UI个队列计数器QueueRunner,用这两个操作向队列q添加元素。目前使用一个线程
qr = tf.train.QueueRunner(q,enqueue_ops=[increment_op,enqueue_op]*1)
#启动一个会话,从队列管理器qr中创建线程:
#主线程
with tf.Session() as sess:
sess.run(tf.global_variables_initializer())
enqueue_threads = qr.create_threads(sess,start=True)#启动入队线程
for i in range(10):
print(sess.run(q.dequeue()))
结果:
不是我们期待的自然数列,并且线程被阻断。这是因为加 1 操作和入队操作不同步,可能
加 1 操作执行了很多次之后,才会进行一次入队操作。另外,因为主线程的训练(出队操作)
和读取数据的线程的训练(入队操作)是异步的,主线程会一直等待数据送入。
QueueRunner 有一个问题就是:入队线程自顾自地执行,在需要的出队操作完成之后,程
序没法结束。这样就要使用 tf.train.Coordinator 来实现线程间的同步,终止其他线程。
3、线程协调器
# -*- coding: UTF-8 -*-
# date:2018/6/22
# User:WangHong
import tensorflow as tf
q = tf.FIFOQueue(1000,'float')
counter = tf.Variable(0.0)#计数器
increment_op = tf.assign_add(counter,tf.constant(1.0))#操作给计数器加一
enqueue_op = q.enqueue(counter)#操作;计数器值加入队列
#创建UI个队列计数器QueueRunner,用这两个操作向队列q添加元素。目前使用一个线程
qr = tf.train.QueueRunner(q,enqueue_ops=[increment_op,enqueue_op]*1)
#启动一个会话,从队列管理器qr中创建线程:
#主线程
with tf.Session() as sess:
sess.run(tf.global_variables_initializer())
coord = tf.train.Coordinator()
enqueue_threads = qr.create_threads(sess,start=True)#启动入队线程
coord.request_stop() # 通知其他线程关闭
for i in range(10):
try:
print(sess.run(q.dequeue()))
except tf.errors.OutOfRangeError:
break
coord.join(enqueue_threads)#join操作等待其他线程结束,其他所有线程关闭之后,这一函数才能返回
所有队列管理器被默认加在图的 tf.GraphKeys.QUEUE_RUNNERS 集合中。
6、TensorFlow基础(四)队列和线程的更多相关文章
- python队列、线程、进程、协程
目录: 一.queue 二.线程 基本使用 线程锁 自定义线程池 生产者消费者模型(队列) 三.进程 基本使用 进程锁 进程数据共享 默认数据不共享 queues array Manager.dict ...
- python队列、线程、进程、协程(转)
原文地址: http://www.cnblogs.com/wangqiaomei/p/5682669.html 一.queue 二.线程 #基本使用 #线程锁 #自定义线程池 #生产者消费者模型(队列 ...
- 四种Java线程池用法解析
本文为大家分析四种Java线程池用法,供大家参考,具体内容如下 http://www.jb51.net/article/81843.htm 1.new Thread的弊端 执行一个异步任务你还只是如下 ...
- MIT 2012分布式课程基础源码解析-线程池实现
主要内容 ScopedLock 队列实现 线程池实现 在正式讲解线程池实现之前,先讲解两个有用的工具类: ScopedLock fifo队列 ScopedLock: ScopedLock是局域锁的实现 ...
- Android系统--输入系统(十四)Dispatcher线程情景分析_dispatch前处理
Android系统--输入系统(十四)Dispatcher线程情景分析_dispatch前处理 1. 回顾 我们知道Android输入系统是Reader线程通过驱动程序得到上报的输入事件,还要经过处理 ...
- (四)juc线程高级特性——线程池 / 线程调度 / ForkJoinPool
13. 线程池 第四种获取线程的方法:线程池,一个 ExecutorService,它使用可能的几个池线程之一执行每个提交的任务,通常使用 Executors 工厂方法配置. 线程池可以解决两个不同问 ...
- “全栈2019”Java多线程第十四章:线程与堆栈详解
难度 初级 学习时间 10分钟 适合人群 零基础 开发语言 Java 开发环境 JDK v11 IntelliJ IDEA v2018.3 文章原文链接 "全栈2019"Java多 ...
- 【Java并发】并发队列与线程池
并发队列 阻塞队列与非阻塞队 ConcurrentLinkedQueue BlockingQueue ArrayBlockingQueue LinkedBlockingQueue PriorityBl ...
- 【CUDA 基础】5.6 线程束洗牌指令
title: [CUDA 基础]5.6 线程束洗牌指令 categories: - CUDA - Freshman tags: - 线程束洗牌指令 toc: true date: 2018-06-06 ...
随机推荐
- h5 时间控件问题,怎么设置type =datetime-local 的值
在js中设置自定义时间到date控件的方法: 1.在html5中定义时间控件 <input type="date" id="datePicker" val ...
- YUI前端优化之javascript,css篇
三.JavaScript和CSS篇 JavaScript和CSS也是我们页面中经常用到的内容,对它们的优化也提高网站性能的重要方面:CSS:把样式表置于顶部避免使用CSS表达式(Expression) ...
- 关闭Found duplicated code
IDEA中的这个“发现重复代码 - Found duplicated code“的这个提示甚是烦躁. Settings —> Editor —> Inspections —> Gen ...
- vue项目 调用百度地图 BMap is not defined
这次老板新接了一个四点半官网页面,使用vue来写.emm……我感觉整个人都不好了,两天半解决了20个静态页面.还好vue写页面简直飞快,遇到一个vue的新坑,使用百度地图. 研究了好一会,总是报错BM ...
- UVa 10559 Blocks (DP)
题意:一排带有颜色的砖块,每一个可以消除相同颜色的砖块,,每一次可以到块数k的平方分数.求最大分数是多少. 析:dp[i][j][k] 表示消除 i ~ j,并且右边再拼上 k 个 颜色等于a[j] ...
- RabbitMQ client ( java )
Maven 依赖 <dependency> <groupId>com.rabbitmq</groupId> <artifactId>amqp-clien ...
- Centos 下安装tomcat多实例
基础环境及JDK就不多说了,下面的目录结构以如下为准: 根目录-apps根目录-apps--tomcat根目录-apps--ins1根目录-apps--ins2 =================== ...
- s21day25 python笔记
s21day25 python笔记 正则表达式 1.定义 定义:正则表达式是一种规则匹配字符串的规则 re模块本身只是用来操作正则表达式的,和正则本身没关系 为什么要有正则表达式? 匹配字符串 一个人 ...
- java分页实例Demo
前两天测试过的一个分页的demo,在网上看到的,挺好的,就写了下来. 分页也是web里面必须的,有使用的价值. demo文件打包上传了,链接:http://pan.baidu.com/s/1o6sME ...
- nginx 内置参数
$args #这个变量等于请求行中的参数.$content_length #请求头中的Content-length字段.$content_type #请求头中的Content-Type字段.$docu ...