队列和线程

  和 TensorFlow 中的其他组件一样,队列(queue)本身也是图中的一个节点,是一种有状态的节点,其他节点,如入队节点(enqueue)和出队节点(dequeue),可以修改它的内容。例如,入队节点可以把新元素插到队列末尾,出队节点可以把队列前面的元素删除。本节主要介绍队列、队列管理器、线程和协调器的有关知识。

1、队列:

  TensorFlow 中主要有两种队列,即 FIFOQueue 和 RandomShuffleQueue,它们的源代码实现在 tensorflow-1.1.0/tensorflow/python/ops/data_flow_ops.py 中。

  (1)、FIFOQueue

   FIFOQueue创建一个先入先出队列。列如,我们在训练一些语音、文字样本时,使用循环神经网络的网络结构,希望读入的训练样本是有序的,就要用FIFOQUEUE。

  我们行创建一个含有队列的图:

 # -*- coding: UTF-8 -*-
# date:2018/6/22
# User:WangHong
import tensorflow as tf
#创建一个先入先出的队列,初始化队列插入0.1,0.2,0.3三个数字
q = tf.FIFOQueue(3,'float')
init = q.enqueue_many(([0.1,0.2,0.3],))
#定义出队、+1、入队操作
x =q.dequeue()
y = x+1
q_inc = q.enqueue([y])
#然后开启一个会话,执行2次q_inc操作,随后查看队列内容。
with tf.Session() as sess:
sess.run(init)
quelen = sess.run(q.size())
for i in range(2):
sess.run(q_inc)#执行2次操作,队列中的值变为0.3,1.1,1.2
quelen = sess.run(q.size())
for i in range(quelen):
print(sess.run(q.dequeue()))#输出队列的值

结果:

     

  (2)、RandomShuffleQueue

    RandomShuffleQueue创建一个随机队列,在出队列时,是以随机的顺序产生元素的,例如,我们在训练一些图像样本是,使用CNN的网络结构,希望。可以无序的读入训练样本,就要用RandomShuffleQueue,每次随机产生一个训练样本。

    RandomShuffleQueue在在TensorFlow使用异步计算时很重要。因为TensorFlow的会话是支持多线程的,我们可以在主线程里执行训练操作,使用RandomShuffleQueue作为训练输入,开多线程来准备训练样本,将样本压入队列后,主线性会从线程中每次取出mini-batch的样本进行训练。

例子;

 # -*- coding: UTF-8 -*-
# date:2018/6/22
# User:WangHong
import tensorflow as tf
q = tf.RandomShuffleQueue(capacity=10,min_after_dequeue=2,dtypes = 'float')
#然后开启一个会话
sess = tf.Session()
for i in range(0,10):#10次入队
sess.run(q.enqueue(i))
for i in range(0,8):#8次出队
print(sess.run(q.dequeue()))

结果:发现结果是乱序

     

我们尝试修改入队次数为 12 次,再运行,发现程序阻断不动,或者我们尝试修改出队此
时为 10 次,即不保留队列最小长度,发现队列输出 8 次结果后,在终端仍然阻断了。

阻断一般发生在:
● 队列长度等于最小值,执行出队操作;
● 队列长度等于最大值,执行入队操作。

  上面的例子都是在会话的主线程中进行入队操作。当数据量很大时,入队操作从硬盘中读
取数据,放入内存中,主线程需要等待入队操作完成,才能进行训练操作。会话中可以运行多
个线程,我们使用线程管理器 QueueRunner 创建一系列的新线程进行入队操作,让主线程继续
使用数据,即训练网络和读取数据是异步的,主线程在训练网络,另一个线程在将数据从硬盘
读入内存。

 2、队列管理器

  创建一个含有队列的图:

 # -*- coding: UTF-8 -*-
# date:2018/6/22
# User:WangHong
import tensorflow as tf
q = tf.FIFOQueue(1000,'float')
counter = tf.Variable(0.0)#计数器
increment_op = tf.assign_add(counter,tf.constant(1.0))#操作给计数器加一
enqueue_op = q.enqueue(counter)#操作;计数器值加入队列
#创建UI个队列计数器QueueRunner,用这两个操作向队列q添加元素。目前使用一个线程
qr = tf.train.QueueRunner(q,enqueue_ops=[increment_op,enqueue_op]*1)
#启动一个会话,从队列管理器qr中创建线程:
#主线程
with tf.Session() as sess:
sess.run(tf.global_variables_initializer())
enqueue_threads = qr.create_threads(sess,start=True)#启动入队线程
for i in range(10):
print(sess.run(q.dequeue()))

结果:

     

  

  不是我们期待的自然数列,并且线程被阻断。这是因为加 1 操作和入队操作不同步,可能
加 1 操作执行了很多次之后,才会进行一次入队操作。另外,因为主线程的训练(出队操作)
和读取数据的线程的训练(入队操作)是异步的,主线程会一直等待数据送入。

  QueueRunner 有一个问题就是:入队线程自顾自地执行,在需要的出队操作完成之后,程
序没法结束。这样就要使用 tf.train.Coordinator 来实现线程间的同步,终止其他线程。

 3、线程协调器

 # -*- coding: UTF-8 -*-
# date:2018/6/22
# User:WangHong
import tensorflow as tf
q = tf.FIFOQueue(1000,'float')
counter = tf.Variable(0.0)#计数器
increment_op = tf.assign_add(counter,tf.constant(1.0))#操作给计数器加一
enqueue_op = q.enqueue(counter)#操作;计数器值加入队列
#创建UI个队列计数器QueueRunner,用这两个操作向队列q添加元素。目前使用一个线程
qr = tf.train.QueueRunner(q,enqueue_ops=[increment_op,enqueue_op]*1)
#启动一个会话,从队列管理器qr中创建线程:
#主线程
with tf.Session() as sess:
sess.run(tf.global_variables_initializer())
coord = tf.train.Coordinator()
enqueue_threads = qr.create_threads(sess,start=True)#启动入队线程
coord.request_stop() # 通知其他线程关闭
for i in range(10):
try:
print(sess.run(q.dequeue()))
except tf.errors.OutOfRangeError:
break
coord.join(enqueue_threads)#join操作等待其他线程结束,其他所有线程关闭之后,这一函数才能返回

所有队列管理器被默认加在图的 tf.GraphKeys.QUEUE_RUNNERS 集合中。

6、TensorFlow基础(四)队列和线程的更多相关文章

  1. python队列、线程、进程、协程

    目录: 一.queue 二.线程 基本使用 线程锁 自定义线程池 生产者消费者模型(队列) 三.进程 基本使用 进程锁 进程数据共享 默认数据不共享 queues array Manager.dict ...

  2. python队列、线程、进程、协程(转)

    原文地址: http://www.cnblogs.com/wangqiaomei/p/5682669.html 一.queue 二.线程 #基本使用 #线程锁 #自定义线程池 #生产者消费者模型(队列 ...

  3. 四种Java线程池用法解析

    本文为大家分析四种Java线程池用法,供大家参考,具体内容如下 http://www.jb51.net/article/81843.htm 1.new Thread的弊端 执行一个异步任务你还只是如下 ...

  4. MIT 2012分布式课程基础源码解析-线程池实现

    主要内容 ScopedLock 队列实现 线程池实现 在正式讲解线程池实现之前,先讲解两个有用的工具类: ScopedLock fifo队列 ScopedLock: ScopedLock是局域锁的实现 ...

  5. Android系统--输入系统(十四)Dispatcher线程情景分析_dispatch前处理

    Android系统--输入系统(十四)Dispatcher线程情景分析_dispatch前处理 1. 回顾 我们知道Android输入系统是Reader线程通过驱动程序得到上报的输入事件,还要经过处理 ...

  6. (四)juc线程高级特性——线程池 / 线程调度 / ForkJoinPool

    13. 线程池 第四种获取线程的方法:线程池,一个 ExecutorService,它使用可能的几个池线程之一执行每个提交的任务,通常使用 Executors 工厂方法配置. 线程池可以解决两个不同问 ...

  7. “全栈2019”Java多线程第十四章:线程与堆栈详解

    难度 初级 学习时间 10分钟 适合人群 零基础 开发语言 Java 开发环境 JDK v11 IntelliJ IDEA v2018.3 文章原文链接 "全栈2019"Java多 ...

  8. 【Java并发】并发队列与线程池

    并发队列 阻塞队列与非阻塞队 ConcurrentLinkedQueue BlockingQueue ArrayBlockingQueue LinkedBlockingQueue PriorityBl ...

  9. 【CUDA 基础】5.6 线程束洗牌指令

    title: [CUDA 基础]5.6 线程束洗牌指令 categories: - CUDA - Freshman tags: - 线程束洗牌指令 toc: true date: 2018-06-06 ...

随机推荐

  1. h5 时间控件问题,怎么设置type =datetime-local 的值

    在js中设置自定义时间到date控件的方法: 1.在html5中定义时间控件 <input type="date" id="datePicker" val ...

  2. YUI前端优化之javascript,css篇

    三.JavaScript和CSS篇 JavaScript和CSS也是我们页面中经常用到的内容,对它们的优化也提高网站性能的重要方面:CSS:把样式表置于顶部避免使用CSS表达式(Expression) ...

  3. 关闭Found duplicated code

    IDEA中的这个“发现重复代码 - Found duplicated code“的这个提示甚是烦躁. Settings —> Editor —> Inspections —> Gen ...

  4. vue项目 调用百度地图 BMap is not defined

    这次老板新接了一个四点半官网页面,使用vue来写.emm……我感觉整个人都不好了,两天半解决了20个静态页面.还好vue写页面简直飞快,遇到一个vue的新坑,使用百度地图. 研究了好一会,总是报错BM ...

  5. UVa 10559 Blocks (DP)

    题意:一排带有颜色的砖块,每一个可以消除相同颜色的砖块,,每一次可以到块数k的平方分数.求最大分数是多少. 析:dp[i][j][k] 表示消除 i ~ j,并且右边再拼上 k 个 颜色等于a[j] ...

  6. RabbitMQ client ( java )

    Maven 依赖 <dependency> <groupId>com.rabbitmq</groupId> <artifactId>amqp-clien ...

  7. Centos 下安装tomcat多实例

    基础环境及JDK就不多说了,下面的目录结构以如下为准: 根目录-apps根目录-apps--tomcat根目录-apps--ins1根目录-apps--ins2 =================== ...

  8. s21day25 python笔记

    s21day25 python笔记 正则表达式 1.定义 定义:正则表达式是一种规则匹配字符串的规则 re模块本身只是用来操作正则表达式的,和正则本身没关系 为什么要有正则表达式? 匹配字符串 一个人 ...

  9. java分页实例Demo

    前两天测试过的一个分页的demo,在网上看到的,挺好的,就写了下来. 分页也是web里面必须的,有使用的价值. demo文件打包上传了,链接:http://pan.baidu.com/s/1o6sME ...

  10. nginx 内置参数

    $args #这个变量等于请求行中的参数.$content_length #请求头中的Content-length字段.$content_type #请求头中的Content-Type字段.$docu ...