在网上大多关于join()与task_done()的结束原话是这样的:

Queue.task_done() 在完成一项工作之后,Queue.task_done()函数向任务已经完成的队列发送一个信号
Queue.join() 实际上意味着等到队列为空,再执行别的操作
 
但是可能很多人还是不太理解,这里以我自己的理解来阐述这两者的关联。

理解

如果线程里每从队列里取一次,但没有执行task_done(),则join无法判断队列到底有没有结束,在最后执行个join()是等不到结果的,会一直挂起。
可以理解为,每task_done一次 就从队列里删掉一个元素,这样在最后join的时候根据队列长度是否为零来判断队列是否结束,从而执行主线程。
下面看个自己写的例子:
下面这个例子,会在join()的地方无限挂起,因为join在等队列清空,但是由于没有task_done,它认为队列还没有清空,还在一直等。
 
  1.  
    #!/usr/bin/env python
  2.  
    # -*- coding:utf-8 -*-
  3.  
    '''threading test'''
  4.  
    import threading
  5.  
    import queue
  6.  
    from time import sleep
  7.  
    #之所以为什么要用线程,因为线程可以start后继续执行后面的主线程,可以put数据,如果不是线程直接在get阻塞。
  8.  
    class Mythread(threading.Thread):
  9.  
    def __init__(self,que):
  10.  
    threading.Thread.__init__(self)
  11.  
    self.queue = que
  12.  
    def run(self):
  13.  
    while True:
  14.  
    sleep(1)
  15.  
    if self.queue.empty(): #判断放到get前面,这样可以,否则队列最后一个取完后就空了,直接break,走不到print
  16.  
    break
  17.  
    item = self.queue.get()
  18.  
    print(item,'!')
  19.  
    #self.queue.task_done()
  20.  
    return
  21.  
    que = queue.Queue()
  22.  
    tasks = [Mythread(que) for x in range(1)]
  23.  
    for x in range(10):
  24.  
     
  25.  
    que.put(x) #快速生产
  26.  
    for x in tasks:
  27.  
    t = Mythread(que) #把同一个队列传入2个线程
  28.  
    t.start()
  29.  
     
  30.  
    que.join()
  31.  
     
  32.  
    print('---success---')
  33.  
     
如果把self.queue.task_done()  注释去掉,就会顺利执行完主程序。
这就是“Queue.task_done()函数向任务已经完成的队列发送一个信号”这句话的意义,能够让join()函数能判断出队列还剩多少,是否清空了。
而事实上我们看下queue的源码可以看出确实是执行一次未完成队列减一:
  1.  
    def task_done(self):
  2.  
    '''Indicate that a formerly enqueued task is complete.
  3.  
     
  4.  
    Used by Queue consumer threads. For each get() used to fetch a task,
  5.  
    a subsequent call to task_done() tells the queue that the processing
  6.  
    on the task is complete.
  7.  
     
  8.  
    If a join() is currently blocking, it will resume when all items
  9.  
    have been processed (meaning that a task_done() call was received
  10.  
    for every item that had been put() into the queue).
  11.  
     
  12.  
    Raises a ValueError if called more times than there were items
  13.  
    placed in the queue.
  14.  
    '''
  15.  
    with self.all_tasks_done:
  16.  
    unfinished = self.unfinished_tasks - 1
  17.  
    if unfinished <= 0:
  18.  
    if unfinished < 0:
  19.  
    raise ValueError('task_done() called too many times')
  20.  
    self.all_tasks_done.notify_all()
  21.  
    self.unfinished_tasks = unfinished
  22.  
     
  23.  
     

快速生产-快速消费

上面的演示代码是快速生产-慢速消费的场景,我们可以直接用task_done()与join()配合,来让empty()判断出队列是否已经结束。 当然,queue我们可以正确判断是否已经清空,但是线程里的get队列是不知道,如果没有东西告诉它,队列空了,因此get还会继续阻塞,那么我们就需要在get程序中加一个判断,如果empty()成立,break退出循环,否则get()还是会一直阻塞。

慢速生产-快速消费

但是如果生产者速度与消费者速度相当,或者生产速度小于消费速度,则靠task_done()来实现队列减一则不靠谱,队列会时常处于供不应求的状态,常为empty,所以用empty来判断则不靠谱。 那么这种情况会导致 join可以判断出队列结束了,但是线程里不能依靠empty()来判断线程是否可以结束。 我们可以在消费队列的每个线程最后塞入一个特定的“标记”,在消费的时候判断,如果get到了这么一个“标记”,则可以判定队列结束了,因为生产队列都结束了,也不会再新增了。 代码如下:

  1.  
    #!/usr/bin/env python
  2.  
    # -*- coding:utf-8 -*-
  3.  
    '''threading test'''
  4.  
    import threading
  5.  
    import queue
  6.  
    from time import sleep
  7.  
    #之所以为什么要用线程,因为线程可以start后继续执行后面的主线程,可以put数据,如果不是线程直接在get阻塞。
  8.  
    class Mythread(threading.Thread):
  9.  
    def __init__(self,que):
  10.  
    threading.Thread.__init__(self)
  11.  
    self.queue = que
  12.  
    def run(self):
  13.  
    while True:
  14.  
    item = self.queue.get()
  15.  
    self.queue.task_done() #这里要放到判断前,否则取最后最后一个的时候已经为空,直接break,task_done执行不了,join()判断队列一直没结束
  16.  
    if item == None:
  17.  
    break
  18.  
    print(item,'!')
  19.  
    return
  20.  
    que = queue.Queue()
  21.  
    tasks = [Mythread(que) for x in range(1)]
  22.  
    #快速生产
  23.  
    for x in tasks:
  24.  
    t = Mythread(que) #把同一个队列传入2个线程
  25.  
    t.start()
  26.  
    for x in range(10):
  27.  
    sleep(1)
  28.  
    que.put(x)
  29.  
    for x in tasks:
  30.  
    que.put(None)
  31.  
    que.join()
  32.  
    print('---success---')

注意点:

put队列完成的时候千万不能用task_done(),否则会报错:

task_done() called too many times

因为该方法仅仅表示get成功后,执行的一个标记。

理解Queue队列中join()与task_done()的关系的更多相关文章

  1. 在队列中join()与task_done()的关联性

    1.基础解释: Queue.task_done() 在完成一项工作之后,Queue.task_done()函数向任务已经完成的队列发送一个信号 Queue.join() 实际上意味着等到队列为空,再执 ...

  2. python threading queue模块中join setDaemon及task_done的使用方法及示例

    threading:     t.setDaemon(True)  将线程设置成守护线程,主进行结束后,此线程也会被强制结束.如果线程没有设置此值,则主线程执行完毕后还会等待此线程执行.     t. ...

  3. python中的Queue(队列)详解

    一.Queue简介 python中的队列分类可分为两种: 1.线程Queue,也就是普通的Queue 2.进程Queue,在多线程与多进程会介绍. Queue的种类: FIFO:  Queue.Que ...

  4. Java 集合深入理解(9):Queue 队列

    点击查看 Java 集合框架深入理解 系列, - ( ゜- ゜)つロ 乾杯~ 今天心情不太好,来学一下 List 吧! 什么是队列 队列是数据结构中比较重要的一种类型,它支持 FIFO,尾部添加.头部 ...

  5. python多线程中join()的理解

    在 Python 的多线程编程中,经常碰到 thread.join()这样的代码.那么今天咱们用实际代码来解释一下 join 函数的作用. 第一,当一个进程启动之后,会默认产生一个主线程,因为线程是程 ...

  6. 【服务总线 Azure Service Bus】ServiceBus 队列中死信(DLQ - Dead Letter Queue)问题

    Azure Service Bus 死信队列产生的原因 服务总线中有几个活动会导致从消息引擎本身将消息推送到 DLQ. 如 超过 MaxDeliveryCount 超过 TimeToLive 处理订阅 ...

  7. Python守护进程、进程互斥锁、进程间通信ICP(Queue队列)、生产者消费者模型

    知识点一:守护进程 守护进程:p1.daemon=True 守护进程其实就是一个“子进程“,守护=>伴随 守护进程会伴随主进程的代码运行完毕后而死掉 进程:当父进程需要将一个任务并发出去执行,需 ...

  8. 进击的Python【第九章】:paramiko模块、线程与进程、各种线程锁、queue队列、生产者消费者模型

    一.paramiko模块 他是什么东西? paramiko模块是用python语言写的一个模块,遵循SSH2协议,支持以加密和认证的方式,进行远程服务器的连接. 先来个实例: import param ...

  9. Python 源码分析:queue 队列模块

    起步 queue 模块提供适用于多线程编程的先进先出(FIFO)数据结构.因为它是线程安全的,所以多个线程很轻松地使用同一个实例. 源码分析 先从初始化的函数来看: 从这初始化函数能得到哪些信息呢?首 ...

随机推荐

  1. linux系统unzip文件报错的解决方案

    data.zip文件有4G多,解压的时候出问题了. Archive:  data.zip End-of-central-directorysignature not found.  Either th ...

  2. [QualityCenter]QC是什么?发展历程是怎样?

    QC,即Quality Center,是一个基于Web的测试管理工具.它可以组织和管理应用程序测试流程的所有阶段,包括制定测试需求.计划测试.执行测试和跟踪缺陷.此外,通过Quality Center ...

  3. node实现爬虫

    node实现获取到豆瓣电影排行榜页面. 准备工作: 1.新建一个文件夹node 在当前文件夹中打开cmd 下载 npm install 初始化 npm init(注意一下:如果你的npm init没有 ...

  4. Selenium入门系列4 选择并操作一组元素

    选中一组元素的方式也是8种,与选中单个元素一一对应.区别只在于element与elements.elements取到的是一个数组,element取符合条件的第一个元素. 首先在脚本的目录下新建test ...

  5. 静态库是.o文件的集合与弱符号

    静态库是.o文件的集合. 静态库与弱符号的概念相关联. 在生成库文件时,不做强符号检查.

  6. 起一个node服务

    使用node开发一个应用,非常简单,甚至都不用去配置一堆文件来启动一个webu服务器,直接去官网把这一段示例代码拷过来 https://nodejs.org/en/about/ 中文网没有这个abou ...

  7. 2018.8.15 AOP面向切面编程简单理解

    在Filter过滤器中 拦截器 表面上看 -拦截器帮我们封装了很多功能 拦截器优秀的设计,可拔插设计 aop思想 在struts2中 归纳总结

  8. Miller rabin

    蛤蛤,终于基本上搞懂了 #include<iostream> #include<cstdio> using namespace std; long long num[10]={ ...

  9. Java中的逻辑运算符短路效应

    在Java中逻辑运算符&& 和 ||,它们都存在短路效应. 对于a && b,只有当a和b同时为true时,整个表达式才为true(在java中,首先运算表达式a,如果 ...

  10. BZOJ1061: [Noi2008]志愿者招募(线性规划)

    Time Limit: 20 Sec  Memory Limit: 162 MBSubmit: 5725  Solved: 3437[Submit][Status][Discuss] Descript ...