一、生产者消费者模型

  1. import multiprocessing
  2.  
  3. from time import ctime
  4.  
  5. def consumer(input_q):
  6.  
  7. print("Into consumer:",ctime())
  8.  
  9. while True:
  10.  
  11. #处理项
  12.  
  13. item = input_q.get()
  14.  
  15. print("pull",item,"out of q")#此处替换为有用的工作
  16.  
  17. input_q.task_done()#发出信号通知任务完成
  18.  
  19. print("Out of consumer:",ctime()) #此句未执行,因为q.join()收集到四个task_done()信号后,主进程启动
  20.  
  21. def producer(sequence,output_q):
  22.  
  23. print("Into producer:",ctime())
  24.  
  25. for item in sequence:
  26.  
  27. output_q.put(item)
  28.  
  29. print("put",item,"into_q")
  30.  
  31. print("Out of producer:",ctime())
  32.  
  33. #建立进程
  34.  
  35. if __name__ == "__main__":
  36.  
  37. q=multiprocessing.JoinableQueue()
  38.  
  39. #运行消费者进程
  40.  
  41. cons_p = multiprocessing.Process(target=consumer,args=(q,))
  42.  
  43. cons_p.daemon = True
  44.  
  45. cons_p.start()
  46.  
  47.  
  48. #生产多个项,sequence代表要发送给消费者的项序列
  49.  
  50. #在实践中,这可能是生成器的输出或通过一些其他方式生产出来的
  51.  
  52. sequence = [1,2,3,4]
  53.  
  54. producer(sequence,q)
  55.  
  56. #等待所有项被处理
  57.  
  58. q.join()

二、协程

1.协程参考资料:

http://python.jobble.com/86481/

http://python.jobble.com/87310/

https://segmentfault.com/a/1190000009781688

2.迭代器参考资料

可迭代(iterable):直接作用于for循环变量

迭代器(Iterator):不但可以作用于for循环,还可以被next调用

3.关系:list是一个典型的可迭代对象,但是不是一个迭代器,因为list不可以被next调用

4.判断标准:通过isinstance来判断某个变量是否是一个实例,判断是否可以迭代

  1. from collections import Iterable,Iterator
  2.  
  3.  
  4. l = [i for i in range(5)] #可迭代
  5.  
  6. print(isinstance(l,Iterable))#判断是否可迭代
  7.  
  8. print(isinstance(l,Iterator))#判断是否是一个迭代器
  9.  
  10.  
  11. s_iter = iter(l)#将其转换为可以迭代的和迭代器
  12.  
  13. print(isinstance(s_iter,Iterable))#判断是否可迭代
  14.  
  15. print(isinstance(s_iter,Iterator))#判断是否是一个迭代器

三、源码

d26_2_consumer_and_producer_model.py

d27_1_iterable_and_iterator_and_their_transform.py

https://github.com/ruigege66/Python_learning/blob/master/d26_2_consumer_and_producer_model.py

https://github.com/ruigege66/Python_learning/blob/master/d27_1_iterable_and_iterator_and_their_transform.py​

2.CSDN:https://blog.csdn.net/weixin_44630050(心悦君兮君不知-睿)

3.博客园:https://www.cnblogs.com/ruigege0000/

4.欢迎关注微信公众号:傅里叶变换,个人公众号,仅用于学习交流,后台回复”礼包“,获取大数据学习资料

Python连载38-协程、可迭代、迭代器、生产者消费者模型的更多相关文章

  1. 4月25日 python学习总结 互斥锁 IPC通信 和 生产者消费者模型

    一.守护进程 import random import time from multiprocessing import Process def task(): print('name: egon') ...

  2. python中和生成器协程相关yield from之最详最强解释,一看就懂(二)

    一. 从列表中yield  语法形式:yield from <可迭代的对象实例> python中的列表是可迭代的, 如果想构造一个生成器逐一产生list中元素,按之前的yield语法,是在 ...

  3. python中和生成器协程相关的yield之最详最强解释,一看就懂(一)

    yield是python中一个非常重要的关键词,所有迭代器都是yield实现的,学习python,如果不把这个yield的意思和用法彻底搞清楚,学习python的生成器,协程和异步io的时候,就会彻底 ...

  4. 第十一章:Python高级编程-协程和异步IO

    第十一章:Python高级编程-协程和异步IO Python3高级核心技术97讲 笔记 目录 第十一章:Python高级编程-协程和异步IO 11.1 并发.并行.同步.异步.阻塞.非阻塞 11.2 ...

  5. [转载]Python 3.5 协程究竟是个啥

    http://blog.rainy.im/2016/03/10/how-the-heck-does-async-await-work-in-python-3-5/ [译] Python 3.5 协程究 ...

  6. [译] Python 3.5 协程究竟是个啥

    转自:http://blog.rainy.im/2016/03/10/how-the-heck-does-async-await-work-in-python-3-5/ [译] Python 3.5 ...

  7. python学习笔记 协程

    在学习异步IO模型前,先来了解协程 协程又叫做微线程,Coroutine 子程序或者成为函数,在所有语言中都是层级调用,比如a调用b,b调用c.c执行完毕返回,b执行完毕返回,最后a执行完毕返回 所以 ...

  8. Python 进阶 之 协程

    协程的概念级描述(与线程对比):转自知乎 链接 线程有两个必须要处理的问题:一是碰着阻塞式I\O会导致整个进程被挂起: 二是由于缺乏时钟阻塞,进程需要自己拥有调度线程的能力. 如果一种实现使得每个线程 ...

  9. Python中异步协程的使用方法介绍

    1. 前言 在执行一些 IO 密集型任务的时候,程序常常会因为等待 IO 而阻塞.比如在网络爬虫中,如果我们使用 requests 库来进行请求的话,如果网站响应速度过慢,程序一直在等待网站响应,最后 ...

随机推荐

  1. HashMap这些问题你知道吗?

    HashMap是Java面试中的常考点之一,而且其<Key,Value>结构也是开发中常常用到的结构之一.或许你使用过HashMap,但是你知道下面这些问题吗? HashMap的底层结构是 ...

  2. 《机器学习技法》---AdaBoost算法

    1 AdaBoost的推导 首先,直接给出AdaBoost算法的核心思想是:在原数据集上经过取样,来生成不同的弱分类器,最终再把这些弱分类器聚合起来. 关键问题有如下几个: (1)取样怎样用数学方式表 ...

  3. Redis的高可用(HA)

    本文参考 [https://www.jianshu.com/p/501c9c3b1b36] [https://www.jianshu.com/p/3b9054d3894b] 八大特性 1.速度快 正常 ...

  4. django前后端分离部署

    部署静态文件: 静态文件有两种方式1:通过django路由访问2:通过nginx直接访问 方式1: 需要在根目录的URL文件中增加,作为入口 url(r'^$', TemplateView.as_vi ...

  5. Docker跨服务器通信Overlay解决方案(下) Consul集群

    承接上文 本文基于上篇文章,详细的场景说明与分析在前篇随笔中业已记录,有兴趣可以移步 Docker跨服务器通信Overlay解决方案(上) Consul单实例 本文主旨 本文为Docker使用Cons ...

  6. 数组的方法 forEach filter map slice splice

    目前一些数组的实用的方法 1 arr.splice(i,n) 删除从i(索引值)开始之后的那个元素.返回值是删除的元素,改变原数组: 参数: i 索引值      n 个数 let arr = [1, ...

  7. 玩转SpringBoot 2 之项目启动篇

    SpringBoot 启动方式有那些? SpringBoot 有4种方式进行启动,具体方式如下: IDEA方式启动 Eclipse 方式启动 Maven 启动方式 通过SpringBoot 程序 ja ...

  8. unity编辑器扩展_06(给选项添加快捷键,控制菜单是否启用)

    代码: [MenuItem("Tools/Delete ", true, 1)]    static bool DeleteVadidate()    {        if (S ...

  9. C++ 并发编程之互斥锁和条件变量的性能比较

    介绍 本文以最简单生产者消费者模型,通过运行程序,观察该进程的cpu使用率,来对比使用互斥锁 和 互斥锁+条件变量的性能比较. 本例子的生产者消费者模型,1个生产者,5个消费者. 生产者线程往队列里放 ...

  10. 过滤掉Abp框架不需要记录的日志

    该文章是系列文章 基于.NetCore和ABP框架如何让Windows服务执行Quartz定时作业 的其中一篇. 问题 ABP.WindowsService/Demo.MyJob/4.0.0该项目不仅 ...