事件Event实现消费者模型
import time
import random
from multiprocessing import Process,Queue def consumer(q,name):
while True:
print('\033[31m%s吃了%s\033[0m'%(name,q.get())) # 如果队列中没有数据了,q.get()方法会一直阻塞
time.sleep(random.randint(1, 3)) def producer(q,food,name): for i in range(10):
time.sleep(random.randint(1, 3))
f = '%s 生产的 %s%i' % (name, food, i)
print(f)
q.put(f) if __name__ == '__main__':
q = Queue(20)
p = Process(target=producer,args=(q,'包子','Egon'))
p1 = Process(target=producer, args=(q, '泔水', 'jinboss'))
c1 = Process(target=consumer, args=(q, 'alex'))
c2 = Process(target=consumer, args=(q, '娜扎'))
p.start()
p1.start()
c1.start()
c2.start()
q.put(None)
q.put(None)
这样是有问题的,因为对列中没有了数据,但是consumer函数还在一个q.get()取数据,但是producter已经生产完毕,所以或一值阻塞,
解决问题的方法:
在末尾添加 q.put(None) 然后在consumer中的取得的数据进行判断,为None就break。
但是这样很麻烦,有多少个consumer就要放几个None 使用JoinableQueue,可以解决这个问题
import time
import random
from multiprocessing import Process,JoinableQueue def consumer(name,q):
while True:
f = q.get()
print('\033[31m%s 吃了 %s\033[0m'%(name,f))
time.sleep(random.randint(1, 3))
q.task_done() # 每一次取得一个数据,处理完成后,返回的一个标志,就相当于一个计数器,每次-1 def producter(name,food,q):
for i in range(10):
f = '%s 生产了 %s%i'%(name,food,i)
print('%s 生产了 %s%i'%(name,food,i))
q.put(f)
time.sleep(random.randint(1,3))
q.join() # 阻塞 直到队列中的数据都被处理完成后,producter进程才结束
# 一般是代码执行完毕就结束,q.join(),感知队列数据的状态,处理完成后,结束
if __name__ == '__main__':
q = JoinableQueue() p1 = Process(target=producter,args=('Egon','包子',q))
p2 = Process(target=producter,args=('nazhe','包子',q))
c1 = Process(target=consumer,args=('alex',q))
c2 = Process(target=consumer,args=('jinboss',q))
p1.start()
p2.start()
c1.daemon = True # 守护进程,随着主进程代码的执行完毕后,才结束
c2.daemon = True
c1.start()
c2.start()
p1.join() # 感知一个子进程的结束,不结束就一直等着
p2.join()
'''
在消费者这一端:
每次处理一个数据
处理一个数据
发送一个记号:标志一个数据被处理完成
在生产者端:
每次生产一个数据
且每次生产的数据都放入队列中
每放入一个数据,就刻一个记号
当生产者全部生产完毕后
join信号:已经停止生产数据 ,进入阻塞状态
但是进程不会结束,且要等到之前存数据时,课上的记号被消费完,否则就一直阻塞
当数据都被处理完毕时,join阻塞结束 consumer 中把所有的数据消耗完
producter 端的join就会感知到,停止阻塞
所有的producter进程都结束之后
主进程中的p.join()方法停止阻塞
主进程代码执行完毕
守护进程(消费者的进程)结束 '''
事件Event实现消费者模型的更多相关文章
- Day034--Python--锁, 信号量, 事件, 队列, 生产者消费者模型, joinableQueue
进程同步: 1. 锁 (重点) 锁通常被用来实现对共享资源的同步访问.为每一个共享资源创建一个Lock对象,当你需要访问该资源时,调用acquire方法来获取锁对象(如果其它线程已经获得了该锁, ...
- Python 之并发编程之进程下(事件(Event())、队列(Queue)、生产者与消费者模型、JoinableQueue)
八:事件(Event()) # 阻塞事件: e = Event() 生成事件对象e e.wait() 动态给程序加阻塞,程序当中是否加阻塞完全取决于该对象中的is_set() [默认返回值 ...
- Python之路(第三十八篇) 并发编程:进程同步锁/互斥锁、信号量、事件、队列、生产者消费者模型
一.进程锁(同步锁/互斥锁) 进程之间数据不共享,但是共享同一套文件系统,所以访问同一个文件,或同一个打印终端,是没有问题的, 而共享带来的是竞争,竞争带来的结果就是错乱,如何控制,就是加锁处理. 例 ...
- 进程同步控制(锁,信号量,事件), 进程通讯(队列和管道,生产者消费者模型) 数据共享(进程池和mutiprocess.Pool模块)
参考博客 https://www.cnblogs.com/xiao987334176/p/9025072.html#autoid-1-1-0 进程同步(multiprocess.Lock.Semaph ...
- python 全栈开发,Day39(进程同步控制(锁,信号量,事件),进程间通信(队列,生产者消费者模型))
昨日内容回顾 python中启动子进程并发编程并发 :多段程序看起来是同时运行的ftp 网盘不支持并发socketserver 多进程 并发异步 两个进程 分别做不同的事情 创建新进程join :阻塞 ...
- Python学习笔记——进阶篇【第九周】———线程、进程、协程篇(队列Queue和生产者消费者模型)
Python之路,进程.线程.协程篇 本节内容 进程.与线程区别 cpu运行原理 python GIL全局解释器锁 线程 语法 join 线程锁之Lock\Rlock\信号量 将线程变为守护进程 Ev ...
- 进程,线程,GIL,Python多线程,生产者消费者模型都是什么鬼
1. 操作系统基本知识,进程,线程 CPU是计算机的核心,承担了所有的计算任务: 操作系统是计算机的管理者,它负责任务的调度.资源的分配和管理,统领整个计算机硬件:那么操作系统是如何进行任务调度的呢? ...
- python2.0_s12_day9之day8遗留知识(queue队列&生产者消费者模型)
4.线程 1.语法 2.join 3.线程锁之Lock\Rlock\信号量 4.将线程变为守护进程 5.Event事件 * 6.queue队列 * 7.生产者消费者模型 4.6 queue队列 que ...
- 进击的Python【第九章】:paramiko模块、线程与进程、各种线程锁、queue队列、生产者消费者模型
一.paramiko模块 他是什么东西? paramiko模块是用python语言写的一个模块,遵循SSH2协议,支持以加密和认证的方式,进行远程服务器的连接. 先来个实例: import param ...
随机推荐
- PentestBox在win10里打不开工具
PentestBox详细安装过程:http://www.cnblogs.com/ESHLkangi/p/8336398.html 在使用PentestBox的时候出现了打不开工具的问题,最后看到一个老 ...
- react+mobx 编写 withStoreHistory 装饰器
主要作用是向store里面注入一个history对象,方便story里面的函数调用 function withStoreHistory(storeName) { if (!storeName) ret ...
- Java 8 中的方法引用
一.原理概要 lambda 表示式,可以作为某些匿名内部类的替代.主要目的是调用该内部类中的方法,而该方法的实现(重写)由 lambda表示式决定. 通常,我们可能不关心匿名内部类中的具体方法(被重写 ...
- Timer和时间调度
Timer作为JDK提供的util工具,不太适合作为周期调度任务,只适合简单的定时操作(按照一定时间频率出发任务),在java的领域解决方案中,Quartz无疑是翘楚. Timer的调度方法有: pu ...
- RoR- Database setup& SQLite ... Migrations
*rails uses SQLite for database by default *Built-in command-line DB viewer *Self-contained,server-l ...
- git本地仓库 push到远程仓库出现错误
! [rejected] master -> master (fetch first) error: failed to push some refs to hint: Updates were ...
- WCF中的ServiceHost初始化两种方式
1 代码方式 using(ServiceHost host=new ServiceHost(typeof(HelloWordService))) { host.AddServiceEndpoint(t ...
- cocos2dx JS 图片精灵添加纹理缓存
添加精灵图片缓存 : cc.spriteFrameCache.addSpriteFrames("res/pic.plist"); 从缓存中获取 : var frame = cc.s ...
- beego 初体验 - 基础模块 - config, httplibs, logs
beego 的基础模块支持了一些web开发常用的功能. 配置,http操作库,日志 配置模块: 这是我的配置文件 如何读取: httplibs:这是一个利用 httplibs 发起 get 请求的示例 ...
- linq 表分组后关联查询
测试linq,获取有教师名额的学校.比如学校有5个教师名额,teacher数量没超过5个,发现有空额 var query = (from teacher in _repositoryTeacher.T ...