python之进程----Queue
- from multiprocessing import Process,Queue
- import time
- import random
- import os
- def consumer(q):
- while True:
- res=q.get()
- if res is None:
- break
- time.sleep(random.randint(1,3))
- print('\033[45m%s 吃了 %s\033[0m' % (os.getpid(), res))
- def producer(q):
- for i in range(5):
- time.sleep(2)
- res='包子%s' %i
- q.put(res)
- print('\033[44m%s 制造了 %s\033[0m' %(os.getpid(),res))
- q.put(None)
- if __name__ == '__main__':
- q=Queue()
- #生产者们:厨师们
- p1=Process(target=producer,args=(q,))
- #消费者们:吃货们
- p2=Process(target=consumer,args=(q,))
- p1.start()
- p2.start()
- p1.join()
- p2.join()
- print('主')
生产者,消费者模型1
- from multiprocessing import Process,Queue
- import time
- import random
- import os
- def consumer(q):
- while True:
- res=q.get()
- if res is None:break
- time.sleep(random.randint(1,3))
- print('\033[45m%s 吃了 %s\033[0m' % (os.getpid(), res))
- def product_baozi(q):
- for i in range(3):
- time.sleep(2)
- res='包子%s' %i
- q.put(res)
- print('\033[44m%s 制造了 %s\033[0m' %(os.getpid(),res))
- def product_jiaozi(q):
- for i in range(3):
- time.sleep(2)
- res='饺子%s' %i
- q.put(res)
- print('\033[44m%s 制造了 %s\033[0m' %(os.getpid(),res))
- def product_dabing(q):
- for i in range(3):
- time.sleep(2)
- res='大饼%s' %i
- q.put(res)
- print('\033[44m%s 制造了 %s\033[0m' %(os.getpid(),res))
- if __name__ == '__main__':
- q=Queue()
- #生产者们:厨师们
- p1=Process(target=product_baozi,args=(q,))
- p2=Process(target=product_jiaozi,args=(q,))
- p3=Process(target=product_dabing,args=(q,))
- #消费者们:吃货们
- p4=Process(target=consumer,args=(q,))
- p5=Process(target=consumer,args=(q,))
- p_l=[p1,p2,p3,p4,p5]
- for p in p_l:
- p.start()
- # for p in p_l:
- # p.join()
- # p1.start()
- # p2.start()
- # p3.start()
- # p4.start()
- # p5.start()
- p1.join()
- p2.join()
- p3.join()
- q.put(None)
- q.put(None)
- p4.join()
- p5.join()
- print('主')
生产者,消费者模型2
- q .put方法用以插入数据到队列中,put方法还有两个可选参数:blocked和timeout。如果blocked为True(默认值),
并且timeout为正值,该方法会阻塞timeout指定的时间,直到该队列有剩余的空间。
如果超时,会抛出Queue.Full异常。如果blocked为False,但该Queue已满,会立即抛出Queue.Full异常。- q.get方法可以从队列读取并且删除一个元素。同样,get方法有两个可选参数:blocked和timeout。
如果blocked为True(默认值),并且timeout为正值,那么在等待时间内没有取到任何元素,会抛出Queue.Empty异常。
如果blocked为False,有两种情况存在,如果Queue有一个值可用,则立即返回该值,否则,如果队列为空,则立即抛出Queue.Empty异常.
- 1:可以往队列里放任意类型的数据 2 队列:先进先出
- from multiprocessing import Process,Queue
- q=Queue(3)
- q.put('first')
- q.put('second')
- q.put('third')
- # q.put('fourht')
- print(q.get())
- print(q.get())
- print(q.get())
- # print(q.get())
q.put和q.get
- from multiprocessing import Process,Queue
- q=Queue(3)
- q.put('first',block=False)
- q.put('second',block=False)
- q.put('third',block=False)
- # q.put('fourth',block=False)
- q.put('fourth',block=True,timeout=3)
- q.get(block=False)
- q.get(block=True,timeout=3)
- q.get_nowait() #q.get(block=False)
p.get的参数
- from multiprocessing import Process,JoinableQueue
- import time
- import random
- import os
- def consumer(q):
- while True:
- res=q.get()
- time.sleep(random.randint(1,3))
- print('\033[45m%s 吃了 %s\033[0m' % (os.getpid(), res))
- q.task_done()
- def product_baozi(q):
- for i in range(5):
- time.sleep(2)
- res='包子%s' %i
- q.put(res)
- print('\033[44m%s 制造了 %s\033[0m' %(os.getpid(),res))
- q.join()
- if __name__ == '__main__':
- q=JoinableQueue()
- #生产者们:厨师们
- p1=Process(target=product_baozi,args=(q,))
- #消费者们:吃货们
- p4=Process(target=consumer,args=(q,))
- p4.daemon=True
- p1.start()
- p4.start()
- p1.join()
- print('主')
生产者,消费者模型3
- from multiprocessing import Process,JoinableQueue
- import time
- import random
- import os
- def product_baozi(q):
- for i in range(3):
- time.sleep(2)
- res='包子%s' %i
- q.put(res)
- print('\033[44m%s 制造了 %s\033[0m' %(os.getpid(),res))
- q.join()
- def product_jiaozi(q):
- for i in range(3):
- time.sleep(2)
- res='饺子%s' %i
- q.put(res)
- print('\033[44m%s 制造了 %s\033[0m' %(os.getpid(),res))
- q.join()
- def product_dabing(q):
- for i in range(3):
- time.sleep(2)
- res='大饼%s' %i
- q.put(res)
- print('\033[44m%s 制造了 %s\033[0m' %(os.getpid(),res))
- q.join()
- def consumer(q):
- while True:
- res = q.get()
- time.sleep(random.randint(1, 3))
- print('\033[45m%s 吃了 %s\033[0m' % (os.getpid(), res))
- q.task_done()
- if __name__ == '__main__':
- q=JoinableQueue()
- #生产者们:厨师们
- p1=Process(target=product_baozi,args=(q,))
- p2=Process(target=product_jiaozi,args=(q,))
- p3=Process(target=product_dabing,args=(q,))
- #消费者们:吃货们
- p4=Process(target=consumer,args=(q,))
- p5=Process(target=consumer,args=(q,))
- p4.daemon=True
- p5.daemon=True
- p_l=[p1,p2,p3,p4,p5]
- for p in p_l:
- p.start()
- p1.join()
- p2.join()
- p3.join()
- print('主')
生产者,消费者模型4
三,互斥锁
互斥锁应用:
- from multiprocessing import Process,Lock
- import os
- import time
- def work(mutex):
- mutex.acquire()
- print('task[%s] 上厕所' %os.getpid())
- time.sleep(3)
- print('task[%s] 上完厕所' %os.getpid())
- mutex.release()
- if __name__ == '__main__':
- mutex=Lock()
- p1=Process(target=work,args=(mutex,))
- p2=Process(target=work,args=(mutex,))
- p3=Process(target=work,args=(mutex,))
- p1.start()
- p2.start()
- p3.start()
- print('主')
互斥锁
四、模拟抢票:
- from multiprocessing import Process,Lock
- import json
- import time
- import random
- import os
- def search():
- dic=json.load(open('db.txt',))
- print('剩余票数%s' %dic['count'])
- def get_ticket():
- dic=json.load(open('db.txt',))
- if dic['count'] > 0:
- dic['count']-=1
- json.dump(dic,open('db.txt','w'))
- print('%s 购票成功' %os.getpid())
- def task(mutex):
- search()
- time.sleep(random.randint(1, 3)) #模拟购票一系列繁琐的过程所花费的时间
- mutex.acquire()
- get_ticket()
- mutex.release()
- if __name__ == '__main__':
- mutex=Lock()
- for i in range(50):
- p=Process(target=task,args=(mutex,))
- p.start()
模拟抢票
五、process对象的其他属性补充
- from multiprocessing import Process
- import os
- import time
- def work():
- print('%s is working' %os.getpid())
- time.sleep(3)
- if __name__ == '__main__':
- p1=Process(target=work)
- p2=Process(target=work)
- p3=Process(target=work)
- p1.daemon=True
- p2.daemon=True
- p3.daemon=True
- p1.start() #初始化1
- p2.start() #初始化2
- p3.start() #初始化3
- p3.join()
- p1.join()
- p2.join()
- print('基于初始化的结果来继续运行')
process属性补充1
- from multiprocessing import Process
- import os
- import time
- def work():
- print('%s is working' %os.getpid())
- time.sleep(3)
- if __name__ == '__main__':
- p1=Process(target=work)
- # p2=Process(target=work)
- # p3=Process(target=work)
- p1.start() #初始化1
- # p2.start() #初始化2
- # p3.start() #初始化3
- # p1.terminate()
- # time.sleep(3)
- # print(p1.is_alive())
- print(p1.name)
- print(p1.pid)
- print('基于初始化的结果来继续运行')
process属性补充2
python之进程----Queue的更多相关文章
- Python开发【笔记】:what?进程queue还能生产出线程!
进程queue底层用线程传输数据 import threading import multiprocessing def main(): queue = multiprocessing.Queue() ...
- Python:进程
由于GIL的存在,python一个进程同时只能执行一个线程.因此在python开发时,计算密集型的程序常用多进程,IO密集型的使用多线程 1.多进程创建: #创建方法1:将要执行的方法作为参数传给Pr ...
- python中的Queue(队列)详解
一.Queue简介 python中的队列分类可分为两种: 1.线程Queue,也就是普通的Queue 2.进程Queue,在多线程与多进程会介绍. Queue的种类: FIFO: Queue.Que ...
- python 之进程篇
多线程给我们的感觉 1.因为GIL的存在,一个进程的多线程同一时刻只能进去一个,感觉是假的并发 2.只适合I/O密集型的任务 3.针对计算密集型,就挂了(变成串行了) 在python中想要充分利用多核 ...
- Python之进程
进程 进程(Process)是计算机中的程序关于某数据集合上的一次运行活动,是系统进行资源分配和调度的基本单位,是操作系统结构的基础.在早期面向进程设计的计算机结构中,进程是程序的基本执行实体:在当代 ...
- {Python之进程} 背景知识 什么是进程 进程调度 并发与并行 同步\异步\阻塞\非阻塞 进程的创建与结束 multiprocess模块 进程池和mutiprocess.Poll
Python之进程 进程 本节目录 一 背景知识 二 什么是进程 三 进程调度 四 并发与并行 五 同步\异步\阻塞\非阻塞 六 进程的创建与结束 七 multiprocess模块 八 进程池和mut ...
- python开发进程:共享数据&进程池
一,共享数据 展望未来,基于消息传递的并发编程是大势所趋 即便是使用线程,推荐做法也是将程序设计为大量独立的线程集合 通过消息队列交换数据.这样极大地减少了对使用锁定和其他同步手段的需求, 还可以扩展 ...
- python的进程和线程
关于进程: An executing instance of a program is called a process.程序的执行实例称为进程. Each process provides the ...
- Python之进程 进阶 下
在python程序中的进程操作 之前我们已经了解了很多进程相关的理论知识,了解进程是什么应该不再困难了,刚刚我们已经了解了,运行中的程序就是一个进程.所有的进程都是通过它的父进程来创建的.因此,运行起 ...
随机推荐
- php基础函数
函数四要素:返回类型(php没有返回类型), 函数名,参数列表,函数体//php定义函数的方式 简单 例://function show(){// echo "狗头铡伺候" ...
- 最新eclipse国内镜像站,比ustc等站点资源新。
http://mirrors.neusoft.edu.cn/ 东软信息学院的镜像站,上面可以看到同步时间和状态很不错. 之前为了找最新的镜像站下载babel_language_packs r0.15. ...
- Python学习笔记2:构造序列:列表推导和生成器表达式
欢迎访问个人网站:www.comingnext.cn 1. 关于Python内置序列类型 a. 按能否存放不同类型的数据区分 容器序列: list.tuple 和collections.deque这些 ...
- APP测试容易忽略的地方
我们手机APP测试,主要针对的是android和ios两大主流操作系统,总体上来说android手机型号.版本多,bug也多:ios相对bug少.下面就针对Android说一下最容易忽略的测试点吧. ...
- C#和NewSQL更配 —— TiDB入门(可能是C#下的全网首发)
阅读目录 背景 TiDB是什么 环境部署 实战 性能测试 结语 一.背景 在上一篇尝试CockroachDB(传送门在此:http://www.cnblogs.com/Zachary-Fan/p/co ...
- struts2-请求参数校验
校验的分类 : 客户端数据校验 和 服务器端数据校验 客户端数据校验 ,通过JavaScript 完成校验 (改善用户体验,使用户减少出错 ) 服务器数据校验 ,使用框架内置校验功能 (struts2 ...
- linux Module驱动开发-一切刚刚开始
linux内核是可以高度定制的,通过配置编译选项达到定制的目的. 在配置kernel编译选项时驱动程序的编译选项一般有三种,不编译.编译为内核驱动.编译为模块驱动.所以linux驱动一般分为两类,内核 ...
- spring-session 共享
Spring session 共享 一.引入依赖 <dependency> <groupId>redis.clients</groupId> <artifac ...
- java匿名内部类举例
public class Test { public static void main(String[] args) { //4.匿名内部类 //主要是针对那些不能直接创建对象的抽象类和接口而来的 S ...
- django富文本编辑器
-------------------tinymce富文本编辑器1.下载安装 1.在网站pypi网站搜索并下载"django-tinymce-2.4.0" 2.解压:tar zxv ...