python 并发专题(三):进程以及进程池相关以及实现
一、多进程实现
multiprocess.process模块
p.start():启动进程,并调用该子进程中的p.run()
p.run():进程启动时运行的方法,正是它去调用target指定的函数,我们自定义类的类中一定要实现该方法
p.terminate():强制终止进程p,不会进行任何清理操作,如果p创建了子进程,该子进程就成了僵尸进程,使用该方法需要特别小心这种情况。如果p还保存了一个锁那么也将不会被释放,进而导致死锁
p.is_alive():如果p仍然运行,返回True
p.join([timeout]):主线程等待p终止(强调:是主线程处于等的状态,而p是处于运行的状态)。timeout是可选的超时时间,需要强调的是,p.join只能join住start开启的进程,而不能join住run开启的进程
p.daemon:默认值为False,如果设为True,代表p为后台运行的守护进程,当p的父进程终止时,p也随之终止,并且设定为True后,p不能创建自己的新进程,必须在p.start()之前设置
p.name:进程的名称
p.pid:进程的pid
p.exitcode:进程在运行时为None、如果为–N,表示被信号N结束(了解即可)
p.authkey:进程的身份验证键,默认是由os.urandom()随机生成的32字符的字符串。这个键的用途是为涉及网络连接的底层进程间通信提供安全性,这类连接只有在具有相同的身份验证键时才能成功(了解即可)
from multiprocessing import Process
import os
def func():
print('子进程PID:',os.getpid()) if __name__ == '__main__':
p = Process(target=func)
p.start()
print('父进程PID:',os.getpid())
from multiprocessing import Process
import time
def func(no,*args):
print(str(no)+" :"+'*'*args[0])
time.sleep(5)
print(str(no)+" :"+'*'*args[1])
if __name__ == '__main__':
p_li = []
for i in range(10):
p_li.append(Process(target=func,args=(i,10,20)))
for i in p_li:
i.start() [i.join() for i in p_li] #让最后的print等子进程都结束了再执行
print('运行完了')
#自定义类 继承Process类
#必须实现run方法,run方法就是子进程执行的方法
#如果要参数,则实现自己的init方法,并在其中调用父类的init方法
from multiprocessing import Process
import os
class MyProcess(Process):
def __init__(self,arg1):
super().__init__()
self.arg1 = arg1
def run(self):
print("My Process:",self.pid)
print(self.arg1)
if __name__ == '__main__':
print(os.getpid())
p1 = MyProcess(4)
p1.start()
#进程间不会共享数据
from multiprocessing import Process
import os
def func():
global n
n = 0
print('pid:'+str(os.getpid())+" "+str(n))
if __name__ == '__main__':
n = 100
p = Process(target=func)
p.start()
p.join()
print('pid:'+str(os.getpid())+" "+str(n))
#守护进程
from multiprocessing import Process
import time
def func():
while 1:
time.sleep(2)
print('Good')
if __name__ == '__main__':
p = Process(target=func)
p.daemon = True #设置子进程为守护进程
p.start()
i = 10
while i>0:
print('Do something')
time.sleep(5)
i -= 1
6、进程间通信
6.1.队列Queue
Queue([maxsize])
创建共享的进程队列。maxsize是队列中允许的最大项数。如果省略此参数,则无大小限制。底层队列使用管道和锁定实现。另外,还需要运行支持线程以便队列中的数据传输到底层管道中。
Queue的实例q具有以下方法: q.get( [ block [ ,timeout ] ] )
返回q中的一个项目。如果q为空,此方法将阻塞,直到队列中有项目可用为止。block用于控制阻塞行为,默认为True. 如果设置为False,将引发Queue.Empty异常(定义在Queue模块中)。timeout是可选超时时间,用在阻塞模式中。如果在制定的时间间隔内没有项目变为可用,将引发Queue.Empty异常。 q.get_nowait( )
同q.get(False)方法。 q.put(item [, block [,timeout ] ] )
将item放入队列。如果队列已满,此方法将阻塞至有空间可用为止。block控制阻塞行为,默认为True。如果设置为False,将引发Queue.Empty异常(定义在Queue库模块中)。timeout指定在阻塞模式中等待可用空间的时间长短。超时后将引发Queue.Full异常。 q.qsize()
返回队列中目前项目的正确数量。此函数的结果并不可靠,因为在返回结果和在稍后程序中使用结果之间,队列中可能添加或删除了项目。在某些系统上,此方法可能引发NotImplementedError异常。 q.empty()
如果调用此方法时 q为空,返回True。如果其他进程或线程正在往队列中添加项目,结果是不可靠的。也就是说,在返回和使用结果之间,队列中可能已经加入新的项目。 q.full()
如果q已满,返回为True. 由于线程的存在,结果也可能是不可靠的(参考q.empty()方法)。。
from multiprocessing import Process,Queue
if __name__ == '__main__':
q = Queue(5) #创建队列
for i in range(5):
q.put(i) #放进数据
print(q.full())
#q.put(6) 此处阻塞
for i in range(5):
print(q.get()) #获取数据
print(q.empty())
#q.get() 此处阻塞
from multiprocessing import Event,Process,Queue
def produce(q):
q.put('from produce')
def comsume(q):
print(q.get())
if __name__ == '__main__':
q = Queue(5) #创建队列
pro = Process(target=produce,args=(q,))
pro.start()
com = Process(target=comsume, args=(q,))
com.start()
from multiprocessing import Process,Queue
import time
import random
def producer(name,goods,q):
for i in range(10):
time.sleep(random.randint(1,4))
print('%s生产了第%s个%s'%(name,i,goods))
q.put('第%s个%s'%(i,goods))
def comsumer(q,name):
while 1:
goods = q.get()
if goods == None:break
print('\033[31m%s买了了%s\033[0m' % (name,goods))
time.sleep(random.randint(2,6))
if __name__ == '__main__':
q = Queue(10)
p = Process(target=producer,args=('HSR','牛奶',q))
p2 = Process(target=producer, args=('TTT', '面包', q))
c = Process(target=comsumer, args=(q,'Lisi'))
c2 = Process(target=comsumer, args=(q, 'ZhangSan'))
p.start()
p2.start()
c.start()
c2.start()
p.join()
p2.join()
q.put(None)
q.put(None)
from multiprocessing import Process,JoinableQueue
import time
import random
def producer(name,goods,q):
for i in range(10):
time.sleep(random.randint(1,4))
print('%s生产了第%s个%s'%(name,i,goods))
q.put('第%s个%s'%(i,goods))
q.join() #阻塞,直到队列中的数据被全部执行完毕
def comsumer(q,name):
while 1:
goods = q.get()
if goods == None:break
print('\033[31m%s买了了%s\033[0m' % (name,goods))
time.sleep(random.randint(2,6))
q.task_done() #count - 1
if __name__ == '__main__':
q = JoinableQueue(10)
p = Process(target=producer,args=('HSR','牛奶',q))
p2 = Process(target=producer, args=('TTT', '面包', q))
c = Process(target=comsumer, args=(q,'Lisi'))
c2 = Process(target=comsumer, args=(q, 'ZhangSan'))
p.start()
p2.start()
c.daemon = True #设置为守护进程,主进程结束则子进程结束,而这里的主进程等待生产进程的结束
c2.daemon = True #生产进程又等待消费进程消费完。所以消费者消费完了就会结束进程
c.start()
c2.start()
p.join()
p2.join()
6.2.管道
from multiprocessing import Pipe,Process
def func(conn1,conn2):
conn2.close()
while 1:
try:
print(conn1.recv())
except EOFError:
conn1.close()
break
if __name__ == '__main__':
conn1, conn2 = Pipe()
p1 = Process(target=func,args=(conn1, conn2)) #传给不同进程的conn是不会相互影响的
p1.start()
conn1.close()
for i in range(20):
conn2.send("hi")
conn2.close()
#Pipe有数据不安全性
#管道可能出现一端的多个消费者同时取一个数据
#所以可以加上一个进程锁来保证安全性
from multiprocessing import Pipe,Process,Lock
import time
import random
def producer(con,pro,name,goods):
con.close()
for i in range(8):
time.sleep(random.randint(1,3))
print('%s生成了第%s个%s'%(name,i,goods))
pro.send('第%s个%s'%(i,goods))
pro.close()
def consumer(con,pro,name,lock):
pro.close()
while 1:
try:
lock.acquire()
goods = con.recv()
lock.release()
print('%s喝了%s'%(name,goods))
time.sleep(random.random())
except EOFError:
lock.release() #因为最后消费者通过异常来结束进程,所以最后一次的recv后面的lock.release不会执行,所以要在
#这个地方再写一个release()
con.close()
break
if __name__ == '__main__':
con, pro = Pipe()
lock = Lock()
p = Process(target=producer, args=(con,pro,'HSR','牛奶'))
c = Process(target=consumer, args=(con, pro, 'TTT',lock))
c2 = Process(target=consumer, args=(con, pro, 'TTT2',lock))
p.start()
c.start()
c2.start()
con.close()
pro.close()
6.3.Manager
from multiprocessing import Manager,Process
def func(dic):
dic['count'] -= 1
print(dic)
if __name__ == '__main__':
m = Manager() 创建一个Manger()
dic = m.dict({'count':100}) #变成进程共享的字典
p = Process(target=func, args=(dic,))
p.start()
p.join() #等待子进程结束
from multiprocessing import Manager,Process,Lock
def work(d,lock):
with lock: #不加锁而操作共享的数据,肯定会出现数据错乱
d['count']-=1 if __name__ == '__main__':
lock=Lock()
with Manager() as m:
dic=m.dict({'count':100})
p_l=[]
for i in range(100):
p=Process(target=work,args=(dic,lock))
p_l.append(p)
p.start()
for p in p_l:
p.join()
print(dic)
二、进程池实现
numprocess:要创建的进程数,如果省略,将默认使用cpu_count()的值
initializer:是每个工作进程启动时要执行的可调用对象,默认为None
initargs:是要传给initializer的参数组
p.apply(func [, args [, kwargs]]):在一个池工作进程中执行func(*args,**kwargs),然后返回结果。
'''需要强调的是:此操作并不会在所有池工作进程中并执行func函数。如果要通过不同参数并发地执行func函数,必须从不同线程调用p.apply()函数或者使用p.apply_async()''' p.apply_async(func [, args [, kwargs]]):在一个池工作进程中执行func(*args,**kwargs),然后返回结果。
'''此方法的结果是AsyncResult类的实例,callback是可调用对象,接收输入参数。当func的结果变为可用时,将理解传递给callback。callback禁止执行任何阻塞操作,否则将接收其他异步操作中的结果。''' p.close():关闭进程池,防止进一步操作。如果所有操作持续挂起,它们将在工作进程终止前完成 P.jion():等待所有工作进程退出。此方法只能在close()或teminate()之后调用 方法apply_async()和map_async()的返回值是AsyncResul的实例obj。实例具有以下方法
obj.get():返回结果,如果有必要则等待结果到达。timeout是可选的。如果在指定时间内还没有到达,将引发一场。如果远程操作中引发了异常,它将在调用此方法时再次被引发。
obj.ready():如果调用完成,返回True
obj.successful():如果调用完成且没有引发异常,返回True,如果在结果就绪之前调用此方法,引发异常
obj.wait([timeout]):等待结果变为可用。
obj.terminate():立即终止所有工作进程,同时不执行任何清理或结束任何挂起工作。如果p被垃圾回收,将自动调用此函数
#map如果要给函数传参数,只能传可迭代对象
from multiprocessing import Pool
def func(dic):
print(dic)
def func2(dic):
print(dic+2)
if __name__ == '__main__':
pool = Pool(5) #进程数,CPU核心数+1
#如果Pool()不传参数,默认是cpu核心数
pool.map(func2,range(100)) #100个任务
#这里自带join效果
pool.map(func, ['hsr','ttt']) # 2个任务
from multiprocessing import Pool
import os
import time
def func(n):
print('[pid:%s]start id:%s'%(os.getpid(),n))
time.sleep(1.5)
print('\033[31m[pid:%s]end id:%s\033[0m'%(os.getpid(),n)) if __name__ == '__main__':
pool = Pool(5)
for i in range(10):
#pool.apply(func,args=(i,)) #同步
pool.apply_async(func,args=(i,)) #异步。与主进程完全异步,需要手动close和join pool.close() # 结束进程池接收任务
pool.join() # 感知进程中的任务都执行结束
from multiprocessing import Pool
def func(i):
print('in func1')
return i**2
def func2(n):
print('in func2')
print(n)
if __name__ == '__main__':
pool = Pool(5)
pool.apply_async(func, args=(10,), callback=func2) #执行func1,把返回值作为fun2的参数执行func2
#回调函数func2在主进程中zhi'x
pool.close()
pool.join()
import requests
from multiprocessing import Pool def get(url):
ret = requests.get(url)
if ret.status_code == 200:
return ret.content.decode('utf-8'),url def call_back(args):
print(args[1] +" "+ str(len(args[0]))) url_lst = [
'http://www.cnblog.com',
'https://www.baidu.com',
'http://www.sohu.com'
] if __name__ == '__main__':
pool = Pool(5)
for i in url_lst:
pool.apply_async(get,args=(i,),callback=call_back)
pool.close()
pool.join()
import re
import requests
import json
import threading
import math
import time
from multiprocessing import Process, Queue HEADERS = {#'Accept':"text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8",
'User-Agent': 'Mozilla/5.0 (Macintosh; U; Intel Mac OS X 10_6_8; en-us) AppleWebKit/534.50 (KHTML, like Gecko) Version/5.1 Safari/534.50', } # Thread-local state to stored information on locks already acquired def start_urls(tasks,total_page):
#生产者 产生用于消费的urls任务列表 url = "https://api.bilibili.com/x/v2/reply?jsonp=jsonp&pn={}&type=1&oid=455312953&sort=2&_=1587372277524"
for i in range(1,total_page+1):
tasks.put(url.format(i))
return tasks def init_start():
#获取评论列表的总页数
url = "https://api.bilibili.com/x/v2/reply?jsonp=jsonp&pn=1&type=1&oid=455312953&sort=2&_=1587372277524"
content = downloader(url)
data = json.loads(content.text)
total_page = math.ceil(int(data['data']['page']['count'])/int(data['data']['page']['size']))
print(total_page)
return total_page def downloader(url):
#下载任务
content = requests.get(url,headers=HEADERS)
print(content.status_code,type(content.status_code))
return content def work(tasks,n):
#消费者
while not tasks.empty():
time.sleep(1)
try:
url = tasks.get()
except Exception as e:
print('e',e)
continue
print(url)
data = downloader(url) if __name__ == '__main__':
tasks = Queue()
total_page = init_start()
task_urls = start_urls(tasks,total_page)
print(tasks.qsize())
for i in range(3):
t = Process(target=work,args=(tasks,i))
t.start()
2.进程池
import re
import requests
import json
import threading
import math
import time
from multiprocessing import Process, Queue
from multiprocessing import Manager,Pool HEADERS = {#'Accept':"text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8",
'User-Agent': 'Mozilla/5.0 (Macintosh; U; Intel Mac OS X 10_6_8; en-us) AppleWebKit/534.50 (KHTML, like Gecko) Version/5.1 Safari/534.50', } # Thread-local state to stored information on locks already acquired def start_urls(tasks,total_page):
#生产者 产生用于消费的urls任务列表 url = "https://api.bilibili.com/x/v2/reply?jsonp=jsonp&pn={}&type=1&oid=455312953&sort=2&_=1587372277524"
for i in range(1,total_page+1):
tasks.put(url.format(i))
return tasks def init_start():
#获取评论列表的总页数
url = "https://api.bilibili.com/x/v2/reply?jsonp=jsonp&pn=1&type=1&oid=455312953&sort=2&_=1587372277524"
content = downloader(url)
data = json.loads(content.text)
total_page = math.ceil(int(data['data']['page']['count'])/int(data['data']['page']['size']))
print(total_page)
return total_page def downloader(url):
#下载任务
content = requests.get(url,headers=HEADERS)
print(content.status_code,type(content.status_code))
return content def work(tasks,n):
#消费者
while not tasks.empty():
time.sleep(1)
try:
url = tasks.get()
except Exception as e:
print('e',e)
continue
print(url)
data = downloader(url) if __name__ == '__main__':
manager = Manager()
tasks = manager.Queue()#注意进程间的通信
total_page = init_start()
task_urls = start_urls(tasks,total_page)
p = Pool(3)
for i in range(3):
p.apply_async(work,args=(task_urls,i))
p.close()
p.join()
利用concurrent.futures
import re
import requests
import json
import threading
import math
import time
from multiprocessing import Manager,Pool
from concurrent.futures import ProcessPoolExecutor,as_completed HEADERS = {#'Accept':"text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8",
'User-Agent': 'Mozilla/5.0 (Macintosh; U; Intel Mac OS X 10_6_8; en-us) AppleWebKit/534.50 (KHTML, like Gecko) Version/5.1 Safari/534.50', } # Thread-local state to stored information on locks already acquired def start_urls(tasks,total_page):
#生产者 产生用于消费的urls任务列表 url = "https://api.bilibili.com/x/v2/reply?jsonp=jsonp&pn={}&type=1&oid=455312953&sort=2&_=1587372277524"
for i in range(1,total_page+1):
tasks.put(url.format(i))
return tasks def init_start():
#获取评论列表的总页数
url = "https://api.bilibili.com/x/v2/reply?jsonp=jsonp&pn=1&type=1&oid=455312953&sort=2&_=1587372277524"
content = downloader(url)
data = json.loads(content.text)
total_page = math.ceil(int(data['data']['page']['count'])/int(data['data']['page']['size']))
print(total_page)
return total_page def downloader(url):
#下载任务
content = requests.get(url,headers=HEADERS)
print(content.status_code,type(content.status_code))
return content def work(tasks,n):
#消费者
while not tasks.empty():
time.sleep(1)
try:
url = tasks.get()
except Exception as e:
print('e',e)
continue
print(url)
data = downloader(url) if __name__ == '__main__':
manager = Manager()
tasks = manager.Queue()
total_page = init_start()
task_urls = start_urls(tasks,total_page) with ProcessPoolExecutor(max_workers=5) as executor:
all_task = [executor.submit(work, task_urls,i) for i in range(4)]
for future in as_completed(all_task):
data = future.result()
#print("in main: get page {}s success".format(data))
python 并发专题(三):进程以及进程池相关以及实现的更多相关文章
- Python并发编程03 /僵孤进程,孤儿进程、进程互斥锁,进程队列、进程之间的通信
Python并发编程03 /僵孤进程,孤儿进程.进程互斥锁,进程队列.进程之间的通信 目录 Python并发编程03 /僵孤进程,孤儿进程.进程互斥锁,进程队列.进程之间的通信 1. 僵尸进程/孤儿进 ...
- python并发编程02 /多进程、进程的创建、进程PID、join方法、进程对象属性、守护进程
python并发编程02 /多进程.进程的创建.进程PID.join方法.进程对象属性.守护进程 目录 python并发编程02 /多进程.进程的创建.进程PID.join方法.进程对象属性.守护进程 ...
- python并发编程基础之守护进程、队列、锁
并发编程2 1.守护进程 什么是守护进程? 表示进程A守护进程B,当被守护进程B结束后,进程A也就结束. from multiprocessing import Process import time ...
- python 并发专题(一):并发基础相关概念,术语等
一.线程 1.概念 线程是程序执行流的最小执行单位,是行程中的实际运作单位. 进程是一个动态的过程,是一个活动的实体.简单来说,一个应用程序的运行就可以被看做是一个进程,而线程,是运行中的实际的任务执 ...
- python 并发专题(六):协程相关函数以及实现(gevent)
文档资源 http://sdiehl.github.io/gevent-tutorial/ 一.协程实现 线程和协程 既然我们上面也说了,协程也被称为微线程,下面对比一下协程和线程: 线程之间需要上下 ...
- python 并发专题(十):基础部分补充(二)线程
什么是线程 标准描述开启一个进程:开启一个进程:进程会在内存中开辟一个进程空间,将主进程的资料数据全部复制一份,线程会执行里面的代码. ***进程是资源单位, 线程是执行单位:是操作系统调度的最小单元 ...
- Python并发复习4- concurrent.futures模块(线程池和进程池)
Python标准库为我们提供了threading(多线程模块)和multiprocessing(多进程模块).从Python3.2开始,标准库为我们提供了concurrent.futures模块,它提 ...
- Python 并发编程(管道,事件,信号量,进程池)
管道 Conn1,conn2 = Pipe() Conn1.recv() Conn1.send() 数据接收一次就没有了 from multiprocessing import Process,Pip ...
- python 并发专题(九):基础部分补充(一)进程
概念 串行:所有的任务一个一个的完成. 并发:一个cpu完成多个任务.看起来像是同时完成. 并行:多个cpu执行多个任务,真正的同时完成. 阻塞:cpu遇到IO就是阻塞. 非阻塞:没有IO,就叫非阻塞 ...
随机推荐
- <WP8开发学习笔记>ApplicationBar(任务栏)的切换以及“黑条问题”
ApplicationBar(以下简称AppBar)是WP应用相当常见的控件,也很方便.常见的做法是pivot或者panorama的页面切换的时候,AppBar跟随切换对应的按钮或者不显示按钮,如下图 ...
- windows下Python版本切换使用方法
由于历史原因,Python有两个大的版本分支,Python2和Python3,又由于一些库只支持某个版本分支,所以需要在电脑上同时安装Python2和Python3,因此如何让两个版本的Python兼 ...
- (三)Maven命令列表
mvn –version 显示版本信息 mvn clean 清理项目生产的临时文件,一般是模块下的target目录 mvn compile 编译源代码,一般编译模块下的src/main/java目录, ...
- ViewDragHelper类的基本使用
在android的开发包android.support.v4.widget中有一个ViewDragHelper类.这个类的作用是帮助我们处理View的拖拽滑动.在一个ViewGroup类的内部定义一个 ...
- Beta冲刺<1/10>
这个作业属于哪个课程 软件工程 (福州大学至诚学院 - 计算机工程系) 这个作业要求在哪里 Beta冲刺 这个作业的目标 Beta冲刺--第一天(05.19) 作业正文 如下 其他参考文献 ... B ...
- GitHub 热点速览 Vol.25:距离优雅编程你差个它
作者:HelloGitHub-小鱼干 摘要:如何优雅地夸一个程序员呢?vscode-rainbow-fart 作为一个彩虹屁的项目,深得程序员心,能在你编程时疯狂称赞你的除了你自己,还有它.除了鼓励之 ...
- OpenCV开发笔记(六十五):红胖子8分钟带你深入了解ORB特征点(图文并茂+浅显易懂+程序源码)
若该文为原创文章,未经允许不得转载原博主博客地址:https://blog.csdn.net/qq21497936原博主博客导航:https://blog.csdn.net/qq21497936/ar ...
- 【思考】URI和URL的区别?以及URL的结构
URI = Universal Resource Identifier URL = Universal Resource Locator 在学习中,我们难免会遇到 URI 和 URL,有时候都傻傻分不 ...
- 并发06--JAVA中的并发工具类
1.等待多线程完成的CountDownLatch CountDownLatch允许一个或多个线程等待其他线程完成操作. 使用join也可以完成这个操作,代码示例如下: package com.exam ...
- SpringBoot--日期格式化
1.为了统一转转,可以使用日期格式化类 package com.example.demo.resource; import com.fasterxml.jackson.datatype.jsr310. ...