python_并发编程——进程池
1.进程池
from multiprocessing import Pool def func(n):
for i in range(10):
print(n+1) if __name__ == '__main__':
pool = Pool(3) #启动有三个进程的进程池。
#第一个参数进程要访问的代码,第二个参数必须是一个可迭代参数,规定了要执行的任务数
pool.map(func,range(100)) #100个任务
结果: 每个数打印了10次。
2.进程池和多进程的用时对比
def func(n):
for i in range(10):
print(n + 1) if __name__ == '__main__':
start = time.time()
pool = Pool(3) #启动有三个进程的进程池。
#第一个参数进程要访问的代码,第二个参数必须是一个可迭代参数,规定了要执行的任务数
pool.map(func,range(100)) #100个任务
t1 = time.time() - start start = time.time()
p_list = []
for i in range(100):
p = Process(target=func,args=(i,))
p_list.append(p)
p.start()
for p in p_list:
p.join()
t2 = time.time() - start
print(t1,t2)
结果: 进程池的用0.9,而多进程的用了17+
3.进程池的另一种实现方式
from multiprocessing import Pool
import time
import os def func(n):
print('start func{}'.format(n),os.getpid())
time.sleep(1)
print('end func{}'.format(n),os.getpid()) if __name__ == '__main__':
p = Pool(5)
for i in range(10):
# (调用的方法,传递参数(以元组的形式传递参数))
p.apply_async(func,args=(i,))
p.close() #结束进程池接收任务
p.join() #感知进程池中的任务执行结束
结果: 可以看到有任务执行完毕后,进程被新的任务利用。apply_async()方法如果想执行完,再继续执行主进程中的代码必须配合 close()方法和join()方法使用。
4.进程池的返回值
from multiprocessing import Pool
import time def func(n):
time.sleep(0.5)
return n*n #返回值 if __name__ == '__main__':
p = Pool()
for i in range(10):
res = p.apply_async(func,args=(i,)) #将返回值放到res这个对象中
print(res.get()) #get方法等待从res中获取值,但是会形成阻塞,只有get到数据时在会执行
结果: 每0.5秒打印一个值。失去了进程池的效果。
解决:
from multiprocessing import Pool
import time def func(n):
time.sleep(0.5)
return n*n #返回值 if __name__ == '__main__':
p = Pool()
res_list = [] #创建一个存储进程返回值对象的列表
for i in range(10):
res = p.apply_async(func,args=(i,)) #将返回值放到res这个对象中
res_list.append(res) #将返回值对象存放到列表中
for i in res_list:
print(i.get())
结果: 实现并发五个一组的打印子进程的返回值。
map方法接收进程池的返回值:
from multiprocessing import Pool
import time def func(n):
time.sleep(0.5)
return n*n #返回值 if __name__ == '__main__':
p = Pool(5)
ret = p.map(func,range(10))
print(ret)
结果:,将进程池的全部返回值存放在列表中,然后一次性打印列表。
5.进程池的回调函数
from multiprocessing import Pool
import os def func1(n):
print('函数1',os.getpid())
return n*n
def func2(nn):
print('回调函数2',os.getpid())
print(nn)
if __name__ == '__main__':
print('主进程:',os.getpid())
p = Pool(5)
p.apply_async(func1,args=(10,),callback=func2) #子进程要执行的函数 传的值 回调函数
p.close()
p.join()
结果: 回调函数会接收 上面函数1的返回值,从打印的进程号可以看出,回调函数是在主进程中执行的。
python_并发编程——进程池的更多相关文章
- python系列之 - 并发编程(进程池,线程池,协程)
需要注意一下不能无限的开进程,不能无限的开线程最常用的就是开进程池,开线程池.其中回调函数非常重要回调函数其实可以作为一种编程思想,谁好了谁就去掉 只要你用并发,就会有锁的问题,但是你不能一直去自己加 ...
- (并发编程)进程池线程池--提交任务2种方式+(异步回调)、协程--yield关键字 greenlet ,gevent模块
一:进程池与线程池(同步,异步+回调函数)先造个池子,然后放任务为什么要用“池”:池子使用来限制并发的任务数目,限制我们的计算机在一个自己可承受的范围内去并发地执行任务池子内什么时候装进程:并发的任务 ...
- python并发编程-进程池线程池-协程-I/O模型-04
目录 进程池线程池的使用***** 进程池/线程池的创建和提交回调 验证复用池子里的线程或进程 异步回调机制 通过闭包给回调函数添加额外参数(扩展) 协程*** 概念回顾(协程这里再理一下) 如何实现 ...
- python 并发编程 进程池与线程池
一 进程池与线程池 1.为什么需要进程池和线程池 基于多进程或多线程实现并发的套接字通信,然而这种实现方式的致命缺陷是: 服务端的程序运行在一台机器身上,一台机器性能是有极限的,不能无限开线程 服务的 ...
- Python并发编程-进程池的返回值
同步或异步获取返回值 #p = Pool() #p.map(funcname,iterable) 默认异步的执行任务,且自带close,join功能 #p.apply(), 同步调用进程池的方法 #p ...
- Python并发编程-进程池及异步方式
进程池的基本概念 为什么有进程池的概念 效率问题 每次开启进程,都需要开启属于这个进程的内存空间 寄存器,堆栈 进程过多,操作系统的调度 进程池 python中的 先创建一个属于进程的池子 这个池子指 ...
- Python并发编程-进程池回调函数
回调函数不能传参数 回调函数是在主进程中执行的 from multiprocessing import Pool import os def func1(n): print('in func1', o ...
- 网络编程并发 多进程 进程池,互斥锁,信号量,IO模型
进程:程序正在执行的过程,就是一个正在执行的任务,而负责执行任务的就是cpu 操作系统:操作系统就是一个协调.管理和控制计算机硬件资源和软件资源的控制程序. 操作系统的作用: 1:隐藏丑陋复杂的硬件接 ...
- python语法基础-并发编程-进程-进程池以及回调函数
############### 进程池 ############## """ 进程池的概念 为什么会有进程池? 1,因为每次开启一个进程,都需要创建一个内存空间 ...
随机推荐
- ELK实战搭建+x-pack安全认证
阅读目录: ELK日志平台入门简介1.1 ELK原理拓扑图1.2 Elasticsearch安装配置1.3 Kibana安装配置1.4 Kibana汉化及时区修改1.5 Logst ...
- python数据结构_递归_汉诺塔问题
已经不是第一次写这个汉诺塔问题, 其实递归还真是不太好理解, 因为递归这种是想其实有点反人类, 为什么? 因为不太清楚, 写个循环一目了然, 用递归其实要把核心逻辑理清楚, 要不根本没法进行下去 所有 ...
- Python2 中字典实现的分析【翻译】
在这片文章中会介绍 Python2 中字典的实现,Hash 冲突的解决方法以及在 C 语言中 Python 字典的具体结构,并分析了数据插入和删除的过程.翻译自python-dictionary-im ...
- jenkins sonarqube 代码检测部署
install pgsql and sonarqube docker run --name postgresqldb -e POSTGRES_USER=sonar -e POSTGRES_PASSWO ...
- 导出excel的功能效果实现
<el-button @click="exportExcel" > <i style="display: inline-block;"> ...
- Struts2连接Mysql的Crud使用
今天分享的是struts2框架中增删改查的用法: 一:利用Struts2框架 1.1在pom.xml中导入相关依赖 <project xmlns="http://maven.apach ...
- asp.net core-8. 配置的热更新
在asp.net core 发布了以后,在修改配置文件以后不需要重新发布,要实现只需要修改@inject IOptions<WebApplication1.Class> ClassAcce ...
- Mysql 集群环境搭建
在上一篇文章中已经详细的写了关于Mysql的安装步骤.这一篇文章在上一篇文章的基础之上接着写集群的安装与部署. 安装地址:https://www.cnblogs.com/ming-blogs/p/10 ...
- (十四)Hibernate中的多表操作(4):单向一对一
案例一: 注解方式实现一对一 UserBean.java package bean; import java.io.Serializable; import javax.persistence.Col ...
- SQL Server 输出 XML
一.概述 SELECT 查询将结果作为行集返回.在 SQL 查询中指定 FOR XML 子句,从而将该查询的正式结果作为 XML 来检索.FOR XML 子句可以用在顶级查询和子查询中.顶级 FOR ...