1.进程池

from multiprocessing import Pool

def func(n):
for i in range(10):
print(n+1) if __name__ == '__main__':
pool = Pool(3) #启动有三个进程的进程池。
#第一个参数进程要访问的代码,第二个参数必须是一个可迭代参数,规定了要执行的任务数
pool.map(func,range(100)) #100个任务

结果:  每个数打印了10次。

2.进程池和多进程的用时对比

def func(n):
for i in range(10):
print(n + 1) if __name__ == '__main__':
start = time.time()
pool = Pool(3) #启动有三个进程的进程池。
#第一个参数进程要访问的代码,第二个参数必须是一个可迭代参数,规定了要执行的任务数
pool.map(func,range(100)) #100个任务
t1 = time.time() - start start = time.time()
p_list = []
for i in range(100):
p = Process(target=func,args=(i,))
p_list.append(p)
p.start()
for p in p_list:
p.join()
t2 = time.time() - start
print(t1,t2)

结果:  进程池的用0.9,而多进程的用了17+

3.进程池的另一种实现方式

from multiprocessing import Pool
import time
import os def func(n):
print('start func{}'.format(n),os.getpid())
time.sleep(1)
print('end func{}'.format(n),os.getpid()) if __name__ == '__main__':
p = Pool(5)
for i in range(10):
# (调用的方法,传递参数(以元组的形式传递参数))
p.apply_async(func,args=(i,))
p.close() #结束进程池接收任务
p.join() #感知进程池中的任务执行结束

结果:  可以看到有任务执行完毕后,进程被新的任务利用。apply_async()方法如果想执行完,再继续执行主进程中的代码必须配合 close()方法和join()方法使用。

4.进程池的返回值

from multiprocessing import Pool
import time def func(n):
time.sleep(0.5)
return n*n #返回值 if __name__ == '__main__':
p = Pool()
for i in range(10):
res = p.apply_async(func,args=(i,)) #将返回值放到res这个对象中
print(res.get()) #get方法等待从res中获取值,但是会形成阻塞,只有get到数据时在会执行

结果:  每0.5秒打印一个值。失去了进程池的效果。

 解决:

from multiprocessing import Pool
import time def func(n):
time.sleep(0.5)
return n*n #返回值 if __name__ == '__main__':
p = Pool()
res_list = [] #创建一个存储进程返回值对象的列表
for i in range(10):
res = p.apply_async(func,args=(i,)) #将返回值放到res这个对象中
res_list.append(res) #将返回值对象存放到列表中
for i in res_list:
print(i.get())

结果:  实现并发五个一组的打印子进程的返回值。

map方法接收进程池的返回值:

from multiprocessing import Pool
import time def func(n):
time.sleep(0.5)
return n*n #返回值 if __name__ == '__main__':
p = Pool(5)
ret = p.map(func,range(10))
print(ret)

结果:,将进程池的全部返回值存放在列表中,然后一次性打印列表。

5.进程池的回调函数

from multiprocessing import Pool
import os def func1(n):
print('函数1',os.getpid())
return n*n
def func2(nn):
print('回调函数2',os.getpid())
print(nn)
if __name__ == '__main__':
print('主进程:',os.getpid())
p = Pool(5)
p.apply_async(func1,args=(10,),callback=func2) #子进程要执行的函数 传的值 回调函数
p.close()
p.join()

结果:  回调函数会接收 上面函数1的返回值,从打印的进程号可以看出,回调函数是在主进程中执行的。

python_并发编程——进程池的更多相关文章

  1. python系列之 - 并发编程(进程池,线程池,协程)

    需要注意一下不能无限的开进程,不能无限的开线程最常用的就是开进程池,开线程池.其中回调函数非常重要回调函数其实可以作为一种编程思想,谁好了谁就去掉 只要你用并发,就会有锁的问题,但是你不能一直去自己加 ...

  2. (并发编程)进程池线程池--提交任务2种方式+(异步回调)、协程--yield关键字 greenlet ,gevent模块

    一:进程池与线程池(同步,异步+回调函数)先造个池子,然后放任务为什么要用“池”:池子使用来限制并发的任务数目,限制我们的计算机在一个自己可承受的范围内去并发地执行任务池子内什么时候装进程:并发的任务 ...

  3. python并发编程-进程池线程池-协程-I/O模型-04

    目录 进程池线程池的使用***** 进程池/线程池的创建和提交回调 验证复用池子里的线程或进程 异步回调机制 通过闭包给回调函数添加额外参数(扩展) 协程*** 概念回顾(协程这里再理一下) 如何实现 ...

  4. python 并发编程 进程池与线程池

    一 进程池与线程池 1.为什么需要进程池和线程池 基于多进程或多线程实现并发的套接字通信,然而这种实现方式的致命缺陷是: 服务端的程序运行在一台机器身上,一台机器性能是有极限的,不能无限开线程 服务的 ...

  5. Python并发编程-进程池的返回值

    同步或异步获取返回值 #p = Pool() #p.map(funcname,iterable) 默认异步的执行任务,且自带close,join功能 #p.apply(), 同步调用进程池的方法 #p ...

  6. Python并发编程-进程池及异步方式

    进程池的基本概念 为什么有进程池的概念 效率问题 每次开启进程,都需要开启属于这个进程的内存空间 寄存器,堆栈 进程过多,操作系统的调度 进程池 python中的 先创建一个属于进程的池子 这个池子指 ...

  7. Python并发编程-进程池回调函数

    回调函数不能传参数 回调函数是在主进程中执行的 from multiprocessing import Pool import os def func1(n): print('in func1', o ...

  8. 网络编程并发 多进程 进程池,互斥锁,信号量,IO模型

    进程:程序正在执行的过程,就是一个正在执行的任务,而负责执行任务的就是cpu 操作系统:操作系统就是一个协调.管理和控制计算机硬件资源和软件资源的控制程序. 操作系统的作用: 1:隐藏丑陋复杂的硬件接 ...

  9. python语法基础-并发编程-进程-进程池以及回调函数

    ###############   进程池    ############## """ 进程池的概念 为什么会有进程池? 1,因为每次开启一个进程,都需要创建一个内存空间 ...

随机推荐

  1. C#使用Castle实现AOP面向切面编程

    Castle.Core 本质是创建继承原来类的代理类,重写虚方法实现AOP功能.个人觉得比Autofac用着爽 使用方式比较简单,先新建一个控制台项目,然后在Nuget上搜索Castle.Core并安 ...

  2. jquery入口函数的测试

    /*编写一个自定义的jquery框架*/ (function (window,undefined) { var njquery=function (selector ,) { return new j ...

  3. v-CheckBox

    <!DOCTYPE html><html lang="en"><head> <meta charset="UTF-8" ...

  4. php 之分页

    $a=$_FILES; // print_r($a);die; foreach ($a as $key => $value) { $k=$key; } // $_FILES['license'] ...

  5. python学习-49 json模块

    json模块 --------将任何类型都转换为json字符串 方法dumps import json dic={"name":"abc"} data = js ...

  6. 【5号课堂】scratch制作电子生日贺卡

    贺卡在我国的使用由来已久,在古代,上层士大夫有用名帖互相问候的习俗 唐宋以后,贺卡的名称及功能有所进步,称为”门状“或“飞帖“,到了明清,又叫“红单“.“贺年帖“等等,听着名字就知功能越来越世俗化,文 ...

  7. ggplot2|theme主题设置,详解绘图优化-“精雕细琢”-

    本文首发于“生信补给站”公众号,https://mp.weixin.qq.com/s/hMjPj18R1cKBt78w8UfhIw 学习了ggplot2的基本绘图元素ggplot2|详解八大基本绘图要 ...

  8. centos 随机启动脚本编写

    先说下问题背景 目前手上开发的产品是springboot微服务的,我们用jenkins来做的部署,部署脚本如下: 1.build脚本 负责从git服务器拉脚本 2.微服务脚本: #!/bin/shap ...

  9. php实现命令行里输出带颜色文字

    今天执行composer的时候看到命令窗口出现的提示里面有的关键性部分带有颜色,于是很好奇研究了一下,在这里记录下来 其实在命令行输出带颜色字体主要是使用的 ANSI 转义字符实现的,我们先看个例子: ...

  10. vue的自定义指令

    点击元素之外触发函数 <template> <div v-clickoutside="clickItemOut"></div> </tem ...