python3下multiprocessing、threading和gevent性能对比----暨进程池、线程池和协程池性能对比
python3下multiprocessing、threading和gevent性能对比----暨进程池、线程池和协程池性能对比
目前计算机程序一般会遇到两类I/O:硬盘I/O和网络I/O。我就针对网络I/O的场景分析下python3下进程、线程、协程效率的对比。进程采用multiprocessing.Pool进程池,线程是自己封装的进程池,协程采用gevent的库。用python3自带的urlllib.request和开源的requests做对比。代码如下:
- import urllib.request
- import requests
- import time
- import multiprocessing
- import threading
- import queue
- def startTimer():
- return time.time()
- def ticT(startTime):
- useTime = time.time() - startTime
- return round(useTime, 3)
- #def tic(startTime, name):
- # useTime = time.time() - startTime
- # print('[%s] use time: %1.3f' % (name, useTime))
- def download_urllib(url):
- req = urllib.request.Request(url,
- headers={'user-agent': 'Mozilla/5.0'})
- res = urllib.request.urlopen(req)
- data = res.read()
- try:
- data = data.decode('gbk')
- except UnicodeDecodeError:
- data = data.decode('utf8', 'ignore')
- return res.status, data
- def download_requests(url):
- req = requests.get(url,
- headers={'user-agent': 'Mozilla/5.0'})
- return req.status_code, req.text
- class threadPoolManager:
- def __init__(self,urls, workNum=10000,threadNum=20):
- self.workQueue=queue.Queue()
- self.threadPool=[]
- self.__initWorkQueue(urls)
- self.__initThreadPool(threadNum)
- def __initWorkQueue(self,urls):
- for i in urls:
- self.workQueue.put((download_requests,i))
- def __initThreadPool(self,threadNum):
- for i in range(threadNum):
- self.threadPool.append(work(self.workQueue))
- def waitAllComplete(self):
- for i in self.threadPool:
- if i.isAlive():
- i.join()
- class work(threading.Thread):
- def __init__(self,workQueue):
- threading.Thread.__init__(self)
- self.workQueue=workQueue
- self.start()
- def run(self):
- while True:
- if self.workQueue.qsize():
- do,args=self.workQueue.get(block=False)
- do(args)
- self.workQueue.task_done()
- else:
- break
- urls = ['http://www.ustchacker.com'] * 10
- urllibL = []
- requestsL = []
- multiPool = []
- threadPool = []
- N = 20
- PoolNum = 100
- for i in range(N):
- print('start %d try' % i)
- urllibT = startTimer()
- jobs = [download_urllib(url) for url in urls]
- #for status, data in jobs:
- # print(status, data[:10])
- #tic(urllibT, 'urllib.request')
- urllibL.append(ticT(urllibT))
- print('1')
- requestsT = startTimer()
- jobs = [download_requests(url) for url in urls]
- #for status, data in jobs:
- # print(status, data[:10])
- #tic(requestsT, 'requests')
- requestsL.append(ticT(requestsT))
- print('2')
- requestsT = startTimer()
- pool = multiprocessing.Pool(PoolNum)
- data = pool.map(download_requests, urls)
- pool.close()
- pool.join()
- multiPool.append(ticT(requestsT))
- print('3')
- requestsT = startTimer()
- pool = threadPoolManager(urls, threadNum=PoolNum)
- pool.waitAllComplete()
- threadPool.append(ticT(requestsT))
- print('4')
- import matplotlib.pyplot as plt
- x = list(range(1, N+1))
- plt.plot(x, urllibL, label='urllib')
- plt.plot(x, requestsL, label='requests')
- plt.plot(x, multiPool, label='requests MultiPool')
- plt.plot(x, threadPool, label='requests threadPool')
- plt.xlabel('test number')
- plt.ylabel('time(s)')
- plt.legend()
- plt.show()
运行结果如下:
从上图可以看出,python3自带的urllib.request效率还是不如开源的requests,multiprocessing进程池效率明显提升,但还低于自己封装的线程池,有一部分原因是创建、调度进程的开销比创建线程高(测试程序中我把创建的代价也包括在里面)。
下面是gevent的测试代码:
- import urllib.request
- import requests
- import time
- import gevent.pool
- import gevent.monkey
- gevent.monkey.patch_all()
- def startTimer():
- return time.time()
- def ticT(startTime):
- useTime = time.time() - startTime
- return round(useTime, 3)
- #def tic(startTime, name):
- # useTime = time.time() - startTime
- # print('[%s] use time: %1.3f' % (name, useTime))
- def download_urllib(url):
- req = urllib.request.Request(url,
- headers={'user-agent': 'Mozilla/5.0'})
- res = urllib.request.urlopen(req)
- data = res.read()
- try:
- data = data.decode('gbk')
- except UnicodeDecodeError:
- data = data.decode('utf8', 'ignore')
- return res.status, data
- def download_requests(url):
- req = requests.get(url,
- headers={'user-agent': 'Mozilla/5.0'})
- return req.status_code, req.text
- urls = ['http://www.ustchacker.com'] * 10
- urllibL = []
- requestsL = []
- reqPool = []
- reqSpawn = []
- N = 20
- PoolNum = 100
- for i in range(N):
- print('start %d try' % i)
- urllibT = startTimer()
- jobs = [download_urllib(url) for url in urls]
- #for status, data in jobs:
- # print(status, data[:10])
- #tic(urllibT, 'urllib.request')
- urllibL.append(ticT(urllibT))
- print('1')
- requestsT = startTimer()
- jobs = [download_requests(url) for url in urls]
- #for status, data in jobs:
- # print(status, data[:10])
- #tic(requestsT, 'requests')
- requestsL.append(ticT(requestsT))
- print('2')
- requestsT = startTimer()
- pool = gevent.pool.Pool(PoolNum)
- data = pool.map(download_requests, urls)
- #for status, text in data:
- # print(status, text[:10])
- #tic(requestsT, 'requests with gevent.pool')
- reqPool.append(ticT(requestsT))
- print('3')
- requestsT = startTimer()
- jobs = [gevent.spawn(download_requests, url) for url in urls]
- gevent.joinall(jobs)
- #for i in jobs:
- # print(i.value[0], i.value[1][:10])
- #tic(requestsT, 'requests with gevent.spawn')
- reqSpawn.append(ticT(requestsT))
- print('4')
- import matplotlib.pyplot as plt
- x = list(range(1, N+1))
- plt.plot(x, urllibL, label='urllib')
- plt.plot(x, requestsL, label='requests')
- plt.plot(x, reqPool, label='requests geventPool')
- plt.plot(x, reqSpawn, label='requests Spawn')
- plt.xlabel('test number')
- plt.ylabel('time(s)')
- plt.legend()
- plt.show()
运行结果如下:
从上图可以看到,对于I/O密集型任务,gevent还是能对性能做很大提升的,由于协程的创建、调度开销都比线程小的多,所以可以看到不论使用gevent的Spawn模式还是Pool模式,性能差距不大。
因为在gevent中需要使用monkey补丁,会提高gevent的性能,但会影响multiprocessing的运行,如果要同时使用,需要如下代码:
- gevent.monkey.patch_all(thread=False, socket=False, select=False)
可是这样就不能充分发挥gevent的优势,所以不能把multiprocessing Pool、threading Pool、gevent Pool在一个程序中对比。不过比较两图可以得出结论,线程池和gevent的性能最优的,其次是进程池。附带得出个结论,requests库比urllib.request库性能要好一些哈:-)
转载请注明:转自http://blog.csdn.net/littlethunder/article/details/40983031
python3下multiprocessing、threading和gevent性能对比----暨进程池、线程池和协程池性能对比的更多相关文章
- 线程队列 concurrent 协程 greenlet gevent
死锁问题 所谓死锁:是指两个或两个以上的进程或线程在执行过程中,因争夺资源而造成的一种互相等待的现象,若无外力作用,它们都将无法推进下去.此时称系统处于死锁状态或系统产生了死锁,这些永远在互相等待的进 ...
- based on Greenlets (via Eventlet and Gevent) fork 孙子worker 比较 gevent不是异步 协程原理 占位符 placeholder (Future, Promise, Deferred) 循环引擎 greenlet 没有显式调度的微线程,换言之 协程
gevent GitHub - gevent/gevent: Coroutine-based concurrency library for Python https://github.com/gev ...
- python 并发编程 基于gevent模块 协程池 实现并发的套接字通信
基于协程池 实现并发的套接字通信 客户端: from socket import * client = socket(AF_INET, SOCK_STREAM) client.connect(('12 ...
- python3 - 多线程和协程速率测试对比
多线程和协程都属于IO密集型,我通过以下用例测试多线程和协程的实际速率对比. 实例:通过socket客户端以多线程并发模式请求不同服务器端(这里服务器端分2种写法:第一种服务器通过协程实现,第二种服务 ...
- Swoole 同步模式与协程模式的对比
在现代化 PHP 高级开发中,Swoole 为 PHP 带来了更多可能,如:常驻内存.协程,关于传统的 Apache/FPM 模式与常驻内存模式(同步)的巨大差异,之前我做过测试,大家能直观的感受到性 ...
- python采用 多进程/多线程/协程 写爬虫以及性能对比,牛逼的分分钟就将一个网站爬下来!
首先我们来了解下python中的进程,线程以及协程! 从计算机硬件角度: 计算机的核心是CPU,承担了所有的计算任务.一个CPU,在一个时间切片里只能运行一个程序. 从操作系统的角度: 进程和线程,都 ...
- 第十天 多进程、协程(multiprocessing、greenlet、gevent、gevent.monkey、select、selector)
1.多进程实现方式(类似于多线程) import multiprocessing import time,threading def thread_run():#定义一个线程函数 print(&quo ...
- 基础10 多进程、协程(multiprocessing、greenlet、gevent、gevent.monkey、select、selector)
1.多进程实现方式(类似于多线程) import multiprocessing import time,threading def thread_run():#定义一个线程函数 print(&quo ...
- Cpython解释器下实现并发编程——多进程、多线程、协程、IO模型
一.背景知识 进程即正在执行的一个过程.进程是对正在运行的程序的一个抽象. 进程的概念起源于操作系统,是操作系统最核心的概念,也是操作系统提供的最古老也是最重要的抽象概念之一.操作系统的其他所有内容都 ...
随机推荐
- P1233木棍加工
这个题被算法标签标为DP,但其实可能只是用dp求子序列,,(n方) 给出l与w,只要是l与w同时满足小于一个l与w,那么这个木棍不需要时间,反之需要1.看到这个题,首先想到了二维背包,然后发现没有最大 ...
- C++代码审查
C++代码审查 1. 目的与要求 寻找结对编程伙伴,并练习结对编程: 对同伴的作品进行代码复审,设计审查表并填写: 评价同伴的代码,介绍同伴的优缺点. 2. 复审代码 小伙伴李宏达的项目代码与博客地址 ...
- centos6配置本地yum源
在无法访问外网时,yum安装软件会失败,这时候可以配置yum源为本地的镜像iso来解决这个问题 1. 使用Xftp上传iso镜像文件到服务器 2. 使用如下命令新建挂载点并挂载 sudo mkdir ...
- MFC- socket 编程
一.CAsyncSocket类 CAsyncSocket属于异步非阻塞类. CAsyncSocket类采用了windows socket中的WSAAsyncSelect模型.CAsyncSocket ...
- 前端开发HTML&css入门——伪类选择器和一些特殊的选择器
伪类和伪元素 有时候,你需要选择本身没有标签,但是仍然易于识别的网页部位,比如段落首行或鼠标滑过的连接.CSS为他们提供一些选择器:伪类和伪元素. 常用的一些伪类选择器: :link :visited ...
- MySQL数据类型和约束条件
一.数据库操作数据的存储引擎 INNODB:支持事务 行锁 外键 查询速度比MYSiam慢 但是保证了数据的安全性 5.1 版本之后 MYSIAM:老版本用 5.1版本之前 搜索速度快 不支持事务 没 ...
- Testbench学习笔记
Testbench学习笔记(一) 书写testbench是数字电路设计中不可或缺的一项设计方法,主要是提供的是激励.尽管现在各种开发工具都通过绘制波形图的方法生成测试激励,测试书写的代码,但是其不可移 ...
- Ubuntu18 给terminal改个漂亮的命令行提示符
重新安装了VMware和Ubuntu,但是命令行提示符太单调,不美观,如何更改呢.于是在网上巴拉巴拉搜寻一番. 1.更改PS1环境变量,这俩都可以,我选择第一个: export PS1="\ ...
- python socket--TCP解决粘包的方法
1.为什么会出现粘包?? 让我们基于tcp先制作一个远程执行命令的程序(1:执行错误命令 2:执行ls 3:执行ifconfig) 注意注意注意: res=subprocess.Popen(cmd.d ...
- tee 多重定向
1.命令功能 tee读取标准输入的数据,并将内容输出成文件. 2.语法格式 tee option file tee [-ai] 文件 参数说明 参数 参数说明 -a 追加到文件后面,非覆盖 - ...