Python之路【第十七篇】:Python并发编程|协程
一、协程
协程,又叫微线程,纤程。英文名Coroutine。协程本质上就是一个线程
优点1:协程极高的执行效率。因为子程序切换不是线程切换,而是由程序自身控制,因此,没有线程切换的开销,和多线程比,线程数量越多,协程的性能优势就越来越明显。(简单来说没有切换的消耗)
优点2:不需要多线程的锁机制,因为只有一个线程,也不存在同时写变量冲突,在协程中控制共享资源不加锁,只需要判断状态就好,所以执行效率比多线程高很多。(没有锁的概念)
因为协程是一个线程执行,那怎么利用多核CPU呢?最简单的方法是多进程+协程,既充分利用多核,又充分发挥协程的高效率,可获得极高的性能。
二、yield的简单实现
- #_*_ coding:utf-8 _*_
- # Author:Simon
- # Datetime:2019/9/2 21:07
- # Software:PyCharm
- import time
- import queue
- def consumer(name):
- print("--->ready to eat baozi...")
- while True:
- new_baozi = yield
- print("[%s] is eating baozi %s" % (name,new_baozi))
- #time.sleep(1)
- def producer():
- r = con.__next__()
- r = con2.__next__()
- n = 0
- while 1:
- time.sleep(1)
- print("\033[32;1m[producer]\033[0m is making baozi %s and %s" %(n,n+1) )
- con.send(n)
- con2.send(n+1)
- n +=2
- if __name__ == '__main__':
- con = consumer("c1")
- con2 = consumer("c2")
- p = producer()
三、Greenlet模块
greenlet是一个用C实现的协程模块,相比与python自带的yield,它可以使你在任意函数之间随意切换,而不需把这个函数先声明为generator
- #_*_ coding:utf-8 _*_
- # Author:Simon
- # Datetime:2019/9/2 21:29
- # Software:PyCharm
- from greenlet import greenlet
- def test1():
- print(12)
- gr2.switch()
- print(34)
- gr2.switch()
- def test2():
- print(56)
- gr1.switch()
- print(78)
- gr1 = greenlet(test1)
- gr2 = greenlet(test2)
- gr1.switch()
四、Gevent模块
本质就是封装了greenlet模块,它能检测I/O并且遇到I/O自动切换到另外一个任务执行;可以帮我们提升效率
- #_*_ coding:utf-8 _*_
- # Author:Simon
- # Datetime:2019/9/2 21:39
- # Software:PyCharm
- import gevent
- import requests,time
- start=time.time()
- def f(url):
- print('GET: %s' % url)
- resp =requests.get(url)
- data = resp.text
- print('%d bytes received from %s.' % (len(data), url))
- gevent.joinall([
- gevent.spawn(f, 'https://www.jd.org/'),
- gevent.spawn(f, 'https://www.xiaohua.com/'),
- gevent.spawn(f, 'https://www.baidu.com/'),
- gevent.spawn(f, 'https://www.taobao.com/'),
- ])
- # f('https://www.jd.org/')
- # f('https://www.xiaohua.com/')
- # f('https://baidu.com/')
- # f('https://www.taobao.com/')
- #
- # print("cost time:",time.time()-start)
gevent异步提交任务
- from gevent import monkey;monkey.patch_all()
- import gevent
- import time
- def eat(name):
- print('%s eat 1' % name)
- time.sleep(3)
- print('%s eat 2' % name)
- def play(name):
- print('%s play 1' % name)
- time.sleep(4)
- print('%s play 2' % name)
- g1=gevent.spawn(eat,'simon')
- g2=gevent.spawn(play,'zhuzhu')
- # time.sleep(5)
- # g1.join()
- # g2.join()
- gevent.joinall([g1,g2]) #相当于上边两行代码
- 打印:
- simon eat 1
- zhuzhu play 1
- simon eat 2
- zhuzhu play 2
基于gevent模块实现并发的套接字通信
单线程、多任务的I/O操作。
- #基于gevent实现
- from gevent import monkey,spawn;monkey.patch_all()
- from socket import *
- def communicate(conn):
- while True:
- try:
- data=conn.recv(1024)
- if not data:break
- conn.send(data.upper())
- except ConnectionResetError:
- break
- conn.close()
- def server(ip,port):
- server = socket(AF_INET, SOCK_STREAM)
- server.bind((ip,port))
- server.listen(5)
- while True:
- conn, addr = server.accept()
- spawn(communicate,conn) #造一个协程对象,提交完这个对象它不会执行
- server.close()
- if __name__ == '__main__':
- g=spawn(server,'127.0.0.1',8090)
- g.join()
- ##客户端
- from socket import *
- from threading import Thread,currentThread
- def client():
- client=socket(AF_INET,SOCK_STREAM)
- client.connect(('127.0.0.1',8090))
- while True:
- client.send(('%s hello' %currentThread().getName()).encode('utf-8'))
- data=client.recv(1024)
- print(data.decode('utf-8'))
- client.close()
- if __name__ == '__main__':
- for i in range(500):
- t=Thread(target=client)
- t.start()
Python之路【第十七篇】:Python并发编程|协程的更多相关文章
- python 并发编程 协程 目录
python 并发编程 协程 协程介绍 python 并发编程 协程 greenlet模块 python 并发编程 协程 gevent模块 python 并发编程 基于gevent模块实现并发的套接字 ...
- 并发编程协程(Coroutine)之Gevent
并发编程协程之Gevent Gevent官网文档地址:http://www.gevent.org/contents.html 基本概念 我们通常所说的协程Coroutine其实是corporate r ...
- 并发编程 - 协程 - 1.协程概念/2.greenlet模块/3.gevent模块/4.gevent实现并发的套接字通信
1.协程并发:切+保存状态单线程下实现并发:协程 切+ 保存状态 yield 遇到io切,提高效率 遇到计算切,并没有提高效率 检测单线程下 IO行为 io阻塞 切 相当于骗操作系统 一直处于计算协程 ...
- Python并发编程协程(Coroutine)之Gevent
Gevent官网文档地址:http://www.gevent.org/contents.html 基本概念 我们通常所说的协程Coroutine其实是corporate routine的缩写,直接翻译 ...
- Python之并发编程-协程
目录 一.介绍 二. yield.greenlet.gevent介绍 1.yield 2.greenlet 3.gevent 一.介绍 协程:是单线程下的并发,又称微线程,纤程.英文名Coroutin ...
- python并发编程&协程
0x01 前导 如何基于单线程来实现并发? 即只用一个主线程(可利用的cpu只有一个)情况下实现并发: 并发的本质:切换+保存状态 cpu正在运行一个任务,会在两种情况下切走去执行其他的任务(切换由操 ...
- python 并发编程 协程 gevent模块
一 gevent模块 gevent应用场景: 单线程下,多个任务,io密集型程序 安装 pip3 install gevent Gevent 是一个第三方库,可以轻松通过gevent实现并发同步或异步 ...
- python 并发编程 协程 协程介绍
协程:是单线程下的并发,又称微线程,纤程.英文名Coroutine.一句话说明什么是线程:协程是一种用户态的轻量级线程,即协程是由用户程序自己控制调度的 需要强调的是: 1. python的线程属于内 ...
- 【python之路36】进程、线程、协程相关
线程详细用法请参考:http://www.cnblogs.com/sunshuhai/articles/6618894.html 一.初始多线程 通过下面两个例子的运行效率,可以得知多线程的速度比单线 ...
随机推荐
- 使用 Python 和 Flask 设计 RESTful API
近些年来 REST (REpresentational State Transfer) 已经变成了 web services 和 web APIs 的标配. 在本文中我将向你展示如何简单地使用 Pyt ...
- java的static和this
1>static:静态修饰符 static表示“全局”或者“静态”的意思,用来修饰成员变量和成员方法,也可以形成静态static代码块,但是Java语言中没有全局变量的概念. 被sta ...
- C/C++的内存对齐
1.内存对齐之pragma pack语法 语法:#pragma pack( [show] | [push | pop] [, identifier], n )作用:指定结构,联合和类的包对齐方式(pa ...
- docker时区问题
解决: dockerfile: RUN cp /usr/share/zoneinfo/Asia/Shanghai /etc/localtime#update application timezoneR ...
- HDFS部署测试记录(2019/05)
目录 HDFS部署测试记录 0.HDFS基础知识 1.基本组成结构与文件访问过程 2.NameNode启动时如何维护元数据 3.HDFS文件上传流程 1.系统环境 1.安装大致记录: 2.磁盘分区 3 ...
- Java学习-056-Jsoup爬虫获取中国所有的三级行政区划数据(一)
在涉及地址服务时,经常需要用到地址信息的获取,而行政区划可能不定期的发生变化,所以我们需要获取最新的行政区划信息.因行政区划数据量较大,Java中可以使用Jsoup进行数据的获取.处理. 大家经常用到 ...
- awk:for循环输出文件名
简单来说,有file1.txt, file2.txt, file3.txt file1.txt如下: 1 a 4 d d g file2.txt如下: 2 b g 6 9 0 file3.txt如下: ...
- kafka中的配额管理(限速)机制
kafka支持配额管理,从而可以对Producer和Consumer的produce&fetch操作进行流量限制,防止个别业务压爆服务器.本文主要介绍如何使用kafka的配额管理功能. 1 K ...
- 仿简书MarkDown编辑器可同步滚动
模仿简书的MarkDown编辑器,使用Angular8写的示例 1.支持同步滚动 编辑的过程中,右侧预览界面会同步滚动.滚动右侧预览界面,左侧编辑区也会同步滚动哦 2.支持语法高亮 如下: using ...
- 使用powercli创建模板与克隆虚机
用powercli练练手,需从实际案例出发,本节将使用powercli写两个demo,一个是创建模板,并根据模板创建新的虚机:另一个demo是克隆虚机. [注意] 1.创建模板与克隆操作只能在vcen ...