同步是CPU自己主动查看IO操作是否完成,异步是IO操作完成后发出信号通知CPU(CPU是被通知的)

阻塞与非阻塞的区别在于发起IO操作之后,CPU是等待IO操作完成再进行下一步操作,还是不等待去做其他的事直到IO操作完

成了再回来进行。

消息模型:当遇到IO操作时,代码只负责发出IO请求,不等待IO结果,然后直接结束本轮消息处理,进入下一轮

消息处理过程。当IO操作完成后,将收到一条“IO完成”的消息,处理该消息时就可以直接获取IO操作结果。

子程序调用总是一个入口,一次返回,调用顺序是明确的,而协程的调用和子程序不同(有多个入口,多次返回)。

#协程看上去也是子程序,但执行过程中,在子程序内部可中断,然后转而执行别的子程序,在适当的时候再返回来接着执行

协程子程序切换不是线程切换(系统自动执行),而是有程序自身控制。

#Python对协程的支持是通过generator实现的。

#在generator中,我们不但可以通过for循环来迭代,还可以不断调用next()函数获取有yield语句返回的下一个值。

#但是Python的yield不但可以返回一个值,还可以接收调用者发出的参数。

def consumer():

r=''

while True:

n=yield r

if not n:

return

print('[CONSUMER]Consuming %s...' % n)

r='200 OK'

def produce(c):

c.send(None)  #调用c.send(None)启动生成器,程序跳转到consumer,运行至yield 处结束返回produce.

n=0

while n<5:

n=n+1

print('[PRODUCER]Producing %s...' %n)

r=c.send(n) #通过c.send(n)切换到consumer执行

print('[PRODUCER]cONSUMER RETURN: %s' %r)

c.close()

c=consumer()

produce(c)

'''

1.首先调用c.send(None)启动生成器

2.然后,一旦产生了东西,通过c.send(n)切换到consumer执行

3.consumer通过yield拿到消息,处理,又通过yield把结果传回

4.produce拿到consumer处理的结果,继续生产下一条消息

5.produce决定不生产了,通过c.close()关闭consumer,整个过程结束。

整个流程无锁,由一个线程执行,produce和consumer协作完成任务,所以称为“协程”而非线程的抢占式多任务。

send()和yield相互为  发送和接收 参数  r=c.send(n),将参数n 传递给c函数,由c函数中的yield 及其后的变

量 接收,c中的程序再次运行到yield时,yield将其后的变量作为返回值,也就是c.send(n)的值

'''

'''

[PRODUCER]Producing 1...

[CONSUMER]Consuming 1...

[PRODUCER]cONSUMER RETURN: 200 OK

[PRODUCER]Producing 2...

[CONSUMER]Consuming 2...

[PRODUCER]cONSUMER RETURN: 200 OK

[PRODUCER]Producing 3...

[CONSUMER]Consuming 3...

[PRODUCER]cONSUMER RETURN: 200 OK

[PRODUCER]Producing 4...

[CONSUMER]Consuming 4...

[PRODUCER]cONSUMER RETURN: 200 OK

[PRODUCER]Producing 5...

[CONSUMER]Consuming 5...

[PRODUCER]cONSUMER RETURN: 200 OK

'''

#asyncio是Python3.4版本引入的标准库,直接内置了对异步IO的支持

#asyncio的编程模型就是一个消息循环。我们从asyncio模块中直接获取一个Eventloop的引用,然后把需要执行的协程扔到Eventloop中执行,就实现了异步IO。

#用asyncio实现Hello world 代码如下:

'''

import threading

import asyncio

@asyncio.coroutine

def hello():

print('Hello world! (%s)' %threading.currentThread())

yield from asyncio.sleep(1)

print('Hello again!(%s)' % threading.currentThread())

loop=asyncio.get_event_loop()

tasks=[hello(),hello()]

loop.run_until_complete(asyncio.wait(tasks))

loop.close()

'''

'''

Hello world! (<_MainThread(MainThread, started 5524)>)

Hello world! (<_MainThread(MainThread, started 5524)>)

(暂停约1秒)

Hello again!(<_MainThread(MainThread, started 5524)>)

Hello again!(<_MainThread(MainThread, started 5524)>)

'''

# @asyncio.coroutine把一个generator标记为corroutine类型,然后,我们就把这个coroutine扔到Eventloop

中执行。

#hello()会首先打印出Hello world!,然后,yield from 语法可以让我们方便地调用另一个generator.由于

asyncio.sleep()也是一个coroutine,所以线程不会等待

#asyncio.sleep(),而是直接中断并执行下一个消息循环。当asyncio.sleep()返回时,线程就可以从yield from

拿到返回值(此处是None),然后接着执行下一行语句。

#把asyncio.sleep(1)看成是一个耗时1秒的IO操作,在此期间,主线程并未等待,而是去执行Eventloop中其他可以执

行的coroutine了,因此可以实现并发执行。

多个coroutine可以封装成一组task然后并发执行。

asyncio的编程模型就是一个消息循环。我们从asyncio模块中直接获取一个Eventloop的引用,然后把需要执行的协程扔

到Eventloop中执,就实现了异步IO。

为了简化并更好地标识异步IO,从Python3.5开始引入新的语法async和await,可以让coroutine的代码更简洁易读。

'''

1. 把@asyncio.coroutine替换为async;

2. 把yield from 替换为await

'''

#例

'''

@asyncio.coroutine

def hello():

print("hello world!")

r = yield from asyncio.sleep(1)

print("hello again!")

'''

#可写成

'''

async def hello():

print("hello world!")

r=await asyncio.sleep(1)

print("hello again!")

'''

#剩下的代码保持不变

#aiohttp

#asyncio可以实现单线程并发IO操作。如果仅用在客户端,发挥的威力不大。如果把asyncio用在服务器端,例如web服务器,由于http连接就是IO操作,因此可以用

#单线程+coroutine实现多用户的高并发支持。

#asyncio实现了TCP UDP SSL等协议,aiohttp则是基于asyncio实现的http框架。

#编写一个http服务器    ,分别处理一下URL:

'''

* /  -首页返回b'<h1>Index</h1>';

* /hello/{name}  -根据URL参数返回文本 hello,%s!.

'''

import asyncio

from aiohttp import web

async def index(request):

await asyncio.sleep(0.5)

return web.Response(body=b'<h1>Index</h1>',content_type='text/html')

async def hello(request):

await asyncio.sleep(0.5)

text='<h1>hello, %s!<h1>' %request.match_info['name']

return web.Response(body=text.encode('utf-8'),content_type='text/html')

async def init(loop):

app=web.Application(loop=loop)

app.router.add_route('GET','/',index)

app.router.add_route('GET','/hello/{name}',hello)

srv=await loop.create_server(app.make_handler(),'127.0.0.1',8000)

print('Server started at http://127.0.0.1:8000...')

return srv

loop=asyncio.get_event_loop()

loop.run_until_complete(init(loop))

loop.run_forever()

#aiohttp的初始化函数init()也是一个coroutine,loop.create_server()则利用asyncio创建TCP服务

异步IO(协程,消息循环队列)的更多相关文章

  1. 2020.11.2 异步IO 协程

    异步IO 同步IO在一个线程中,CPU执行代码的速度极快,然而,一旦遇到IO操作,如读写文件.发送网络数据时,就需要等待IO操作完成,才能继续进行下一步操作. 在IO操作的过程中,当前线程被挂起,而其 ...

  2. python并发编程之多进程、多线程、异步、协程、通信队列Queue和池Pool的实现和应用

    什么是多任务? 简单地说,就是操作系统可以同时运行多个任务.实现多任务有多种方式,线程.进程.协程. 并行和并发的区别? 并发:指的是任务数多余cpu核数,通过操作系统的各种任务调度算法,实现用多个任 ...

  3. 异步IO/协程/数据库/队列/缓存(转)

    原文:Python之路,Day9 - 异步IO\数据库\队列\缓存 作者:金角大王Alex add by zhj: 文章很长 引子 到目前为止,我们已经学了网络并发编程的2个套路, 多进程,多线程,这 ...

  4. python -- 异步IO 协程

    python 3.4 >>> import asyncio >>> from datetime import datetime >>> @asyn ...

  5. python异步加协程获取比特币市场信息

    目标 选取几个比特币交易量大的几个交易平台,查看对应的API,获取该市场下货币对的ticker和depth信息.我们从网站上选取4个交易平台:bitfinex.okex.binance.gdax.对应 ...

  6. Python自动化运维之16、线程、进程、协程、queue队列

    一.线程 1.什么是线程 线程是操作系统能够进行运算调度的最小单位.它被包含在进程之中,是进程中的实际运作单位. 一条线程指的是进程中一个单一顺序的控制流,一个进程中可以并发多个线程,每条线程并行执行 ...

  7. Python学习笔记——进阶篇【第九周】———线程、进程、协程篇(队列Queue和生产者消费者模型)

    Python之路,进程.线程.协程篇 本节内容 进程.与线程区别 cpu运行原理 python GIL全局解释器锁 线程 语法 join 线程锁之Lock\Rlock\信号量 将线程变为守护进程 Ev ...

  8. Tornado异步之-协程与回调

    回调处理异步请求 回调 callback 处理异步官方例子 # 导入所需库 from tornado.httpclient import AsyncHTTPClient def asynchronou ...

  9. python并发编程之多进程、多线程、异步和协程

    一.多线程 多线程就是允许一个进程内存在多个控制权,以便让多个函数同时处于激活状态,从而让多个函数的操作同时运行.即使是单CPU的计算机,也可以通过不停地在不同线程的指令间切换,从而造成多线程同时运行 ...

随机推荐

  1. js插件---bootstrap-datepicker.js是什么

    js插件---bootstrap-datepicker.js是什么 一.总结 一句话总结:选择时间的插件 时间选择插件 1.datepicker如何默认选择当前天? 直接给datepicker对应的i ...

  2. 雷林鹏分享:jQuery EasyUI 树形菜单 - 创建带复选框的树形菜单

    jQuery EasyUI 树形菜单 - 创建带复选框的树形菜单 easyui 的树(Tree)插件允许您创建一个复选框树.如果您点击一个节点的复选框,这个点击的节点信息将向上和向下继承.例如:点击 ...

  3. 三个解释——MVC的网址

    [三个MVC网址]1.https://www.cnblogs.com/sunniest/p/4555801.html2.https://www.cnblogs.com/wmyskxz/p/884846 ...

  4. 可访问范围 与 visual 或 abstract “修饰符”

    protected:在当前类内定义,则在当前类“内部”可以调用,则在 派生子类"内部" 也可以调用 private,除去,在 派生子类"内部" 也可以调用,其它 ...

  5. English trip V1 - B 23. Nosy People 爱管闲事的人 Teacher:Parice Key: Be + Ving

    In this lesson you will learn to talk about what happened.  谈论发生什么? 课上内容(Lesson) Nosy  好管闲事Noise  噪声 ...

  6. 请问WCF 跟 WebService之间的相同跟异同

    https://social.msdn.microsoft.com/Forums/zh-CN/c06420d1-69ba-4aa6-abe5-242e3213b68f/wcf-webservice W ...

  7. ERROR org.redisson.client.handler.CommandDecoder - Unable to decode data. channel

    一.异常出现的场景 某一天下午,测试突然跑过来说,IOS系统APP访问500,Android没问题.我的第一反应是那就奇怪了,调的接口都是一样的,莫非和系统有关系.而且这个错误重启服务后,过一段时间才 ...

  8. caffe 动态库 Release X64

    Release X64平台 createdll.h#ifndef CREARDLL_H_#define CREARDLL_H_ extern "C" _declspec(dllex ...

  9. python记录_day30 多进程

    1.什么是进程 进程(Process)是计算机中的程序关于某数据集合上的一次运行活动,是系统进行资源分配和调度的基本单位,是操作系统结构的基础. 同一个程序执行两次,就会产生两个进程 ## 进程调度算 ...

  10. Matlab:非线性热传导(抛物方程)问题

    函数文件1:real_fun.m function f=real_fun(x0,t0) %精确解 f=4*x0*(1-x0)*sin(t0); 函数文件2:F.m function f=F(N,u,U ...