Python 高级 I/O 多路复用
Table of Contents
前言
第一次接触和 I/O 多路复用相关的概念是在书 CSAPP1 的并发编程章节,当时在了解了这个概念后只是感觉很神奇,但是并没有实际使用过。
直到接触了和 异步 I/O 相关的概念,然后才发现,并发和 I/O 这一块的东西还真的有点多。
这篇博客的内容算是对 I/O 多路复用的简单介绍以及和 selectors 模块的简单使用。
select
介绍 I/O 多路复用这个概念往往都是从 select
这个 系统调用 开始的,这篇博客也不例外,但是为了方便,我们使用的是 Python 提供的 select.select
函数2。
这个函数的参数列表与返回值是这样的:
select(rlist, wlist, xlist[, timeout]) -> (rlist, wlist, xlist)
各个参数的含义:
rlist
- 等待 可读 事件发生的文件描述符列表wlist
- 等待 可写 事件发生的文件描述符列表xlist
- 等待 异常 事件发生的文件描述符列表timeout
- 可选,指定最长阻塞等待时间
调用这个函数后会 阻塞 等待和各个的文件描述符相对应的 I/O 事件发生,然后将准备好的文件描述符返回。
I/O 多路复用的基本模型就和这个函数一样,都是通过一定的方式监听处理 多个 文件的 I/O 事件,或者说,select 是 I/O 多路复用的一种实现。
除了 select
以外,常见的还有 poll
和 epoll
这两个实现,它们背后的基本思想都是一样的,区别主要就在于使用的方便性和效率上。
selectors
selectors
模块是对 select
的一层封装,能够让我们以更方便的方式来使用 I/O 多路复用。
简单的使用流程为:
通过
selectors.DefaultSelector()
创建默认的selector
当然还存在其他不同种类的
Selector
, 但是不同种类的Selector
的受支持情况在不同的平台上存在差异,因此大多数时候使用DefaultSelector
就可以了,它是相应平台上最有效的Selector
的易名。通过
selector.register(fileobj, events, data=None)
方法注册需要监听的 文件描述符 或 文件对象可以看到,在使用
selector
时我们可以注册 文件对象 而不一定必须要是 文件描述符3,这为我们的使用带来了一定的便利。对于参数
events
, 在selectors
模块中定义的事件只有EVENT_READ
和EVENT_WRITE
, 刨除了不太常用的 异常 事件。如果要同时注册两个事件可以像这样:
selector.register(fileobj, EVENT_READ | EVENT_WRITE)
调用
selector.select(timeout=None)
方法监听并获取发生了的 键 - 事件 对列表这里的键是指
SelectorKey
对象,它的属性包括:fileobj
- 我们注册的文件对象fd
- 我们注册的文件对象的文件描述符events
- 我们注册的事件data
- 注册时的data
参数
处理得到的 键 - 事件 对列表
如果注册了不同类型的事件,处理时可以通过返回的事件类型进行处理。
同时,我们可以在注册时通过
data
参数附带回调函数,方便处理。
下面是官网的例子:
import selectors
import socket
sel = selectors.DefaultSelector()
def accept(sock, mask):
conn, addr = sock.accept() # Should be ready
print('accepted', conn, 'from', addr)
conn.setblocking(False)
sel.register(conn, selectors.EVENT_READ, read)
def read(conn, mask):
data = conn.recv(1000) # Should be ready
if data:
print('echoing', repr(data), 'to', conn)
conn.send(data) # Hope it won't block
else:
print('closing', conn)
sel.unregister(conn)
conn.close()
sock = socket.socket()
sock.bind(('localhost', 1234))
sock.listen(100)
sock.setblocking(False)
sel.register(sock, selectors.EVENT_READ, accept)
while True:
events = sel.select()
for key, mask in events:
callback = key.data
callback(key.fileobj, mask)
结语
虽然接触 I/O 多路复用已经有一段时间了,但是还没有遇到过需要使用的地方……
或者说需要使用的地方已经被相关类库的作者封装好了,没自己什么事了 @_@
但是,掌握相关的概念还是很有价值的。
参考链接
- selectors — High-level I/O multiplexing — Python 3.7.3 documentation
- cpython/selectors.py at 3.7 · python/cpython
Footnotes
1 Computer Systems: A Programmer's Perspective, 3/E (CS:APP3e)
2 C 语言版可以参考 select - Wikipedia
3 文件描述符可以通过文件对象的 fileno()
方法获取
Python 高级 I/O 多路复用的更多相关文章
- python高级之网络编程
python高级之网络编程 本节内容 网络通信概念 socket编程 socket模块一些方法 聊天socket实现 远程执行命令及上传文件 socketserver及其源码分析 1.网络通信概念 说 ...
- 第六篇:python高级之网络编程
python高级之网络编程 python高级之网络编程 本节内容 网络通信概念 socket编程 socket模块一些方法 聊天socket实现 远程执行命令及上传文件 socketserver及 ...
- 老男孩Python高级全栈开发工程师【真正的全套完整无加密】
点击了解更多Python课程>>> 老男孩Python高级全栈开发工程师[真正的全套完整无加密] 课程大纲 老男孩python全栈,Python 全栈,Python教程,Django ...
- 第十一章:Python高级编程-协程和异步IO
第十一章:Python高级编程-协程和异步IO Python3高级核心技术97讲 笔记 目录 第十一章:Python高级编程-协程和异步IO 11.1 并发.并行.同步.异步.阻塞.非阻塞 11.2 ...
- python 高级之面向对象初级
python 高级之面向对象初级 本节内容 类的创建 类的构造方法 面向对象之封装 面向对象之继承 面向对象之多态 面向对象之成员 property 1.类的创建 面向对象:对函数进行分类和封装,让开 ...
- python高级之函数
python高级之函数 本节内容 函数的介绍 函数的创建 函数参数及返回值 LEGB作用域 特殊函数 函数式编程 1.函数的介绍 为什么要有函数?因为在平时写代码时,如果没有函数的话,那么将会出现很多 ...
- python高级之装饰器
python高级之装饰器 本节内容 高阶函数 嵌套函数及闭包 装饰器 装饰器带参数 装饰器的嵌套 functools.wraps模块 递归函数被装饰 1.高阶函数 高阶函数的定义: 满足下面两个条件之 ...
- python高级之生成器&迭代器
python高级之生成器&迭代器 本机内容 概念梳理 容器 可迭代对象 迭代器 for循环内部实现 生成器 1.概念梳理 容器(container):多个元素组织在一起的数据结构 可迭代对象( ...
- python高级之面向对象高级
python高级之面向对象高级 本节内容 成员修饰符 特殊成员 类与对象 异常处理 反射/自省 单例模式 1.成员修饰符 python的类中只有私有成员和公有成员两种,不像c++中的类有公有成员(pu ...
随机推荐
- cesium 加载倾斜摄影模型(这里有一坑)
代码如下: // Construct the default list of terrain sources. var terrainModels = Cesium.createDefaultTerr ...
- 引用类型(一):Object类型
对象表示方式 1.第一种方式:使用new操作符后跟Object构造函数 var person = new Object();<br/> person.name = 'Nicholas';& ...
- nginx里面的rewrite配置
哎,我需要静静,刚刚在去怎么优化dom层级,发现更新完代码,层级又蹭蹭蹭的往上涨,顿时没脾气了,还是把昨天的nginx配置总结下,增加点动力,昨天前天两天都在搞这个问题,也是搞的没脾气,网上查了很多资 ...
- MySQL 存储过程参数IN OUT INOUT区别
MySQL 存储过程参数IN OUT INOUT对比 一.IN -- 创建测试存储过程 delimiter // create procedure p_in ( IN num int ) begin ...
- Problem 1004-2017 ACM/ICPC Asia Regional Shenyang Online
题目来源:array array array Time Limit: 2000/1000 MS (Java/Others) Memory Limit: 32768/32768 K (Java/Othe ...
- 原生Ajax发送请求
ajax get&post 1.使用get发送请求,会有请求缓存 1)什么叫请求缓存,请求信息相同浏览器不会再向服务器发送请求,导致访问服务器失败. 2)解决:将随机数添加到请求路径后面参数 ...
- spring cloud 学习之服务消费者(Feign)
一.Feign简介 Feign是一个声明式的伪Http客户端,它使得写Http客户端变得更简单.使用Feign,只需要创建一个接口并注解.它具有可插拔的注解特性,可使用Feign 注解和JAX-RS注 ...
- win7同时安装python2和python3
1.下载python2和python3版本. 2.安装python3 1>选择添加PATH路径到系统. 2>为所有用户安装python. 3.安装python2 1>为所 ...
- tcl之其他命令-eval/source
- My jdbc 错误
jdbc mysql插入数据提示Parameter index out of range (1 > number of parameters, which is 0). SqlStatement ...