Python网络编程(4)——异步编程select & epoll
在SocketServer模块的学习中,我们了解了多线程和多进程简单Server的实现,使用多线程、多进程技术的服务端为每一个新的client连接创建一个新的进/线程,当client数量较多时,这种技术也将带来巨大的开销,服务器的内存毕竟是有限的,而客户的量级可能非常庞大,因此为每个客户端连接创建单独的进/线程可能并不实际。
另一种提升服务器性能的网络编程模式是事件驱动的(异步)编程,这里所说的“事件”通常是指:客户端连接到来、套接字有可读数据、套接字可写等。服务器时刻处在一个时刻等待这些事件的循环中,一旦这些常见的某类事件发生,服务端分别进行一定的响应,然后继续等待下一个事件的发生。
Python 对事件驱动的网络编程提供的支持包括:
select 模块 —— 低层次 select, epoll 等异步编程机制;
asyncore, asynchat 模块 —— 高层次的异步编程机制,在Python 3中合并为 asyncio 模块;
Twisted 框架 —— Twisted 是一个功能强大的Python事件驱动编程框架。
本文将会学习 select 模块提供的 select、epoll 机制。
Select 编程
select 的中文含义是”选择“,select机制也如其名,监听一些 server 关心的套接字、文件等对象,关注他们是否可读、可写、发生异常等事件。一旦出现某个 select 关注的事件,select 会对相应的套接字或文件进行特定的处理,这就是 select 机制最主要的功能。
select 机制可以只使用一个进程/线程来处理多个 socket 或其他对象,因此又被称为I/O复用。
关于 select 机制的进程阻塞形式,与普通的套接字略有不同。socket 对象可能阻塞在 accept(), recvfrom()等方法上,以 recvfrom() 方法为例,当执行到 socket.recvfrom() 这一句时,就会调用一个系统调用询问内核:client / server 发来的数据包准备好了没?此时从进程空间切換到内核地址空间,内核可能需要等数据包完全到达,然后将数据复制到程序的地址空间后,recvfrom() 才会返回,接下来进程继续执行,对读取到的数据进行必要的处理。
而使用 select 函数编程时,同样针对上面的 recvfrom() 方法,进程会阻塞在 select() 调用上,等待出现一个或多个套接字对象满足可读事件,当内核将数据准备好后,select() 返回某个套接字对象可读这一条件,随后再调用 recvfrom() 将数据包从内核复制到进程地址空间。
所以可见,如果仅仅从单个套接字的处理来看,select() 反倒性能更低,因为 select 机制使用两个系统调用。但 select 机制的优势就在于它可以同时等待多个 fd 就绪,而当某个 fd 发生满足我们关心的事件时,就对它执行特定的操作。
调用 select 模块提供的 select 函数可以实现 Select 编程:
select(inputs, outputs, excepts, timeout=None)
参数说明:
inputs, outputs, excepts 是分别由等待输入事件、输出事件和异常条件的 socket 对象组成的列表;
timeout——数字或者None,上一篇文章中已经介绍过 Python套接字对象的超时行为,这里select与套接字的超时行为类似:如果 timeout 是 None,则 select 在阻塞调用上会一直等待直到事件发生;如果 timeout 是一个非 0 数字,则 select 最多等待 timeout 秒;如果 timeout 是0,则 select 遇到阻塞的调用时会立即返回,一刻也不等待。
返回值:
select() 返回一个 (i, o, e) 形式的三元组,其中i, o, e 分别都是列表,列表 i 中的每个元素都收到了 input 事件,列表 o 中的每个元素都收到了 output 事件,列表 e 中的每个元素则发生了异常。
Select 编程的特点是 select() 参数中的 inputs, outputs, excepts 可以不止 socket 对象,而只要是支持无参数调用 fileno() 方法,返回相应 fd 的对象均可,比如 SocketServer 模块中提供的几种 server 类型就支持这一方法,所以在 select() 参数的某个列表中,就可以包含这些 Server 类型的实例。在 Unix 平台上,select 机制也支持并不对应于 socket 对象的文件描述字。
例:
使用 select 网络编程模型实现一个简单的回显服务器
#!-*-encoding:utf-8-*-
import socket
import select sock = socket.socket(socket.AF_INET, socket.SOCK_STREAM)
sock.bind(('127.0.0.1', 4424))
sock.listen(10) ins = [sock, ]
ous = []
# socket -> data to send
data = {}
# socket -> client address, which is (host, port) tuple
adrs = {} try:
print("Select Server Start Working!")
while True:
i, o, e = select.select(ins, ous, [])
for x in i: # 处理发生 input 事件的套接字
if x is sock:
# 监听套接字上发生input事件,说明有新的连接
newSock, addr = sock.accept()
print("Connected from: ", addr)
ins.append(newSock)
adrs[newSock] = addr
else:
# 连接套接字上发生 input 事件说明有数据可读,或者是client端断开连接
newData = x.recv(1024)
if newData:
# 有新的数据到来,此时将发给该 client 的响应入队
print("%d bytes from %s" %(len(newData), adrs[x]))
data[x] = data.get(x, "") + newData
if x not in ous:
ous.append(x)
else:
# 连接套接字上发生 input 事件,如果不是有新数据可读,说明是client断开连接
print("Disconnected from: ", adrs[x])
del adrs[x]
try:
ous.remove(x)
except ValueError: pass
x.close()
ins.remove(x)
for x in o: # 处理发生 output 事件的套接字
# 有 output 事件,说明此时可写
tosend = data.get(x)
if tosend:
nsent = x.send(tosend)
print("%d bytes to %s" %(nsent, adrs[x]))
tosend = tosend[nsent:]
if tosend:
print("%d bytes remain for %s" %(len(tosend), adrs[x]))
data[x] = tosend
else:
try:
del data[x]
except KeyError:
pass
ous.remove(x)
print("No data currently remain for:", adrs[x])
finally:
sock.close()
Python网络编程(4)——异步编程select & epoll的更多相关文章
- .NET “底层”异步编程模式——异步编程模型(Asynchronous Programming Model,APM)
本文内容 异步编程类型 异步编程模型(APM) 参考资料 首先澄清,异步编程模式(Asynchronous Programming Patterns)与异步编程模型(Asynchronous Prog ...
- C#并发编程之异步编程2
C#并发编程之异步编程(二) 写在前面 前面一篇文章介绍了异步编程的基本内容,同时也简要说明了async和await的一些用法.本篇文章将对async和await这两个关键字进行深入探讨,研究其中 ...
- 【憩园】C#并发编程之异步编程(一)
写在前面 C#5.0中,对异步编程进行了一次革命性的重构,引入了async和await这两个关键字,使得开发人员在不需要深刻了解异步编程的底层原理,就可以写出十分优美而又代码量极少的代码.如果使用得当 ...
- C#复习笔记(5)--C#5:简化的异步编程(异步编程的基础知识)
异步编程的基础知识 C#5推出的async和await关键字使异步编程从表面上来说变得简单了许多,我们只需要了解不多的知识就可以编写出有效的异步代码. 在介绍async和await之前,先介绍一些基础 ...
- Java网络编程中异步编程的理解
目录 前言 一.异步,同步,阻塞和非阻塞的理解 二.异步编程从用户层面和框架层面不同角度的理解 用户角度的理解 框架角度的理解 三.为什么使用异步 四.理解这些能在实际中的应用 六.困惑 参考文章 前 ...
- 【憩园】C#并发编程之异步编程(三)
写在前面 本篇是异步编程系列的第三篇,本来计划第三篇的内容是介绍异步编程中常用的几个方法,但是前两篇写出来后,身边的朋友总是会有其他问题,所以决定再续写一篇,作为异步编程(一)和异步编程(二)的补 ...
- 【憩园】C#并发编程之异步编程(二)
写在前面 前面一篇文章介绍了异步编程的基本内容,同时也简要说明了async和await的一些用法.本篇文章将对async和await这两个关键字进行深入探讨,研究其中的运行机制,实现编码效率与运行效率 ...
- C#复习笔记(5)--C#5:简化的异步编程(异步编程的深入分析)
首先,阐明一下标题的这个“深入分析”起得很惭愧,但是又不知道该起什么名字,这个系列也主要是做一些复习的笔记,供自己以后查阅,如果能够帮助到别人,那自然是再好不过了. 然后,我想说的是异步方法的状态机真 ...
- Python网络编程之socket编程
什么是Socket? Socket是应用层与TCP/IP协议族通信的中间软件抽象层,它是一组接口.在设计模式中,Socket其实就是一个门面模式,它把复杂的TCP/IP协议族隐藏在Socket接口后面 ...
- python --------------网络(socket)编程
一.网络协议 客户端/服务器架构 1.硬件C/S架构(打印机) 2.软件C/S架构(互联网中处处是C/S架构):B/S架构也是C/S架构的一种,B/S是浏览器/服务器 C/S架构与socket的关系: ...
随机推荐
- Java基础-String 存储机制管理
JVM运行的时候,将内存分为两个部分,一部分是堆,一部分是栈.堆中存放的是创建对象,而栈中存放的则是方法调用过程中的局部变量或引用.在设计JAVA字符串对象内存实现的时候,在堆中又开辟了一块很小的内存 ...
- load and initialize
NSObject是一切OC类的基类,所以我们必须对NSObject所有的方法有一个清楚的认识. + (void)load; 当类或者分类被加入到runtime时,load方法会被调用,也就是说在mai ...
- 10.Android之ProgressDialog进度对话框学习
APP应用中经常会下载某些东西,这里面有涉及到进度对话框,今天来学习下. 首先,布局里放进两个按钮,点击一个显示条形进度条,另一个显示圆形进度条.代码如下: <?xml version=&quo ...
- BZOJ solve 100 纪念
按照xiaoyimi立下的flag是不是该去表白啦--可惜并没有妹子
- STL Iterators
Summary of Chapter 33 STL Iterators from The C++ Programming Language 4th. Ed., Bjarne Stroustrup. - ...
- 安装python爬虫scrapy踩过的那些坑和编程外的思考
这些天应朋友的要求抓取某个论坛帖子的信息,网上搜索了一下开源的爬虫资料,看了许多对于开源爬虫的比较发现开源爬虫scrapy比较好用.但是以前一直用的java和php,对python不熟悉,于是花一天时 ...
- linux 搭建SVN服务器,为多个项目分别建立版本库并单独配置权限
1.安装svn服务 # yum install subversion 2.新建一个目录用于存储SVN所有文件 # mkdir /home/svn 3.在上面创建的文件夹中为项目 p ...
- safeNet
把那4个dll丢到C:\Windows\SysWOW64里去重启IIS,再测试
- mysql 索引 详解
索引是快速搜索的关键.MySQL索引的建立对于MySQL的高效运行是很重要的.下面介绍几种常见的MySQL索引类型. 在数据库表中,对字段建立索引可以大大提高查询速度.假如我们创建了一个 mytabl ...
- ajax局部更新
js //点击启用 $(".status").on("click",function(){ var id = $(this).attr("status ...