select/poll/epoll的区别

I/O多路复用的本质就是用select/poll/epoll,去监听多个socket对象。

参考:Linux IO模式及 select、poll、epoll详解

  1. select是不断轮询去监听的socket,socket个数有限制,一般为1024个(文件描述符为1024,该值可以修改);随着文件描述符数量增加,轮询一回成本增加。
  2. poll采用轮询方式监听,只不过没有个数限制;
  3. epoll不采用轮询方式去监听,而是当socket有变化时通过回调的方式主动告知用户进程;无最大链接数的限制。

水平触发(Level Triggered),select()和poll()将就绪的文件描述符告诉进程后,如果进程没有对其进行IO操作,那么下次调用select()和poll()的时候将再次报告这些文件描述符,所以它们一般不会丢失就绪的消息,这种方式称为。

边缘触发(Edge Triggered),只告诉进程哪些文件描述符刚刚变为就绪状态,它只说一遍,如果我们没有采取行动,那么它将不会再次告知,这种方式称为边缘触发。

select

参考:https://docs.python.org/3/library/select.html#module-select

参考:https://pymotw.com/2/select/#module-select

Python的select()方法直接调用操作系统的IO接口,它监控sockets,open files, and pipes(所有带fileno()方法的文件句柄)何时变成readable 和writeable, 或者通信错误,select()使得同时监控多个连接变的简单,并且这比写一个长循环来等待和监控多客户端连接要高效,因为select直接通过操作系统提供的C的网络接口进行操作,而不是通过Python的解释器。

select使用

  1. 创建两个列表来表示输入输出信息给select: select()方法接收并监控3个通信列表, 第一个是所有的输入的data,就是指外部发过来的数据,第2个是监控和接收所有要发出去的data,第3个监控错误信息;
  2. select()返回3个新的list,分别赋值为readable,writable,exceptional。所有在readable list中的socket连接代表有数据可接收(recv);所有在writable list中的存放着你可以对其进行发送(send)操作的socket连接;当连接通信出现error时会把error写到exceptional列表中。

Readable list 中的socket 3种可能状态

  • 第一种是如果这个socket是main "server" socket,它负责监听客户端的连接,如果这个main server socket出现在readable里,那代表这是server端已经ready来接收一个新的连接进来了,为了让这个main server能同时处理多个连接,在下面的代码里,我们把这个main server的socket设置为非阻塞模式。
  • socket是已经建立了的连接,它把数据发了过来,这个时候你就可以通过recv()来接收它发过来的数据,然后把接收到的数据放到queue里,这样你就可以把接收到的数据再传回给客户端了。
  • 这个客户端已经断开了,所以你再通过recv()接收到的数据就为空了,所以这个时候你就可以把这个跟客户端的连接关闭了。

writable list中的socket

  • 如果这个客户端连接在跟它对应的queue里有数据,就把这个数据取出来再发回给这个客户端;
  • 否则就把这个连接从output list中移除,这样下一次循环select()调用时检测到outputs list中没有这个连接,那就会认为这个连接还处于非活动状态。

server

import socket
import select
import queue HOST = ('localhost',9999)
server = socket.socket()
server.setblocking(False)
server.bind(HOST)
server.listen(3) inputs = [server,]
outputs = []
message_queues = {}
print('inputs:',inputs) while True:
print('waiting for next event')
print('***************inputs:', inputs)
readable, writeable, exeptional = select.select(inputs,outputs,inputs)
# 如果没有任何fd就绪,程序一直会阻塞在这
print('-------------readable:',readable )
for s in readable:
if s is server:
conn,addr = s.accept()
print('server is %',s)
print('new connection from %s' % conn)
conn.setblocking(0)
inputs.append(conn)
message_queues[conn] = queue.Queue()
else:
data = s.recv(1024)
if data:
print('收到来自[%s]的数据:%s' %(s.getpeername()[0],data))
message_queues[s].put(data)
if s not in outputs:
outputs.append(s)
else:
print('客户端断开') if s in outputs:
outputs.remove(s)
inputs.remove(s)
del message_queues[s]
print('++++++++++++=writeabld:',writeable)
for s in writeable:
try:
next_msg = message_queues[s].get_nowait() except queue.Empty:
print("client [%s]" % s.getpeername()[0], "queue is empty..")
outputs.remove(s) else:
print("sending msg to [%s]" % s.getpeername()[0], next_msg)
s.send(next_msg.upper()) for s in exeptional:
print("handling exception for ", s.getpeername())
inputs.remove(s)
if s in outputs:
outputs.remove(s)
s.close() del message_queues[s]

client

import socket
import sys messages = [ b'This is the message. ',
b'It will be sent ',
b'in parts.',
]
server_address = ('localhost', 9999) # Create a TCP/IP socket
socks = [ socket.socket(socket.AF_INET, socket.SOCK_STREAM) for i in range(3)] # Connect the socket to the port where the server is listening
print('connecting to %s port %s' % server_address)
for s in socks:
s.connect(server_address) print('***',socks)
for message in messages: # Send messages on both sockets
for s in socks:
print('%s: sending "%s"' % (s.getsockname(), message) )
s.send(message) # Read responses on both sockets
for s in socks:
data = s.recv(1024)
print( '%s: received "%s"' % (s.getsockname(), data) )
if not data:
print(sys.stderr, 'closing socket', s.getsockname() )

selector

参考:https://docs.python.org/3/library/selectors.html

  这个模块允许高级别和高效的I/O多路复用,建立在select模块之上,相当于epoll。如果不是对精确OS级别的原语控制,推荐使用这个模块。

  selector定义了一个BaseSelector抽象基类,以及一些具体的实现(KqueueSelector, EpollSelector…),可以用于在多个文件对象上等待I/O准备通知。

  DefaultSelector是当前平台上可用的最高效实现的别名:这应该是大多数用户的默认选择。

  支持的文件对象类型取决于平台:在Windows上,支持套接字,但不支持管道,而在Unix上,两者都得到支持(一些其他类型也可以支持,比如fifos或特殊文件设备)。

  事件:一个位掩码,指示在给定的文件对象上应该等待哪些I/O事件。它可以是以下模块常用的组合

EVENT_READ:  Available for read
EVENT_WRITE:Available for write

  class selectors.DefaultSelector                  默认选择器类,使用当前平台上可用的最有效的实现。

实例

import selectors
import socket sel = selectors.DefaultSelector() def accept(sock, mask): # sock相当于key.fileobj
conn, addr = sock.accept() # Should be ready
print('accepted', conn, 'from', addr)
conn.setblocking(False)
sel.register(conn, selectors.EVENT_READ, read) def read(conn, mask):
data = conn.recv(1000) # Should be ready
if data:
print('echoing', repr(data), 'to', conn)
conn.send(data) # Hope it won't block
else:
print('closing', conn)
sel.unregister(conn)
conn.close() sock = socket.socket()
sock.bind(('localhost', 1234))
sock.listen(100)
sock.setblocking(False)
sel.register(sock, selectors.EVENT_READ, accept) while True:
events = sel.select() # 根据系统是否支持,使用epoll还是select,优先epoll。默认阻塞,有活动连接就返回活动的连接列表
for key, mask in events:
callback = key.data # 相当于回调accept
callback(key.fileobj, mask) # key.fileobj相当于建立连接后的conn

python之select与selector的更多相关文章

  1. python的select和epoll

    python的select和epoll 1.select模型: linux中每个套接字都是文件,都有唯一的文件描述符,这些设备的文件描述符被放在一个数组中,然后select调用的时候遍历这个数组,如果 ...

  2. Python之select模块解析

    首先列一下,sellect.poll.epoll三者的区别 select select最早于1983年出现在4.2BSD中,它通过一个select()系统调用来监视多个文件描述符的数组,当select ...

  3. python利用select实现的Socket Server

    # 利用python的select模块实现简单的Socket Sever #实现多用户访问,再次基础上可以实现FTP Server应用程序 # 发布目的,在于解决了客户端强行终止时,服务器端也跟着程序 ...

  4. Python MySQL Select

    章节 Python MySQL 入门 Python MySQL 创建数据库 Python MySQL 创建表 Python MySQL 插入表 Python MySQL Select Python M ...

  5. 第十天 多进程、协程(multiprocessing、greenlet、gevent、gevent.monkey、select、selector)

    1.多进程实现方式(类似于多线程) import multiprocessing import time,threading def thread_run():#定义一个线程函数 print(&quo ...

  6. 基础10 多进程、协程(multiprocessing、greenlet、gevent、gevent.monkey、select、selector)

    1.多进程实现方式(类似于多线程) import multiprocessing import time,threading def thread_run():#定义一个线程函数 print(&quo ...

  7. (五)通过Python的select监控多个描述符实现并发连接

    概述 本文通过使用select改写之前的服务器程序通过监控多个套接字描述符来实现并发连接并加入了一些机制让程序更加健壮,不过我们所有的实验都是建立在单词发送数据不会超过1024字节,如果超过你需要做特 ...

  8. [Spark][Python]DataFrame select 操作例子II

    [Spark][Python]DataFrame中取出有限个记录的   继续 In [4]: peopleDF.select("age","name") In ...

  9. [Spark][Python]DataFrame select 操作例子

    [Spark][Python]DataFrame中取出有限个记录的例子 的 继续 In [4]: peopleDF.select("age")Out[4]: DataFrame[a ...

随机推荐

  1. CQRS1

    CQRS之旅——旅程1(我们的领域:Contoso会议管理系统)   旅程1:我们的领域:Contoso会议管理系统 起点:我们从哪里来,我们带来了什么,谁将与我们同行?“ 只要前进,我愿意去任何地方 ...

  2. 【转帖】Webmin 安装 (centos7 rpm 方式)

    https://www.cnblogs.com/osfipin/p/5948803.html 这两天公众号都在手这个小工具, 今天早上试了下 挺好用的 还看到了启动 samba 的方法. 一会儿 再学 ...

  3. [转帖]iphone11的部分参数 UX

    iPhone 11将于9月11号凌晨发布 靠谱爆料在这 https://www.cnbeta.com/articles/tech/884199.htm iphone的分辨率 非常高.. iphone ...

  4. postgresSQL常用命令

    1.createdb 数据库名称  产生数据库2.dropdb  数据库名称  删除数据库 3.CREATE USER 用户名称  创建用户4.drop User 用户名称  删除用户 5.SELEC ...

  5. LeetCode 第 164 场周赛

    访问所有点的最小时间 不难看出,从点(x1,y1) 到 (x2,y2) 的步数需要 min(dx,dy),其中 dx = abs(x1-x2),dy = abs(y1-y2) class Soluti ...

  6. DISCO Presents Discovery Channel Code Contest 2020 Qual Task E. Majority of Balls

    Not able to solve this problem during the contest (virtual participation). The first observation is ...

  7. 【51nod】2590 持续讨伐

    [51nod]2590 持续讨伐 挣扎着卡了卡常过了 记\(dp[i][j]\)为到第\(i\)位,和第\(i\)位相连的部分长度\(x^{j}\)乘上之前部分所有方案\(x^{K}\)总和 转移用二 ...

  8. php中的访问类型(public,private,protected)

    类型的访问修饰符允许开发人员对类成员的访问进行限制,这是PHP5的新特性.但却是oop语言的一个好的特性.而且大多数的oop语言都已支持此特性.PHP5支持三种访问修饰符: public(公有的,默认 ...

  9. python colormap

    from colormap import rgb2hex import numpy as np from matplotlib import pyplot as plt color_names = [ ...

  10. java读取串口-mfz-rxtx-2.2-20081207-win-x86

    1.下载jar包 RXTXcomm.jar 2.实现代码 package main; import java.awt.*; import java.awt.event.*; import java.i ...