python3.x Day6 IO多路复用

IO多路复用
import asyncio 这个是异步IO模块 这个还不知道怎么用
 
select poll epoll 都是IO多路复用
 
windows 仅支持select
 
linux2.6以后 支持epoll  epoll是相当厉害的
 
详细的描述参考：http://www.cnblogs.com/alex3714/articles/5876749.html
 
select、poll、epoll区别：http://www.cnblogs.com/alex3714/p/4372426.html
 
先来写一个用select方式的socket模型

import select #引入select模块，这是利用操作系统的select处理方式，windows、linux、unix都支持
import socket
import sys
import queue
 
server = socket.socket()
server.setblocking(0)
 
server_addr = ('0.0.0.0',9999)
 
print('starting up on %s port %s' % server_addr)
server.bind(server_addr)
 
server.listen(5)
 
inputs = [server, ] #自己也要监测呀,因为server本身也是个fd
outputs = []
 
message_queues = {}
 
while True:
    print("waiting for next event...")
 
    readable, writeable, exeptional = select.select(inputs,outputs,inputs) #如果没有任何fd就绪,那程序就会一直阻塞在这里
 
    for s in readable: #每个s就是一个socket
 
        if s is server: #别忘记,上面我们server自己也当做一个fd放在了inputs列表里,传给了select,如果这个s是server,代表server这个fd就绪了,
            #就是有活动了, 什么情况下它才有活动? 当然 是有新连接进来的时候 呀
            #新连接进来了,接受这个连接
            conn, client_addr = s.accept()
            print("new connection from",client_addr)
            conn.setblocking(0)
            inputs.append(conn) #为了不阻塞整个程序,我们不会立刻在这里开始接收客户端发来的数据, 把它放到inputs里, 下一次loop时,这个新连接
            #就会被交给select去监听,如果这个连接的客户端发来了数据 ,那这个连接的fd在server端就会变成就续的,select就会把这个连接返回,返回到
            #readable 列表里,然后你就可以loop readable列表,取出这个连接,开始接收数据了, 下面就是这么干 的
 
            message_queues[conn] = queue.Queue() #接收到客户端的数据后,不立刻返回 ,暂存在队列里,以后发送
 
        else: #s不是server的话,那就只能是一个 与客户端建立的连接的fd了
            #客户端的数据过来了,在这接收
            try:
                data = s.recv(1024)
            except ConnectionResetError as e:
                data=None
                print(e)
                print("客户端断开了", s)
                if s in outputs:
                    outputs.remove(s)  # 清理已断开的连接
                inputs.remove(s)  # 清理已断开的连接
                del message_queues[s]  ##清理已断开的连接
            if data:
                print("收到来自[%s]的数据:" % s.getpeername()[0], data)
                message_queues[s].put(data) #收到的数据先放到queue里,一会返回给客户端
                if s not  in outputs:
                    outputs.append(s) #为了不影响处理与其它客户端的连接 , 这里不立刻返回数据给客户端
 
            else:#如果收不到data代表什么呢? 代表客户端断开了呀
                print("客户端断开了",s)
 
                if s in outputs:
                    outputs.remove(s) #清理已断开的连接
                if s in inputs:
                    inputs.remove(s) #清理已断开的连接
                if s in message_queues.keys():
                    del message_queues[s] ##清理已断开的连接
 
    for s in writeable:
        try :
            next_msg = message_queues[s].get_nowait()
 
        except queue.Empty:
            print("client [%s]" %s.getpeername()[0], "queue is empty..")
            outputs.remove(s)
 
        else:
            print("sending msg to [%s]"%s.getpeername()[0], next_msg)
            s.send(next_msg.upper())
 
    for s in exeptional:
        print("handling exception for ",s.getpeername())
        inputs.remove(s)
        if s in outputs:
            outputs.remove(s)
        s.close()
 
        del message_queues[s]

再来一个升级版本的，selectors模块，它底层是看操作系统的，默认是epoll，但是如果不支持，比如windows，linux kernel < 2.6，就用select模式

import selectors,socket #selectors 超牛的IO多路复用的模块，支持select poll epoll ，优先epoll
 
sel=selectors.DefaultSelector()
 
def accpect(sock,mask):  #创建业务连接的方法
    conn,addr=sock.accept()
    print("accept:",conn,"from:",addr)
    conn.setblocking(False)
    sel.register(fileobj=conn,events=selectors.EVENT_READ,data=read)
 
def read(conn,mask):    #连接以后 执行业务的方法
    data=conn.recv(1024)
    if data:
        print("recv data:",data,"conn:",conn)
        # print(conn.getsockname())
        conn.send(data)
    else:
        print("close:",conn)
        sel.unregister(fileobj=conn)
        conn.close()
 
server=socket.socket()
server.bind(("0.0.0.0",9999))
server.listen(10000)
server.setblocking(False)
 
sel.register(fileobj=server,events=selectors.EVENT_READ,data=accpect) #只需要注册需要并发使用IO的应用，明确对应的回调data内容就行了
 
while True:
    events=sel.select()
    print("已经注册sel数量：")
    for key,mask in events:
        callback=key.data #获取注册时的sel.register()方法参数中的data对应的内容，之前放进去的有accpect和read函数
        callback(key.fileobj,mask)

这里注意，有个非常非常尴尬的问题情景：

需求：

1、基于socket

2、要多进程处理业务（多线程由于GIL锁，多核也无法真正同时刻处理，所以用多进程）

3、进程内必须是selectors处理连接

此时，就非常尴尬了，原因是多进程multiprocessing模块，IO多路复用selectors模块，他俩有矛盾：

矛盾就是：

multiprocessing就是认为socket是阻塞的，

selectors要求socket必须是非阻塞的，不然没办法监听活动。

那么socket怎么办呢，这个问题，在windows还好，因为select方式还是慢，显不出来，linux epoll超快的，直接就严重影响业务了

我是这么解决这个矛盾的

需要多次接收或发送 或者 循环发送循环接收的业务情景，selectors监听到后，步骤：

1、从selectors实例中注销掉这个业务连接，

2、设定这个业务连接为阻塞，

3、开始进行上述情景业务，

4、再设定为非阻塞，

5、重新注册回selectors