非阻塞:指在不能立刻得到结果之前,该函数不会阻塞当前线程,而会立刻返回。epoll工作在非阻塞模式时,才会发挥作用。

我们了解了socket之后已经知道,普通套接字实现的服务端的缺陷:一次只能服务一个客户端!

并且,为了使一个客户端能够不断收发消息,我们还要使用while循环来轮询,这极大地降低了我们的效率

accept阻塞!

在没有新的套接字来之前,不能处理已经建立连接的套接字的请求

recv 阻塞!

在没有接受到客户端请求数据之前,不能与其他客户端建立连接

可以用非阻塞接口来尝试解决这个问题!

阻塞IO模型

阻塞IO(blocking IO)的特点:就是在IO执行的两个阶段(等待数据和拷贝数据两个阶段)都被block了。

什么是阻塞呢?想象这种情形:你要去车站接朋友,到了车站之后发现车还没到站,你现在有两种选择:

  1. 继续在等着,直到朋友的车到站。
  2. 先去干点别的,然后时不时地联系你的朋友询问车是否到站,朋友说到了,你再去车站

很明显,大多数人都会选择第二种方案。

而在计算机世界,这两种情形就对应阻塞和非阻塞忙轮询。

  • 非阻塞轮询:数据没来,进程就不停的去检测数据,直到数据来。
  • 阻塞:数据没来,啥都不做,直到数据来了,才进行下一步的处理。

非阻塞IO模型

非阻塞套接字和阻塞套接字的区别:

把套接字设置为非阻塞之后,如果没有得到想要的数据,就会抛出一个BlockingIOError的异常。我们可以通过捕获处理这个异常,让程序正常完成

非阻塞式IO中,用户进程其实是需要不断的主动询问kernel数据准备好了没有

非阻塞如何利用

  • 吃满 CPU !
  • 宁可用 while True ,也不要阻塞发呆!
  • 只要资源没到,就先做别的事!

编程范式:

服务端

import socket

CONN_ADDR = ('127.0.0.1', 9999)
conn_list = [] # 连接列表
server = socket.socket() # 开启socket
server.setblocking(False) # 设置为非阻塞
server.bind(CONN_ADDR) # 绑定IP和端口到套接字
server.listen(5) # 监听,5表示最大挂起数
print('start listen')
while True:
try:
conn,addr = server.accept() #等待客户端连接,没有就抛出BlockingIOError
conn.setblocking(False)
print('{}已连接'.format(addr))
conn_list.append(conn)
except BlockingIOError:
pass
conn_list = [x for x in conn_list]
for conn_socket in conn_list:#对已连接的套接字进行轮询
try:
data = conn_socket.recv(1024) #如有客户端发送消息,则打印并返回
except BlockingIOError:
pass
else: #else在不报错的时候才执行
if data: #判断客户端发过来的是不是空
print(data.decode())
conn_socket.send(data)
else: #若为空,表示客户端已断开
conn_socket.close()
conn_list.remove(conn_socket)
print('客户端数目:{}'.format(len(conn_list)))

客户端

import socket
client = socket.socket()
client.connect(('127.0.0.1',9999))
while True:
data = input('>>>>>')
if data == 'q': #按q退出
break
client.send(data.encode()) response = client.recv(1024) print(response.decode())

非阻塞IO模型优点:实现了同时服务多个客户端,能够在等待任务完成的时间里干其他活了(包括提交其他任务,也就是 “后台” 可以有多个任务在“”同时“”执行)。

 但是非阻塞IO模型绝不被推荐

非阻塞IO模型缺点:

  • 不停地轮询,占用较多的CPU资源。
  • 对应BlockingIOError的异常处理也是无效的CPU花费 !

如何解决:多路复用IO

多路复用IO

什么是IO多路复用技术呢,简单来说,就是我们把套接字交给操作系统去监控。

使用select函数进行IO请求和同步阻塞模型没有太大的区别,甚至还多了添加监视socket,以及调用select函数的额外操作,感觉效率更差。

但是,使用select以后最大的优势是用户可以在一个线程内同时处理多个socket的IO请求。用户可以注册多个socket,然后不断地调用select读取被激活的socket,

即可达到在同一个线程内同时处理多个IO请求的目的。而在同步阻塞模型中,必须通过多线程的方式才能达到这个目的。

epoll是目前Linux上效率最高的IO多路复用技术。

epoll是惰性的事件回调,惰性事件回调是由用户进程自己调用的,操作系统只起到通知的作用。

epoll实现并发服务器,处理多个客户端

 

import socket
import selectors # 注册一个epllo事件参数
# 1. 需要操作系统监控的套接字
# 2.事件(可读还是可写)
# 3.回调函数 def recv_data(conn):
data = conn.recv(1024) if data:
print('接收的数据是:%s' % data.decode())
conn.send(data)
else:
print('断开连接',conn)
e_poll.unregister(conn)
conn.close() def accept_conn(p_server):
conn, addr = p_server.accept()
print('Connected by', addr)
# 也要注册一个事件
e_poll.register(conn,selectors.EVENT_READ,recv_data) CONN_ADDR = ('127.0.0.1', 9999)
server = socket.socket()
server.bind(CONN_ADDR)
server.listen(6) # 生成一个epllo选择器实例 I/O多路复用,监控多个socket连接
e_poll = selectors.DefaultSelector() # Linux是epoll,Windows是select
e_poll.register(server, selectors.EVENT_READ, accept_conn) # 事件循环
while True:
# 事件循环不断地调用select获取发生变化的socket
events = e_poll.select()
for key, mask in events:
call_back = key.data #key.data就是回调函数
call_back(key.fileobj) #key.fileobj是套接字

非阻塞套接字与IO多路复用(转,python实现版)的更多相关文章

  1. 非阻塞套接字与IO多路复用

    我们了解了socket之后已经知道,普通套接字实现的服务端的缺陷:一次只能服务一个客户端! 并且,为了使一个客户端能够不断收发消息,我们还要使用while循环来轮询,这极大地降低了我们的效率 acce ...

  2. 11 非阻塞套接字与IO多路复用(进阶)

    1.非阻塞套接字 第一部分 基本IO模型 1.普通套接字实现的服务端的缺陷 一次只能服务一个客户端! 2.普通套接字实现的服务端的瓶颈!!! accept阻塞! 在没有新的套接字来之前,不能处理已经建 ...

  3. 非阻塞套接字编程, IO多路复用(epoll)

    非阻塞套接字编程: server端 import socket server = socket.socket() server.setblocking(False) server.bind(('', ...

  4. python_非阻塞套接字及I/O流

    http://www.cnblogs.com/lixy-88428977/p/9638949.html 首先,我们要明确2个问题: 普通套接字实现的服务端有什么缺陷吗? 有,一次只能服务一个客户端! ...

  5. C++ 非阻塞套接字的使用 (3)

    异步非阻塞套接字避免了死循环的接收问题,但是软件用起来体验还是很差.究其原因,软件在指令的发送.接收上, 采取了一种不合理的方式:在指令的发送后,立刻调用接收函数,等待回令. 若是采用同步阻塞套接字, ...

  6. C++ 非阻塞套接字的使用 (1)

    在维护代码的过程中,发现软件运行的CPU占用率居高不下,在4核的电脑上占用了25%的CPU.查阅资料的得知,这是可能是由于软件中出现了死循环. 经过对软件的一些测试,最终确定了死循环出现的位置——通讯 ...

  7. C++ 非阻塞套接字的使用 (2)

    继续话题——软件中的异步非阻塞通讯方式. 由于软件基于MFC开发,所以实现异步通讯时使用了CAsyncSocket类. 首先要了解CAsyncSocket异步机制,引用自 http://blog.cs ...

  8. 五种I/O 模式——阻塞(默认IO模式),非阻塞(常用语管道),I/O多路复用(IO多路复用的应用场景),信号I/O,异步I/O

    五种I/O 模式——阻塞(默认IO模式),非阻塞(常用语管道),I/O多路复用(IO多路复用的应用场景),信号I/O,异步I/O 五种I/O 模式:[1]        阻塞 I/O          ...

  9. 阻塞I/O、非阻塞I/O和I/O多路复用、怎样理解阻塞非阻塞与同步异步的区别?

    “阻塞”与"非阻塞"与"同步"与“异步"不能简单的从字面理解,提供一个从分布式系统角度的回答.1.同步与异步 同步和异步关注的是消息通信机制 (syn ...

随机推荐

  1. HTML5 游戏引擎的选择

    原生手游市场已是红海,腾讯.网易等寡头独霸天下,H5游戏市场或将成为下一个风口.据笔者所知,很多H5游戏开发团队由于选择引擎不慎导致项目甚至团队夭折.如何选择适合团队和项目的引擎,笔者通过学习和项目实 ...

  2. Ckeditor IE下粘贴word中图片问题

    自动导入Word图片,或者粘贴Word内容时自动上传所有的图片,并且最终保留Word样式,这应该是Web编辑器里面最基本的一个需求功能了.一般情况下我们将Word内容粘贴到Web编辑器(富文本编辑器) ...

  3. maven构建docker镜像异常

    由于没有配置ip+2375端口,导致每次跑的时候,都是连接本地的,一直会报错 [ERROR] Failed to execute goal com.spotify:docker-maven-plugi ...

  4. 170821-关于SpringMVC的知识点

    1.SpringMVC 概述以及优势 SpringMVC和Spring的关系:  软件开发的三层架构: web层[表示层.表现层]---->Service层---->Dao[DataBas ...

  5. 如何实现全屏遮罩(附Vue.extend和el-message源码学习)

    [Vue]如何实现全屏遮罩(附Vue.extend和el-message源码学习) 在做个人项目的时候需要做一个类似于电子相册浏览的控件,实现过程中首先要实现全局遮罩,结合自己的思路并阅读了(饿了么) ...

  6. 132、TensorFlow加载模型

    # The tf.train.Saver对象不仅保存变量到checkpoint文件 # 它也恢复变量,当你恢复变量的时候,你就不必须要提前初始化他们 # 列如如下的代码片段解释了如何去调用tf.tra ...

  7. WCF权限认证多种方式

    WCF身份验证一般常见的方式有:自定义用户名及密码验证.X509证书验证.ASP.NET成员资格(membership)验证.SOAP Header验证.Windows集成验证.WCF身份验证服务(A ...

  8. reuseaddr和点对点聊天

    解决绑定失败 在测试时,经常会出现绑定错误,bind error: Address already in use 这里只要指定一下socket的reuseaddr属性即可解决 int on=1; if ...

  9. 关于在eclipse中配置tomcat的各种坑

    先说在windows下的,java环境什么的就不再记录了,记住装java ee之前,先要装好java se这样java ee才能顺利安装. 主要是安装好tomcat之后,在eclipse中进行配置的时 ...

  10. maven添加oracle和sqlserver报错

    Failure to find com.oracle:ojdbc6:jar:12.1.0.1-atlassian-hosted in 'xxx' Missing artifact com.micros ...