一、复习

  1、进程、线程、协程

    进程:是计算机中最小的资源分配单位,数据隔离,可以利用多核,数据不安全

线程:是计算机中最小的CPU调度单位,数据共享,GIL,数据不安全

    协程:是线程的一部分,是由用户来调度,数据共享,数据安全

  2、同步、异步、阻塞、非阻塞

      异步:同时做不止一件事

      同步:事情一件做完接着下一件

      阻塞:recv\recvfrom\accept\sleep\input

      非阻塞:

二、IO多路复用

    IO操作:

      文件处理:文件处理,json.dump/load,input,print,logging

      网络操作:recv/send,resvfrom/sendto,accept/connect

    # recv 为什么要阻塞
      # 等待数据来到我Python程序的内存里

  1.阻塞IO:

      

      

  2.非阻塞IO:

      

      

      代码举例:

      

# import time
import socket
sk = socket.socket()
sk.bind(('127.0.0.1',9000))
sk.setblocking(False)
sk.listen()
conn_lst = []
del_lst = []
while True:
try:
conn,addr = sk.accept() #--> 非阻塞,没有连接来就报错
conn_lst.append(conn)
print(conn)
except BlockingIOError:
for con in conn_lst: # conn1,conn2,conn3
try:
con.send(b'hello')
try:
print(con.recv(1024)) # 非阻塞 没有消息来就报错
except BlockingIOError:pass # recv没有消息的报错
except ConnectionResetError: # send没有连接的报错
con.close()
del_lst.append(con)
for con in del_lst:
conn_lst.remove(con)
del_lst.clear() # 非阻塞的形式实现了并发的socket server
# 非阻塞的形式实现了并发的socket server,太耗cpu
# 没有数据来 的时候 程序的高速处理极大地占用了CPU资源

非阻塞IO-server

import socket

sk = socket.socket()
sk.connect(('127.0.0.1',9000))
while True:
print(sk.recv(1024))
sk.send(b'bye')
sk.close()

非阻塞IOclient

  3.IO多路复用:

      

      

import select
import socket sk = socket.socket()
sk.bind(('127.0.0.1',9000))
sk.setblocking(False)
sk.listen() rlst = [sk] # 监听的是对象的读操作
wlst = [] # 监听的是对象的写操作
xlst = [] # 监听的是对象的异常操作
while True:
rl,wl,xl = select.select(rlst,wlst,xlst) # [sk,conn]
for obj in rl: # [conn1,conn2]
if obj == sk:
conn,addr = sk.accept() # 每次建立连接的时候conn
rlst.append(conn)
else:
msg = obj.recv(1024)
if msg == b'':
obj.close()
rlst.remove(obj)
continue
print(msg)
obj.send(b'hello') # socketserver
# TCP协议的并发操作 selectors + 多线程

多路复用IO-select-sever

import socket

sk = socket.socket()
sk.connect(('127.0.0.1',9000))
while True:
sk.send(b'wahaha')
print(sk.recv(1024))
sk.close() # IO多路复用的select的工作机制
# select windows 轮询
# poll linux 轮询,poll能够监听的对象比select要多
# epoll linux 不是采用轮询的方式,而是采用回调函数的形式

多路复用IO-select-client

# IO多路复用的select的工作机制
# select windows  轮询
# poll   linux    轮询,poll能够监听的对象比select要多
# epoll  linux    不是采用轮询的方式,而是采用回调函数的形式

跨平台或平台自适应IO多路复用:

import selectors
import socket sel = selectors.DefaultSelector() def accept(obj,mask):
"""
回调函数,当selectors实例感知有用户连接服务器时,就会回调该函数。
:param obj:
:param mask:
:return:
"""
conn,addr = obj.accept()
sel.register(conn, selectors.EVENT_READ, read) # 注册用户连接conn到selector监听列表中 def read(conn,mask):
"""
回调函数,当selectors实例感知有用户发送数据时,就会回调该函数。
:param conn:
:param mask:
:return:
"""
try:
data = conn.recv(1024)
if not data: # 为空则抛出异常由下边的异常处理语句处理
raise Exception
conn.send(data+'_sb'.encode('utf-8'))
except Exception as e:
print('closing', conn)
sel.unregister(conn)
conn.close() sk = socket.socket()
sk.setsockopt(socket.SOL_SOCKET, socket.SO_REUSEADDR, 1)
sk.bind(('127.0.0.1', 9000))
sk.listen()
sk.setblocking(False)
sel.register(sk, selectors.EVENT_READ, accept) while 1:
events = sel.select() # [sk,conn1,conn2...] 谁有新的数据就会返回谁
for key, mask in events:
callback = key.data # 回到函数
callback(key.fileobj, mask) # 执行回调函数

selectors-server

import socket
sk = socket.socket()
sk.connect(('127.0.0.1',9000))
while 1:
inp = input('>>>')
sk.send(inp.encode('utf-8'))
print(sk.recv(1024).decode('utf-8'))

selectors-client

  4.异步IO:

      

  5.各种IO对比:

      

python全栈开发day36-IO多路复用的更多相关文章

  1. Python 全栈开发【第0篇】:目录

    Python 全栈开发[第0篇]:目录   第一阶段:Python 开发入门 Python 全栈开发[第一篇]:计算机原理&Linux系统入门 Python 全栈开发[第二篇]:Python基 ...

  2. 自学Python全栈开发第一次笔记

           我已经跟着视频自学好几天Python全栈开发了,今天决定听老师的,开始写blog,听说大神都回来写blog来记录自己的成长. 我特别认真的跟着这个视频来学习,(他们开课前的保证书,我也写 ...

  3. python全栈开发中级班全程笔记(第二模块、第四章)(常用模块导入)

    python全栈开发笔记第二模块 第四章 :常用模块(第二部分)     一.os 模块的 详解 1.os.getcwd()    :得到当前工作目录,即当前python解释器所在目录路径 impor ...

  4. Python全栈开发【面向对象进阶】

    Python全栈开发[面向对象进阶] 本节内容: isinstance(obj,cls)和issubclass(sub,super) 反射 __setattr__,__delattr__,__geta ...

  5. Python全栈开发【面向对象】

    Python全栈开发[面向对象] 本节内容: 三大编程范式 面向对象设计与面向对象编程 类和对象 静态属性.类方法.静态方法 类组合 继承 多态 封装 三大编程范式 三大编程范式: 1.面向过程编程 ...

  6. Python全栈开发【模块】

    Python全栈开发[模块] 本节内容: 模块介绍 time random os sys json & picle shelve XML hashlib ConfigParser loggin ...

  7. Python全栈开发【基础四】

    Python全栈开发[基础四] 本节内容: 匿名函数(lambda) 函数式编程(map,filter,reduce) 文件处理 迭代器 三元表达式 列表解析与生成器表达式 生成器 匿名函数 lamb ...

  8. Python全栈开发【基础三】

    Python全栈开发[基础三]  本节内容: 函数(全局与局部变量) 递归 内置函数 函数 一.定义和使用 函数最重要的是减少代码的重用性和增强代码可读性 def 函数名(参数): ... 函数体 . ...

  9. Python全栈开发【基础二】

    Python全栈开发[基础二] 本节内容: Python 运算符(算术运算.比较运算.赋值运算.逻辑运算.成员运算) 基本数据类型(数字.布尔值.字符串.列表.元组.字典) 其他(编码,range,f ...

  10. Python全栈开发【基础一】

    Python全栈开发[第一篇] 本节内容: Python 的种类 Python 的环境 Python 入门(解释器.编码.变量.input输入.if流程控制与缩进.while循环) if流程控制与wh ...

随机推荐

  1. Docker 入门 第四部分: Swarms

    目录 Docker 入门 第四部分: Swarms 先决条件 介绍 理解Swarm集群 部署swarm 创建一个集群 在swarm集群上部署你的app应用 为 swarm管理器配置一个docker-m ...

  2. Storm Topology 提交 总结---Kettle On Storm 实现

    一,目的 在学习的过程中,需要用到 PDI---一个开源的ETL软件.主要是用它来设计一些转换流程来处理数据.但是,在PDI中设计好的 transformation 是在本地的执行引擎中执行的,(参考 ...

  3. TestNg失败重试机制

    TestNg提供了失败重试接口IRetryAnalyzer,需要实现retry方法: package com.shunhe.testngprac.retry; import org.testng.IR ...

  4. VS2012 安装番茄插件

    1.visual assist x 1929_大番茄.rar 下载地址: http://pan.baidu.com/s/1qXOUuJE 网盘提取密码: 3mka 文件解压密码: eg5p 2.安装完 ...

  5. Spring+SpringMVC+Mybatis整合(二)

    目录结构:

  6. PLSQL_day01

    declare begin  dbms_output.put_line('Hello world') end;

  7. 深层揭密extern "C"

    一. extern "C" 包含双重含义,从字面上即可得到:首先,被它修饰的目标是“extern”的:其次,被它修饰的目标是“C”的.让我们来详细解读这两重含义. (1) 被ext ...

  8. python 历险记(四)— python 中常用的 json 操作

    目录 引言 基础知识 什么是 JSON? JSON 的语法 JSON 对象有哪些特点? JSON 数组有哪些特点? 什么是编码和解码? 常用的 json 操作有哪些? json 操作需要什么库? 如何 ...

  9. python标准库之secrets

    secrets secrets是python3.6加入到标准库的,使用secrets模块,可以生成适用于处理机密信息(如密码,帐户身份验证,安全令牌)的加密强随机数. 导入 import secret ...

  10. 高级 Java 面试通关知识点整理!

    1.常用设计模式 单例模式:懒汉式.饿汉式.双重校验锁.静态加载,内部类加载.枚举类加载.保证一个类仅有一个实例,并提供一个访问它的全局访问点. 代理模式:动态代理和静态代理,什么时候使用动态代理. ...