IO

IO   input   output
在内存中存在数据交换的操作都可以认为是IO操作
和终端交互 : input print
和磁盘交互 : read write
和网络交互 : recv send
  • IO密集型程序:在程序执行过程中存在大量IO操作,而cpu运算操作较少,消耗cpu较少,运行效率较低

  • 计算密集型程序(CUP密集型程序):在程序执行中CPU运算较多,IO操作相对较少,消耗CPU大,运行速度快

  • IO分类

    • 阻塞IO
    • 非阻塞IO
    • IO多路复用

阻塞IO

  • 阻塞IO是IO的默认形态,是效率较低的一种IO情形。
  • 阻塞情况
    • 因为某种条件没有达成造成的阻塞

      • e.g. accept input recv
    • 处理IO数据传输时间较长形成的阻塞
      • e.g. 网络传输过程,文件读写过程

非阻塞IO

  • 通过修改IO事件的属性,使其变为非阻塞状态(让一些条件阻塞函数不再阻塞)

    • 非阻塞IO往往和循环判断一起使用

      s.setblocking(False)

      将套接字设置为非阻塞状态
# 设置非阻塞
from socket import *
from time import sleep,ctime s = socket()
s.bind(('127.0.0.1',9999))
s.listen(3) #将套接字设置为非阻塞
s.setblocking(False) while True:
print("Waiting for connect...")
try:
c,addr = s.accept()
except BlockingIOError:
sleep(2)
print(ctime())
continue
else:
print("Connected from",addr)
while True:
data = c.recv(1024).decode()
if not data:
break
print(data)
c.send(ctime().encode())
c.close()
s.close()
  • 超时检测

    • 将原本阻塞的函数设置一个最长阻塞时间,如果时间内条件达成则正常运行,如果仍然阻塞则视为超时,继续向下运行或产生异常

        s.settimeout(sec)
      设置套接字的超时时间
# 设置超时时间
from socket import *
from time import sleep,ctime s = socket()
s.bind(('127.0.0.1',8888))
s.listen(3) #将套接字设置超时时间
s.settimeout(5) while True:
print("Waiting for connect...")
try:
c,addr = s.accept()
except timeout:
print(ctime())
continue
else:
print("Connect from",addr)
while True:
data = c.recv(1024).decode()
if not data:
break
print(data)
c.send(ctime().encode())
c.close()
s.close()

IO多路复用

  • 定义:同时监控多个IO事件,当哪个IO事件准备就绪就执行哪个IO事件,以此形成可用同时操作多个IO的并发行为,避免一个IO阻塞,造成所有IO都无法执行。

  • IO准备就绪:是一种IO必然要发生的临界状态

  • IO多路复用的编程实现

    1. 将IO设置为关注IO
    2. 将关注IO提交给内核监测
    3. 处理内核给我们反馈的准备就绪的IO
  • 具体方案:

    select --> linux unix windows

    poll --> linux unix

    epoll --> linux unix

select

import select

rs,ws,xs = select(rlist, wlist, xlist[, timeout])

  • 功能:监控IO事件,阻塞等待IO事件发生

  • 参数:

    • rlist..列表..存放我们监控等待处理的IO事件
    • wlist..列表..存放我们要主动操作的IO事件
    • xlist..列表..我们要关注出错处理的IO事件
    • timeout..超时时间
  • 返回值:

    • rs..列表..rlist中准备就绪的IO
    • ws..列表..wlist中准备就绪的IO
    • xs..列表..xlist中准备就绪的IO
  • 注意:

    1. wlist中如果有IO事件则select立即回返回为ws
    2. 在处理IO过程中不要处理一个客户端长期占有服务端使服务端无法运行到select的情况
    3. IO多路复用占用计算机资源少,io效率高
from select import select
from socket import * #创建套接字作为我们关注的IO
s = socket()
s.setsockopt(SOL_SOCKET,SO_REUSEADDR,1)
s.bind(('0.0.0.0',9999))
s.listen(5) rlist = [s]
wlist = []
xlist = [s] while True:
#提交监测我们关注的IO等待IO发生
rs,ws,xs = select(rlist,wlist,xlist)
for r in rs:
if r is s:
c,addr = r.accept()
print("Connect from",addr)
rlist.append(c) #添加到关注列表
else:
data = r.recv(1024)
if not data:
rlist.remove(r)
r.close()
else:
print(data.decode())
# r.send(b'Receive your message')
#将客户端套接字放入wlist列表
wlist.append(r) for w in ws:
w.send(b'Receive your message')
wlist.remove(w) for x in xs:
if x is s:
s.close()

位运算

  • 整数按照二进制位进行运算

    • &:按位与

    • |:按位或

    • ^:按位异或

    • <<:左移

    • >>:右移

      11 1011

      14 1110

      14 & 11 : 1010 一0则0

      14 | 11 : 1111 一1则1

      14 ^ 11 : 0101 相同为0不同为1

      11 << 2 : 101100 右侧补零

      14 >> 2 : 11

poll

  1. 创建poll对象

    p = select.poll()

  2. 添加注册事件

    p.register(s, POLLIN | POLLERR)

     POLLIN   POLLOUT  POLLERR  POLLHUP  POLLNVAL
    rlist wlist xlist 断开 无效数据 p.unregister(s) 从关注事件中移除
  3. 阻塞等待IO发生

    events = p.poll()

    • 功能:阻塞等待IO发生

    • 返回值:events 是一个列表,列表中给每一个元素都是一个元组,代表一个发生的IO事件

        [(fileno, event),(),()....]
      就绪IO的文件描述符, 具体就绪事件
    • 需要通过文件描述符(fileno)找到对应的IO对象

      {s.fileno() : s}

  4. 处理具体的IO

from socket import *
from select import * #创建套接字作为我们关注的IO
s = socket()
s.setsockopt(SOL_SOCKET,SO_REUSEADDR,1)
s.bind(('0.0.0.0',9999))
s.listen(5) #创建poll对象
p = poll() #fileno ---> IO对象的字典
fdmap = {s.fileno():s} #注册关注的IO
p.register(s,POLLIN | POLLERR) while True:
#进行IO监控
events = p.poll()
for fd,event in events:
if fd == s.fileno():
c,addr = fdmap[fd].accept()
print("Connect from",addr)
#添加新的关注事件
p.register(c,POLLIN | POLLHUP)
fdmap[c.fileno()] = c
elif event & POLLIN: # 若是真,POLLIN就绪
data = fdmap[fd].recv(1024)
if not data:
#客户端退出,从关注事件移除
p.unregister(fd)
fdmap[fd].close()
del fdmap[fd]
else:
print(data.decode())
fdmap[fd].send(b'Receive')

epoll

  • 使用方法:基本与poll方法相同

    • 将生产对象 poll() 改为epoll()
    • 将所有poll对象事件改为epoll对象事件
  • 区别 :

    • epoll 的效率要比 poll和select 高
    • epoll 的事件触发方式更多
from socket import *
from select import * #创建套接字作为我们关注的IO
s = socket()
s.setsockopt(SOL_SOCKET,SO_REUSEADDR,1)
s.bind(('0.0.0.0',9999))
s.listen(5) #创建epoll对象
p = epoll() #fileno ---> IO对象的字典
fdmap = {s.fileno():s} #注册关注的IO
p.register(s,EPOLLIN | EPOLLERR) while True:
#进行IO监控
events = p.poll()
for fd,event in events:
if fd == s.fileno():
c,addr = fdmap[fd].accept()
print("Connect from",addr)
#添加新的关注事件
p.register(c,EPOLLIN | EPOLLHUP)
fdmap[c.fileno()] = c
elif event & EPOLLIN:
data = fdmap[fd].recv(1024)
if not data:
#客户端退出,从关注事件移除
p.unregister(fd)
fdmap[fd].close()
del fdmap[fd]
else:
print(data.decode())
fdmap[fd].send(b'Receive')

PythonNET网络编程3的更多相关文章

  1. PythonNET网络编程1

    # PythonNET 网络编程 ISO(国际标准化组织) 制定了 OSI(Open System Interconnectio),意为开放式系统互联.国际标准化组织(ISO)制定了OSI模型,该模型 ...

  2. PythonNET网络编程4

    本地套接字 Linux 文件 b(块设备文件) c(字符设备文件) d(目录) -(普通文件) l(链接) s(套接字) p(管道) 作用:用于本地不同的程序间进行通信 创建流程 创建本地套接字 so ...

  3. PythonNET网络编程2

    UDP应用:广播 广播:一点发送,多点接收 广播地址:一个网段内有一个指定的广播地址,是该网段的最大地址 192.168.2.255 广播风暴:一个网络中有大量的广播就会产生广播风暴占用大量带宽,影响 ...

  4. 猫哥网络编程系列:HTTP PEM 万能调试法

    注:本文内容较长且细节较多,建议先收藏再阅读,原文将在 Github 上维护与更新. 在 HTTP 接口开发与调试过程中,我们经常遇到以下类似的问题: 为什么本地环境接口可以调用成功,但放到手机上就跑 ...

  5. python select网络编程详细介绍

    刚看了反应堆模式的原理,特意复习了socket编程,本文主要介绍python的基本socket使用和select使用,主要用于了解socket通信过程 一.socket模块 socket - Low- ...

  6. Linux Socket 网络编程

    Linux下的网络编程指的是socket套接字编程,入门比较简单.在学校里学过一些皮毛,平时就是自学玩,没有见识过真正的socket编程大程序,比较遗憾.总感觉每次看的时候都有收获,但是每次看完了之后 ...

  7. 猫哥网络编程系列:详解 BAT 面试题

    从产品上线前的接口开发和调试,到上线后的 bug 定位.性能优化,网络编程知识贯穿着一个互联网产品的整个生命周期.不论你是前后端的开发岗位,还是 SQA.运维等其他技术岗位,掌握网络编程知识均是岗位的 ...

  8. 浅谈C#网络编程(一)

    阅读目录: 基础 Socket编程 多线程并发 阻塞式同步IO 基础 在现今软件开发中,网络编程是非常重要的一部分,本文简要介绍下网络编程的概念和实践. Socket是一种网络编程接口,它是对传输层T ...

  9. C++11网络编程

    Handy是一个简洁优雅的C++11网络库,适用于linux与Mac平台.十行代码即可完成一个完整的网络服务器. 下面是echo服务器的代码: #include <handy/handy.h&g ...

随机推荐

  1. c# 引用ConfigurationManager 类

    c#添加了Configuration;后,竟然找不到 ConfigurationManager 这个类,后来才发现:虽然引用了using System.Configuration;这个包,但是还是不行 ...

  2. Aspose.Cells相应操作及下载

    Aspose.Cells相应操作 1,上传 1.1 Workbook Workbook workBook = new Workbook(); 属性: 名称 值类型 说明 Colors Color[] ...

  3. 51nod 子序列的个数 (动规分析方法)

    这道题的分析方法我很需要学习学习. 一开始我想的是f[i][j]表示前i个数子序列长度为j的个数 然后发现新加入一个数的时候会和前面的重复,这个时候不知道该怎么处理这种重复. 其实我再继续往下想就可以 ...

  4. OCP-1Z0-051-题目解析-第26题

    26. Which is the valid CREATE TABLE statement? A. CREATE TABLE  emp9$#  (emp_no NUMBER (4));  B. CRE ...

  5. 20160227.CCPP体系具体解释(0037天)

    程序片段(01):01.一对一模式.c+02.中介者模式.c+03.广播模式.c 内容概要:事件 ///01.一对一模式.c #include <stdio.h> #include < ...

  6. Android 计算Bitmap大小

    今天使用LruCache写demo的时候,要获取Bitmap的大小 于是就用到了 return bitmap.getRowBytes() * bitmap.getHeight();// 获取大小并返回 ...

  7. findFocus-获得拥有焦点的控件

    所有的view控件有一个findFocus方法,这个方法如下 /** * Find the view in the hierarchy rooted at this view that current ...

  8. Android 学习笔记进阶十二之裁截图片

    package xiaosi.cut; import java.io.File; import android.app.Activity; import android.content.Intent; ...

  9. 关于css的入门知识

    css:叠层样式表,给html添加样式的 接下来说一说,在网页中如何嵌套style样式 1.行间样式:把style(*权重1000)作为属性卸载标签里 eg:<p style="col ...

  10. 压状态bfs

    一般地图很小,状态不多,可以装压或者hash,构造压缩或hash的函数,构造还原地图的函数,然后就无脑bfs(感觉就是SPFA) 题目: 1.玩具游戏:二进制压缩状态 #include<cstd ...