通过一个小案例深入理解IO多路复用 假如我们现在有这样一个普通的需求,写一个简单的爬虫来爬取校花网的主页 import requests import time start = time.time() url = 'http://www.xiaohuar.com/' result = requests.get(url).text print(result) print(time.time()-start) 这样子是显然没啥问题的,总共耗时约为6秒 但是有没有办法更进一步优化呢,这里如果需要优化我…

在讲解IO多路复用之前,我们需要预习一下文件以及文件描述符. 什么是文件 程序员使用I/O最终都逃不过文件. 因为这篇同属于高性能.高并发系列,讲到高性能.高并发就离不开Linux/Unix,因此这里就来讨论一下Linux世界中的文件. 实际上对于程序员来说文件是一个很简单的概念,我们只需要将其理解为一个N byte的序列就可以了: b1, b2, b3, b4, --. bN 实际上所有的I/O设备都被抽象为了文件这个概念,一切皆文件,Everything isFile,磁盘.网络数据.终端,…

epoll 是 Linux 内核为处理大批量文件描述符而作了改进的 poll,是 Linux 下多路复用 IO接口 select/poll 的增强版本 在 linux 的网络编程中,很长时间都在使用 select 来做事件触发.在 2.6 内核中,有一种替换它的机制,就是 epoll. select 与 epoll 区别概述 .函数使用上:epoll 使用一组函数来完成任务,而不是单个函数 .效率:select 使用轮询来处理,随着监听 fd 数目的增加而降低效率.而 epoll 把用户关心的文…

目录 第一个解决方案(多线程) 第二个解决方案(select) 第三个解决方案(poll) 最终解决方案(epoll) 客栈遇到的问题 从开始学习编程后,我就想开一个 Hello World 餐厅,由于一开始资金不足,所以只能开一个古老的小客栈. 客栈运营了几天,我发现我们的客栈存在着一个问题 我们的厨师只负责炒菜,炒好了放在一边继续炒其他菜,所以店小二必须经常进出厨房,一方面看看菜到底炒好了没有,如果炒好的话,就要把菜端出来,另一方面他必须得站在外面等候客人的其他需求.并且重要的是只有一个小二…

一.什么是socket?什么是I/O操作? 我们都知道unix(like)世界里,一切皆文件,而文件是什么呢?文件就是一串二进制流而已,不管socket,还是FIFO.管道.终端,对我们来说,一切都是文件,一切都是流.在信息 交换的过程中,我们都是对这些流进行数据的收发操作,简称为I/O操作(input and output),往流中读出数据,系统调用read,写入数据,系统调用write.不过话说回来了 ,计算机里有这么多的流,我怎么知道要操作哪个流呢?对,就是文件描述符,即通常所说的fd,一…

在<轻松搞懂5种IO模型>中,我发起了一个投票. 答案是[同步IO多路复用].目前,60%的朋友答对了.原因这里解释一下. 同步和异步的概念区别 同步:线程自己去获取结果.(一个线程) 异步:线程自己不去获取结果,而由其他线程送结果.(至少两个线程) 异步执行如下图所示,除非不需要知道结果,否则一般会有一个回调方法. IO多路复用的本质 为了彻底理解IO多路复用是同步还是异步,咱们探究一下IO多路复用的本质. I/O多路复用,复用的IO监听等待这条路.实际上就是用select/poll/epo…

在看这三个东西之前,先从宏观的角度去看一下,他们的上一个范畴(阻塞IO和非阻塞IO和IO多路复用) 阻塞IO:套接口阻塞(connect的过程是阻塞的).套接口都是阻塞的. 应用程序进程-----recvfrom-----系统内核,这个过程是阻塞的,进程调用recvfrom后发现没有数据可用,就杵在原地等着了.数据从网络返回,再到内核缓冲区,再到进程缓冲区.这时,recvfrom发现数据来了,开始上班了.比较有惰性,你不给我资源我不做事情,就在这干等 非阻塞IO:套接口非阻塞(connect的过…

最近看了<后台开发核心技术与应用实践>有关select.poll和epoll部分以及相关的一些博客,学习了这三个函数的使用方法和区别,写一个易理解的总结. IO多路复用 之前程序中使用的IO函数都是同步的,无论阻塞式还是非阻塞式,在数据从内核拷贝到用户空间过程,用户线程都是被阻塞的.非阻塞IO只是当内核还没准备好数据时立即返回不等待,需要用户自己去不断检查内核数据是否准备好,依然不高效.IO多路复用提出了新的思路,将IO过程分为等待内核数据准备好和读取/写入内核两部分.一个IO函数监控多个IO…

三种并行的应用程序: 1. 基于进程的并发编程: 2. 基于IO多路复用的并发: 3. 基于线程的并发编程: 12.1 基于进程的并发编程 进程的优劣: (1)进程间共享文件表,但不共享用户地址空间,拥有独立的地址空间,这样一个进程不会不小心将另一个进程的虚拟 存储器给覆盖了. (2)独立的地址空间使得进程间通信很困难,很难共享信息,需要IPC(进程间通信机制),这样开销很大. 进程间通信机制: (1)waitpid函数  (2)unix信号  (3)套接字  (4)管道  (5)FIFO  (…

1:IO的过程 当我们调用系统函数read时,一般会经历两个阶段: 1:等待数据准备(waiting for the data be ready) 2:将数组从内核拷贝到进程(从内核态到用户态)(copying the data from the kernel to the process) 在"等待数据准备"这个状态,我们最常见到的就是网路请求,即内核等待网络中的数据到网口的缓冲区.在数据到网口的缓冲区后,才会发生第二阶段,将数据从内核态拷贝到用户进程(用户态). 所以我么常说各种I…