为什么epoll会那么高效
参考(原文简直超赞):https://zhidao.baidu.com/question/687563051895364284.html
下面是我结合原文写的,为了便于自己理解:
关于阻塞和非阻塞的理解可以看这个:http://www.cnblogs.com/xcywt/p/8146123.html
1.举例子说明
假设你在读大学,有个朋友F来找你,你住在A栋。但是不知道具体是哪个房间。于是你们约好在A栋门口见面。
如果用阻塞IO模型来处理这个问题,你就相当于一直在A栋门口等着,这个时候你不能做别的事情,效率比较低,如果F一直不来你就得一直在那等着。
接着来看用非阻塞模型来处理这个问题,主要有两种select/poll(这两个可以看成一种)和epoll:
select大妈做的事情是这样:当朋友F到了楼下时,她带着F一个个房间了轮询的去找你。
epoll大妈就比较高级了:大妈拿本子记录下你的房间号,当朋友F来的时候告诉F你的房间号。这样就不用整栋楼去跑了。
在大并发服务器中,轮询IO是一件比较费时的操作,就跟select大妈一样。
epoll大妈多用了一个本子,就有点用空间去换取时间的意思。
2.select/poll为什么慢:
1)select/poll 是遍历所有添加进fd_set的fd。并且需要将所有用户态的fd拷贝到内核态。数量巨大时这个效率比较慢
2)并且返回之后,还要轮询将所有集合查询一次
3)内核空间的数据需要拷贝到用户空间
3.epoll的实现原理:
具体使用方法可以参考:http://www.cnblogs.com/xcywt/p/8146094.html
先说几个函数的作用
int epoll_create(int size); // 创建一个epoll对象,size是内核保证能够正确处理的最大句柄数。
int epoll_create1(int flags);// 上面的加强版本,参数只能是EPOLL_CLOEXEC
int epoll_ctl(int epfd, int op, int fd, struct epoll_event *event); // 操作epoll对象
int epoll_wait(int epfd, struct epoll_event *events,int maxevents, int timeout);// 在给定时间内,监控的所有句柄中有时间发生就返回
下面我们来看具体做了什么:
epoll在内核初始化的时候向内核注册了一个文件系统,用于存储上述被监控的socket,同时还会开辟出epoll自己的内核高速cache区,用于安置需要监控的fd。这些fd以红黑树的形式保存在内核cache里,以支持快速的查找、插入、删除。这个内核高速cache区,就是建立连续的物理内存页,然后在之上建立slab层,简单的说就是物理上分配好你想要的大小的内存对象,每次使用时都是使用空闲的已分配好的对象。
每次调用epoll_create时,会在这个虚拟的epoll文件系统里创建一个file节点,在内核cache中建立个红黑树来存储通过epoll_ctl添加进来的fd。这些fd其实已经在内核态了,当你再次调用epoll_wait时,不需要再拷贝进内核态(select需要再全部拷贝到内核态)。
同时还会建立一个list链表,用来存储已经就绪的事件。被epoll_wait调用时,就去看这个list链表是不是为空,若不为空就返回,为空就等待指定的事件再返回。
list链表是如何维护的呢:当我们执行epoll_ctl时,会把对应fd放到红黑树中,还会给内核终端处理程序注册一个回调函数。如果这个句柄的中断到了,就把它放在list链表中去。
总结一下:一棵红黑树和一个list链表就解决大并发的问题。epoll_create时创建红黑树和就绪链表,epoll_ctl时添加到红黑树中(若存在则不添加)并向内核注册回调函数。epoll_wait时返回list就绪链表里面的数据就可以了。
4.epoll的两个工作模式:
LT:只要一个句柄上的事件一次没有处理完,接着调用epoll_wait时仍然会返回这个句柄。
ET:尽在空闲状态->就绪状态返回一次。
这件事是怎么做到的呢:当有fd'发生事件时,就放到list就绪链表中去了。然后epoll_wait返回,再然后清空准备list就绪链表。
最后如果是LT模式,并且仍有未处理的事件,就把这个fd重新放回到list就绪链表中。
如果是ET,就不管了,不管有没有事件未处理完都不再添加到list就绪链表中。
就有点像下面的流程:
wait返回 -> 清空list就绪链表
if(LT模式)
{
if(存在未处理完的事件)
{
重新添加进list就绪链表中
}
}
else // ET 模式
{ }
关于触发模式详解,这里面也讲的比较详细:
http://blog.csdn.net/weiyuefei/article/details/52242778
5.ET模式被唤醒的条件:
对于读取操作:
1)buffer由不可读,变为可读的时候。
2)buffer数据变多的时候,有新的数据到来
3)当buffer不为空(有数据可读),且用户对相应fd进行epoll_mod IN 事件时。(待会用代码演示)
对于写操作:
1)由不可写,变成可写
2)buffer是数据变少的时候,也就是被读走了一部分3)buffer有可写空间,且用户对相应fd进行epoll_mod OUT 事件时。
对于LT模式:
读操作:只要缓冲区中有数据,且读完一部分之后还不空的时候,就会返回
写操作:当发送缓冲区没满,写了一下还不满的时候,epoll_wait返回读事件。
补充一个例子1:验证ET模式的读取返回的前2个:
#include<unistd.h>
#include<iostream>
#include<sys/epoll.h>
using namespace std;
int main()
{
int epfd, ret;
struct epoll_event ev, events[];
epfd = epoll_create();
ev.data.fd = STDIN_FILENO;
ev.events = EPOLLIN|EPOLLET; // 标记A,这里是ET模式
//ev.events = EPOLLIN; // 标记B。表示默认是LT模式
char buf[] = {};
epoll_ctl(epfd, EPOLL_CTL_ADD, STDIN_FILENO, &ev); //添加标准输入
while()
{
ret = epoll_wait(epfd, events, , -);
for(int i=; i < ret; i++)
{
if(events[i].data.fd == STDIN_FILENO)
{
//read(STDIN_FILENO, buf, sizeof(buf)); // 标记C
cout << "hello world, recv:" << buf << endl;
}
}
}
return ;
}
分三种情况讨论:
1)打开标记A,注释B和C:这种情况运行,虽然输入缓冲区里面还有数据,但是“hello world”也不会一直打印。
因为边沿触发,一定要等到下一次事件到来 wait才会返回。
2)打开B,注释A和C:切换成了LT模式,只要缓冲区里面还有数据吗,wait会一直返回。所以helloworld会一直打印
3)打开B和C,注释A:LT模式,但是每次wait之后把缓冲区里面的数据读完了,相当于处理完了这个事件。wait就不会返回了。除非标准输入中再输入数据。
例子2:验证ET模式的读取返回的第3个:
#include<unistd.h>
#include<iostream>
#include<sys/epoll.h>
using namespace std;
int main()
{
int epfd, ret;
struct epoll_event ev, events[];
epfd = epoll_create();
ev.data.fd = STDIN_FILENO;
ev.events = EPOLLIN|EPOLLET;
char buf[] = {};
epoll_ctl(epfd, EPOLL_CTL_ADD, STDIN_FILENO, &ev);
while()
{
ret = epoll_wait(epfd, events, , -);
for(int i=; i < ret; i++)
{
if(events[i].data.fd == STDIN_FILENO)
{
cout << "hello world << endl;
ev.data.fd = STDIN_FILENO;
ev.events = EPOLLIN|EPOLLET;
epoll_ctl(epfd, EPOLL_CTL_MOD, STDIN_FILENO, &ev); // 这里对fd进行epoll_mod IN 事件
}
}
}
return ;
}
可以看到当输入一次之后,依然会有死循环打印helloworld。
例子3:验证ET模式的写返回,前2个
#include<unistd.h>
#include<iostream>
#include<sys/epoll.h>
using namespace std;
int main()
{
int epfd, ret;
struct epoll_event ev, events[];
epfd = epoll_create();
ev.data.fd = STDIN_FILENO;
ev.events = EPOLLOUT|EPOLLET;
char buf[] = {};
epoll_ctl(epfd, EPOLL_CTL_ADD, STDIN_FILENO, &ev);
while()
{
ret = epoll_wait(epfd, events, , -);
for(int i=; i < ret; i++)
{
if(events[i].data.fd == STDIN_FILENO)
{
//cout << "hello world" << endl; // 标记A
cout << "hello world"; // 标记B
}
}
}
return ;
}
对于ET模式。
1)打开标记A,注释标记B:可以看到会死循环,因为这里有 endl 。标准输出为控制台的时候缓冲的“行缓冲”,所以换行符号导致buffer中的内容被清空。就相当于上面条件中的第二个,有数据发送走了。所以会一直循环
2)打开B,注释A:不发送endl,就相当于buffer中一直有数据存在,所以wait不会一直返回。
例子4,ET模式的写返回第三个条件。
#include<unistd.h>
#include<iostream>
#include<sys/epoll.h>
using namespace std; int main()
{
int epfd, ret;
struct epoll_event ev, events[];
epfd = epoll_create();
ev.data.fd = STDIN_FILENO;
ev.events = EPOLLOUT|EPOLLET; char buf[] = {};
epoll_ctl(epfd, EPOLL_CTL_ADD, STDIN_FILENO, &ev);
while()
{
ret = epoll_wait(epfd, events, , -);
for(int i=; i < ret; i++)
{
if(events[i].data.fd == STDIN_FILENO)
{
cout << "hello world";
ev.data.fd = STDIN_FILENO;
ev.events = EPOLLOUT;
epoll_ctl(epfd, EPOLL_CTL_MOD, STDIN_FILENO, &ev); // 这里对fd进行epoll_mod OUT 事件
}
}
} return ;
}
每次输出helloworld后重新MOD OUT 事件。也会一直循环打印。
注意:LT模式没有验证
为什么epoll会那么高效的更多相关文章
- linux下epoll如何实现高效处理百万句柄的
linux下epoll如何实现高效处理百万句柄的 分类: linux 技术分享 2012-01-06 10:29 4447人阅读 评论(5) 收藏 举报 linuxsocketcachestructl ...
- 从I/O复用谈epoll为什么高效
上一篇文章中,谈了一些网络编程的基本概念.在现实使用中,用的最多的就是I/O复用了,无非就是select,poll,epoll 很多人提到网络就说epoll,认为epoll效率是最高的.单纯的这么认为 ...
- epoll的内部实现 & 百万级别句柄监听 & lt和et模式非常好的解释
epoll是Linux高效网络的基础,比如event poll(例如nodejs),是使用libev,而libev的底层就是epoll(只不过不同的平台可能用epoll,可能用kqueue). epo ...
- 基本套接字编程(5) -- epoll篇
1. epoll技术 epoll是Linux内核为处理大批量文件描述符而作了改进的poll,是Linux下多路复用IO接口select/poll的增强版本,它能显著提高程序在大量并发连接中只有少量活跃 ...
- epoll的原理和使用方法
设想一个场景:有100万用户同一时候与一个进程保持着TCP连接,而每个时刻仅仅有几十个或几百个TCP连接时活跃的(接收到TCP包),也就是说,在每一时刻,进程值须要处理这100万连接中的一小部分连接. ...
- 什么是epoll
什么是epoll epoll是什么?按照man手册的说法:是为处理大批量句柄而作了改进的poll.当然,这不是2.6内核才有的,它是在2.5.44内核中被引进的(epoll(4) is a new A ...
- epoll详解
转自:http://blog.chinaunix.net/uid-24517549-id-4051156.html 什么是epoll epoll是什么?按照man手册的说法:是为处理大批量句柄而作了改 ...
- [转载] epoll详解
转载自http://blog.csdn.net/xiajun07061225/article/details/9250579 什么是epoll epoll是什么?按照man手册的说法:是为处理大批量句 ...
- [转]epoll详解
什么是epollepoll是什么?按照man手册的说法:是为处理大批量句柄而作了改进的poll.当然,这不是2.6内核才有的,它是在2.5.44内核中被引进的(epoll(4) is a new AP ...
随机推荐
- c语言的作用域、变量与结构体
一.变量的作用域 根据变量的作用域,可以分为: 1.局部变量: 1> 定义:在函数(代码块)内部定义的变量(包括函数的形参) 2> 作用域:局部变量只有在定义它的函数内部使用,其它函数不能 ...
- 杭电ACM题单
杭电acm题目分类版本1 1002 简单的大数 1003 DP经典问题,最大连续子段和 1004 简单题 1005 找规律(循环点) 1006 感觉有点BT的题,我到现在还没过 1007 经典问题,最 ...
- 谈谈form-data请求格式
最近一直都比较忙,坚持月月更新博客的计划不得中止了,今天好不容易抽出点时间来说说最近项目中遇到的一个问题,有关request post请求格式中的multipart/form-data格式. 引言 最 ...
- 集合、增强for、泛型
Collection集合:Collection是层次结构中的根接口,存储的元素为对象,(也就是说只能存储引用数据类型,不能存储基础数据类型),具体可查询API.集合与数组的区别:1.集合只能存放引用数 ...
- ThinkPHP中的Model模型
一 实例化模型对象 ①实例化通用模型 例:$goods_model = new \Model\GoodsModel(); $goods_Model = D('Goods'); ②实例化基例模型 ...
- springmvc中对日期格式化的处理
@DateTimeFormat(pattern="yyyy-MM-dd") 返回的时候java.util.Date pattern="yyyy-MM-dd"必须 ...
- php RAS加密类代码
通过openssl实现的签名.验签.非对称加解密,需要配合x.509证书(如crt和pem)文件使用. <?php /** * RSA算法类 * 签名及密文编码:base64字符串/十六进制字符 ...
- 【luogu1220】关路灯
https://www.luogu.org/problem/show?pid=1220 假如当前老张在a处跑去关掉b处的路灯,那么a与b之间的路灯都可以顺手关掉.因此每一时刻关掉的路灯必定是连续的. ...
- 简陋的斗地主,js实现
最近闲了两天没事做,用js写了个斗地主,练习练习.代码和功能都很简陋,还有bug,咋只是聊聊自己的思路. 这里说说斗地主主要包含的功能:洗牌,发牌,玩家出牌.电脑出牌,出牌规则的验证,输赢啥的没有判断 ...
- 【练习】HTML+CSS
作业要求1 京东首页轮播图,效果如下 <!DOCTYPE html> <html lang="en"> <head> <meta char ...