Linux下select&poll&epoll的实现原理(一)【转】
转自:http://www.cnblogs.com/lanyuliuyun/p/5011526.html
最近简单看了一把 linux-3.10.25 kernel中select/poll/epoll这个几个IO事件检测API的实现。此处做一些记录。
其基本的原理是相同的,流程如下
- 先依次调用fd对应的struct file.f_op->poll()方法(如果有提供实现的话),尝试检查每个提供待检测IO的fd是否已经有IO事件就绪
- 如果已经有IO事件就绪,则直接所收集到的IO事件返回,本次调用结束
- 如果暂时没有IO事件就绪,则根据所给定的超时参数,选择性地进入等待
- 如果超时参数指示不等待,则本次调用结束,无IO事件返回
- 如果超时参数指示等待(等待一段时间或持续等待),则将当前select/poll/epoll的调用任务挂起
- 当所检测的fd任何一个有新的IO事件发生时,会将上述的处于等待的任务唤醒。任务被唤醒之后,重新执行1中的IO事件收集过程,将此时收集到的IO事件返回,本次的调用过程结束。
可以看出流程并不复杂,本文按照上述流程,先对select/poll的实现做进一步分析,epoll的实现要复杂一些,另外做叙述。
上述比较关键的地方是
1. 起初在无IO事件时,调用任务在被挂起之后,fd上有IO事件发生时,如何将挂起的任务唤醒?
接下来一poll()的实现过程,介绍这一过程的实现原理。
要实现唤醒过程,比较关键的步骤为
- 在上述初次调用 struct file.f_op->poll() 时,除了fd对应的 struct file 指针之外,还需要传入一个 poll_table 类型的指针。 该 poll_table 具体是在 poll() 的实现过程中定义提供的。
- 在各个fd的struct file.f_op->poll()方法中,需要对应调用一下poll_wait()
其中关键
struct file.f_op->poll() 方法的作用是既是直接查询fd上的IO事件
而 poll_wait() 既是实现根据需要将 poll() 的调用任务,选择性的添加到fd的IO事件等待队列中。
注意此处是“选择性的添加”,为何如此说,得看 poll_wait() 的实现,其是一个inline函数,如下
static inline void poll_wait(struct file * filp, wait_queue_head_t * wait_address, poll_table *p)
{
if (p && p->_qproc && wait_address)
p->_qproc(filp, wait_address, p);
}
定义在 include/linux/poll.h 中。
可以看出,当调用 struct file.f_op->poll() 时,poll_table 的 _qproc 成员有定义时,poll_wait() 的调用才有实际的效果。
而前面已经说了, “poll_table 具体是在 poll() 的实现过程中定义提供的”,具体是 poll_initwait(&table) 调用对 poll_table 进行初始化的。
再进一步看一下 poll_initwait() 实现,如下
1 void poll_initwait(struct poll_wqueues *pwq)
2 {
3 init_poll_funcptr(&pwq->pt, __pollwait);
4 pwq->polling_task = current;
5 pwq->triggered = 0;
6 pwq->error = 0;
7 pwq->table = NULL;
8 pwq->inline_index = 0;
9 }
其中
1 static inline void init_poll_funcptr(poll_table *pt, poll_queue_proc qproc)
2 {
3 pt->_qproc = qproc;
4 pt->_key = ~0UL; /* all events enabled */
5 }
也就是说初次遍历 poll 给定的诸fd,直至初始收集到IO事件,都会对 __pollwait() 调用一把。
实际上也正是在
__pollwait() 中实现将 poll() 的调用任务添加到 fd
的等待队列中,并且指定了唤醒执行过程中的回调;并且初次对所有的fd调用过 struct file.f_op->poll() 之后,会将
poll_table._qproc 只为NULL,故而后续重新,调用 struct file.f_op->poll()
时不会重复的将调用线程添加到fd的等待队列两种。在 poll() 的实现中,该回调函数是 pollwake(),具体有 pollwake()
调用 kernel 的唤醒API(default_wake_function())将 poll() 的调用任务唤醒。
(由于之前具体是在 poll() 的实现中进行挂起的,所以自然唤醒过程也应该放在 poll() 的实现中了)
上面这些内容是介绍了 poll() 这一侧为等待唤醒,所做的准备工作。接下来看看,当fd上有IO时间就绪时,是如何将那些对自身等待的任务唤醒的。
此处以 eventfd 的实现为例,其实现较为简单,方便叙述。
先简单说一下 eventfd 的特性,其内部维持了一个64位的计数器。当该计数器大于0时,fd上有可读事件;当该计数器值小于 ULLONG_MAX 时,有可写实现
看其实现代码知道,其具体对该计数值更新过程发生在 eventfd_ctx_read() / eventfd_write() 中。
eventfd_ctx_read()操作之后,该内部计数器值减小,结尾如下代码中片段会对的内部 wait_queue 中记录的等待任务进行唤醒操作。
1 if (likely(res == 0)) {
2 eventfd_ctx_do_read(ctx, cnt);
3 if (waitqueue_active(&ctx->wqh))
4 wake_up_locked_poll(&ctx->wqh, POLLOUT);
5 }
而在 eventfd_write() 操作完毕后,内部计数器值增大,结尾如下代码片段会对对的内部 wait_queue 中记录的等待任务进行唤醒操作。
1 if (likely(res > 0)) {
2 ctx->count += ucnt;
3 if (waitqueue_active(&ctx->wqh))
4 wake_up_locked_poll(&ctx->wqh, POLLIN);
5 }
至此, 完整的唤醒通知过程也就介绍完成了。
select() 实现过程与 poll() 完全一致,不同的待检测的fd和结果事件的返回方式不同而已。poll() 内部是使用链表进行记录,而 select() 是使用的bit位序列进行记录的而已。
详细请看 fs/select.c 中看 poll() 和 select() 的实现代码。
epoll() 的事件检查方式与 poll() / select() 类似,一个明显的差别是各个 fd 是注册到 epoll 内部进行记录管理的,而 poll/ select 需要每次从用户态拷贝到 kernel 中,
且 epoll 内部对 fd 的记录是用rbtree,并且还有自己自己的一些独有的特点,这些内容将在另外的文章中进行描述。本文到此为止
Linux下select&poll&epoll的实现原理(一)【转】的更多相关文章
- Linux下select&poll&epoll的实现原理(一)
最近简单看了一把 linux-3.10.25 kernel中select/poll/epoll这个几个IO事件检测API的实现.此处做一些记录.其基本的原理是相同的,流程如下 先依次调用fd对应的st ...
- linux下select/poll/epoll机制的比较
select.poll.epoll简介 epoll跟select都能提供多路I/O复用的解决方案.在现在的Linux内核里有都能够支持,其中epoll是Linux所特有,而select则应该是POSI ...
- linux下select,poll,epoll的使用与重点分析
好久没用I/O复用了,感觉差点儿相同都快忘完了.记得当初刚学I/O复用的时候花了好多时间.可是因为那会不太爱写博客,导致花非常多时间搞明确的东西,依旧非常easy忘记.俗话说眼过千遍不如手过一遍,的确 ...
- (转)Linux下select, poll和epoll IO模型的详解
Linux下select, poll和epoll IO模型的详解 原文:http://blog.csdn.net/tianmohust/article/details/6677985 一).Epoll ...
- Linux下select, poll和epoll IO模型的详解
http://blog.csdn.net/tianmohust/article/details/6677985 一).Epoll 介绍 Epoll 可是当前在 Linux 下开发大规模并发网络程序的热 ...
- Linux 网络编程的5种IO模型:多路复用(select/poll/epoll)
Linux 网络编程的5种IO模型:多路复用(select/poll/epoll) 背景 我们在上一讲 Linux 网络编程的5种IO模型:阻塞IO与非阻塞IO中,对于其中的 阻塞/非阻塞IO 进行了 ...
- Linux I/O复用中select poll epoll模型的介绍及其优缺点的比較
关于I/O多路复用: I/O多路复用(又被称为"事件驱动"),首先要理解的是.操作系统为你提供了一个功能.当你的某个socket可读或者可写的时候.它能够给你一个通知.这样当配合非 ...
- Linux内核中网络数据包的接收-第二部分 select/poll/epoll
和前面文章的第一部分一样,这些文字是为了帮别人或者自己理清思路的.而不是所谓的源代码分析.想分析源代码的,还是直接debug源代码最好,看不论什么文档以及书都是下策. 因此这类帮人理清思路的文章尽可能 ...
- Linux IO模式以及select poll epoll详解
一 背景 同步IO和异步IO,阻塞IO和非阻塞IO分别是什么,到底有什么区别?不同的人在不同的上下文下给出的答案是不同的.所以先限定一下本文的上下文. 本文讨论的背景是Linux环境下的network ...
随机推荐
- THE LAST ONE!! 2017《面向对象程序设计》课程作业八
THE LAST ONE!! 2017<面向对象程序设计>课程作业八 031602230 卢恺翔 GitHub传送门 题目描述 1.时间匆匆,本学期的博客作业就要结束了,是否有点不舍,是否 ...
- C#代码分析--阅读程序,回答问题
阅读下面程序,请回答如下问题: 问题1:这个程序要找的是符合什么条件的数? 问题2:这样的数存在么?符合这一条件的最小的数是什么? 问题3:在电脑上运行这一程序,你估计多长时间才能输出第一个结果?时间 ...
- 【Leetcode】222. Count Complete Tree Nodes
Question: Given a complete binary tree, count the number of nodes. Definition of a complete binary t ...
- Linux命令(十三) 建立目录 mkdir 删除目录 rmdir
一.建立目录 mkdir 命令简介 mkdir 命令用于创建指定的目录.创建目录时当前用户对需要操作的目录有读取权限.如果目录已经存在,会提示报错并推出. mkdir 可以创建多级目录. 常用参数说明 ...
- java学习三 小数默认为double
前++,后++在独立运算时候 直接计算出值 当后加加和减减和其他代码在一行的时候先使用加加和减减之前的值, 如果不在同一行,后面的一行就会得到加加或减减后的值 &&是逻辑运算符,逻辑运 ...
- maven项目打包时生成dependency-reduced-pom.xml
今天给maven项目打jar包,发现在pom.xml文件的同路径下,突然生出了一个dependency-reduced-pom.xml,也不知道这个文件是干什么的,看着别扭就想着删除了它. 后来知道是 ...
- 【题解】 bzoj1088: [SCOI2005]扫雷Mine (神奇的做法)
bzoj1088,懒得复制,戳我戳我 Solution: 其实这个有个结论,答案只会有\(0\),\(1\),\(2\)三种(我真的是个弱鸡,这个都想不到) 然后我们假设第一个就可以推出所有的状态(显 ...
- SpringBoot基础篇AOP之基本使用姿势小结
一般来讲,谈到Spring的特性,绕不过去的就是DI(依赖注入)和AOP(切面),在将bean的系列中,说了DI的多种使用姿势:接下来看一下AOP的玩法 <!-- more --> I. ...
- Android应用如何跳转到应用市场详情页面
Android应用开发过程中,可能会有需求,比如:推广时跳转到应用市场下载应用,跳转到应用市场给自己的应用打分,跳转到应用市场更新自己的应用.那如何跳转到应用市场呢?可能跳转的方法大家都是知道的,方法 ...
- 服务器启动报mybatis配置错误
启动服务器时后台报了一大堆的错误,仔细检查发现都是冲着mybatis的配置文件去的,事实上配置文件的东西很少,经过反复启动服务器,发现了只要写了where条件就报错,不写就可以正常启动,经过百度发现m ...