目录:

Reactor(反应堆)和Proactor(前摄器)

I/O模型之三:两种高性能 I/O 设计模式 Reactor 和 Proactor

【转】第8章 前摄器(Proactor):用于为异步事件多路分离和分派处理器的对象行为模式

Java NIO系列教程(八)JDK AIO编程》-- java AIO的proactor模式

Java NIO系列教程(七) selector原理 Epoll版的Selector》--java NIO的Reactor模式

Netty中的三种Reactor(反应堆)

jdk/src/solaris/classes/sun/nio/ch/DefaultSelectorProvider.java

    public static SelectorProvider create() {
String osname = AccessController
.doPrivileged(new GetPropertyAction("os.name"));
if (osname.equals("SunOS"))
return createProvider("sun.nio.ch.DevPollSelectorProvider");
if (osname.equals("Linux"))
return createProvider("sun.nio.ch.EPollSelectorProvider");
return new sun.nio.ch.PollSelectorProvider();
}

可以看到,如果osname是Linux的话,实际上真正创建的是EPollSelectorProvider。因为在Java NIO(5): IO多路复用,这篇文章里我先介绍的是poll,所以我就把EpollSelectorProvider给绕开了。今天补一下这部分的内容。

我们继续看jdk/src/solaris/classes/sun/nio/ch/EPollSelectorProvider.java里的打开selector的定义:

    public AbstractSelector openSelector() throws IOException {
return new EPollSelectorImpl(this);
}

OK,再去看EPollSelectorImpl的实现,这里面和昨天讲的PollSelectorImpl的实现十分相似,我就不再贴代码了。自己一定要打开源文件自己去看,我这里只是带着你浏览源码,充当向导,真正去学习去领悟还是要靠自己动手。

    EPollSelectorImpl(SelectorProvider sp) throws IOException {
// 其他代码略,这里最重要的是初始化pollWrapper
try {
pollWrapper = new EPollArrayWrapper();
pollWrapper.initInterrupt(fd0, fd1);
fdToKey = new HashMap<>();
} catch (Throwable t) {
/* ... */
}
}

EpollSelectorImpl里最重要的方法是doSelect,这个方法与我们上节课所讲的方法大致相同,所以我就跳过这一步了,直接看pollWrapper.poll的实现。

    int poll(long timeout) throws IOException {
updateRegistrations();
updated = epollWait(pollArrayAddress, NUM_EPOLLEVENTS, timeout, epfd);
for (int i=0; i<updated; i++) {
if (getDescriptor(i) == incomingInterruptFD) {
interruptedIndex = i;
interrupted = true;
break;
}
}
return updated;
}

而epollWait又是一个native方法,OK,我们去看它的实现。代码位于

jdk/src/solaris/native/sun/nio/ch/EPollArrayWrapper.c

JNIEXPORT jint JNICALL
Java_sun_nio_ch_EPollArrayWrapper_epollWait(JNIEnv *env, jobject this,
jlong address, jint numfds,
jlong timeout, jint epfd)
{
struct epoll_event *events = jlong_to_ptr(address);
int res; if (timeout <= 0) { /* Indefinite or no wait */
RESTARTABLE(epoll_wait(epfd, events, numfds, timeout), res);
} else { /* Bounded wait; bounded restarts */
res = iepoll(epfd, events, numfds, timeout);
} if (res < 0) {
JNU_ThrowIOExceptionWithLastError(env, "epoll_wait failed");
}
return res;
}

这里出现了一个新的东西:epoll,看JDK代码就先到这里。我来讲一下epoll是什么东西。

使用EPoll

上节课介绍的poll方法有一个非常大的缺陷。poll 函数的返回值是一个整数,得到了这个返回值以后,我们还是要逐个去检查,比如说,有一万个socket同时poll,返回值是3,我们还是只能去遍历这一万个socket,看看它们是否有IO动作。这就很低效了,于是,就有了epoll的改进,epoll可以直接通过“输出参数”(可以理解为C语言中的指针类型的参数),一个 epoll_event 数组,直接获得这三个socket,这就比较快了。

来具体讲一下,epoll的接口包括三个函数:

1. int epoll_create(int size);
创建一个epoll的句柄,size用来告诉内核这个监听的数目一共有多大。需要注意的是,当创建好epoll句柄后,它就是会占用一个fd值,在linux下如果查看/proc/进程id/fd/,是能够看到这个fd的,所以在使用完epoll后,必须调用close()关闭,否则可能导致fd被耗尽。

2. int epoll_ctl(int epfd, int op, int fd, struct epoll_event *event);

epoll的事件注册函数。

第一个参数是epoll_create()的返回值,

第二个参数表示动作,用三个宏来表示:
EPOLL_CTL_ADD:注册新的fd到epfd中;
EPOLL_CTL_MOD:修改已经注册的fd的监听事件;
EPOLL_CTL_DEL:从epfd中删除一个fd;

第三个参数是需要监听的fd,就是我们的socket

第四个参数是告诉内核需要监听什么事,struct epoll_event结构如下:

typedef union epoll_data {
void *ptr;
int fd;
__uint32_t u32;
__uint64_t u64;
} epoll_data_t; struct epoll_event {
__uint32_t events; /* Epoll events */
epoll_data_t data; /* User data variable */
};

events可以是以下几个宏的集合:(这是最常见的三种,其他很少用到,我就先不贴了)
EPOLLIN :表示对应的文件描述符可以读(包括对端SOCKET正常关闭);
EPOLLOUT:表示对应的文件描述符可以写;
EPOLLERR:表示对应的文件描述符发生错误;

3. int epoll_wait(int epfd, struct epoll_event * events, int maxevents, int timeout);
等待事件的产生。参数events用来从内核得到事件的集合,maxevents告之内核这个events有多大,这个 maxevents的值不能大于创建epoll_create()时的size,参数timeout是超时时间(毫秒,0会立即返回,-1是永久阻塞)。该函数返回需要处理的事件数目,如返回0表示已超时。

相比起poll,其实就多了一个 epdf 的结构和 epoll_ctl 而已。其他的主要逻辑都是一样的,所以 poll 的服务端例子,可以这样改写:

#include <sys/socket.h>
#include <netinet/in.h>
#include <arpa/inet.h>
#include <unistd.h>
#include <stdlib.h>
#include <assert.h>
#include <stdio.h>
#include <string.h>
#include <errno.h>
#include <sys/epoll.h> #define MAX_FD_NUM 1024
#define MAXLEN 1024 int buf_len = 0; int main(int argc,char* argv[])
{
int i = 0;
printf("server start up\n"); if(argc <= 2)
{
printf("usage:%s ip port\n",basename(argv[0]));
return 1;
} const char* ip = argv[1];
int port = atoi(argv[2]); int server_sockfd = socket(PF_INET,SOCK_STREAM,0); struct sockaddr_in server_addr;
bzero(&server_addr, sizeof(server_addr));
server_addr.sin_family = AF_INET;
inet_pton(AF_INET, ip, &server_addr.sin_addr);
server_addr.sin_port = htons(port); int ret = bind(server_sockfd, (struct sockaddr*)&server_addr, sizeof(server_addr));
assert(ret != -1); ret = listen(server_sockfd, MAX_FD_NUM - 1);
assert(ret != -1); struct sockaddr_in client_addr;
socklen_t client_addr_len = sizeof(struct sockaddr_in); // 创建一个 epfd,并且把 server_sockfd 注册到这个 epfd上。
int epfd = epoll_create(1024);
struct epoll_event ev,events[20];
ev.data.fd = server_sockfd;
ev.events = EPOLLIN;
epoll_ctl(epfd, EPOLL_CTL_ADD, server_sockfd, &ev); int cur_fd_num = 1;
char buf[MAXLEN]={0}; while (1) {
// nReady 就是 events 数组的长度。
int nready = epoll_wait(epfd, events, 20, 50); int i = 0;
for (; i < nready; i++) {
if (events[i].data.fd == server_sockfd) {
int client_sockfd = accept(server_sockfd,(struct sockaddr*)&client_addr,&client_addr_len); if(client_sockfd < 0) {
perror("accept");
}
else {
printf("accept client_addr %s\n",inet_ntoa(client_addr.sin_addr));
ev.data.fd = client_sockfd;
ev.events=EPOLLIN;
epoll_ctl(epfd, EPOLL_CTL_ADD, client_sockfd, &ev);
}
}
else if (events[i].events & EPOLLIN) {
int connfd = events[i].data.fd;
int n = recv(connfd, buf, MAXLEN, 0);
if(n < 0) {
if(ECONNRESET == errno) {
close(connfd);
epoll_ctl(epfd, EPOLL_CTL_DEL, connfd, 0);
}
else {
perror("recv");
}
} printf("receive %s", buf);
buf_len = n; ev.data.fd = connfd;
ev.events = EPOLLOUT;
epoll_ctl(epfd, EPOLL_CTL_MOD, connfd, &ev);
}
else if (events[i].events & EPOLLOUT) {
int connfd = events[i].data.fd;
write(connfd, buf, buf_len); ev.data.fd = connfd;
ev.events = EPOLLIN;
epoll_ctl(epfd, EPOLL_CTL_MOD, connfd, &ev);
}
}
} return 0;
}

OK,我们这个服务端的逻辑与之前poll的,或者是Java的 Selector 的例子是完全等价的。好了,今天关于Epoll就讲解这么多了。

习题:

EpollArrayWrapper.java还有很多点,我没有涉及,例如,pollArray和pollArrayAddress是怎么回事,epollCtl 和 epollCreate 都是在什么时候调用的,这些问题,自己去看看代码,搞清楚。

Java NIO系列教程(七) selector原理 Epoll版的Selector的更多相关文章

  1. 转:Java NIO系列教程(七) Socket Channel

    Java NIO中的SocketChannel是一个连接到TCP网络套接字的通道.可以通过以下2种方式创建SocketChannel: 打开一个SocketChannel并连接到互联网上的某台服务器. ...

  2. Java NIO系列教程(八)JDK AIO编程

    目录: Reactor(反应堆)和Proactor(前摄器) <I/O模型之三:两种高性能 I/O 设计模式 Reactor 和 Proactor> <[转]第8章 前摄器(Proa ...

  3. Java NIO系列教程(三-十二) Buffer

    原文链接     作者:Jakob Jenkov     译者:airu     校对:丁一 Java NIO中的Buffer用于和NIO通道进行交互.如你所知,数据是从通道读入缓冲区,从缓冲区写入到 ...

  4. Java NIO系列教程(三) Channel之Socket通道

    目录: <Java NIO系列教程(二) Channel> <Java NIO系列教程(三) Channel之Socket通道> 在<Java NIO系列教程(二) Ch ...

  5. Java NIO系列教程(十一) Java NIO 与 IO

    Java NIO系列教程(十一) Java NIO与IO 当学习了 Java NIO 和 IO 的 API 后,一个问题马上涌入脑海: 我应该何时使用 IO,何时使用 NIO 呢?在本文中,我会尽量清 ...

  6. Java NIO系列教程(二) Channel通道介绍及FileChannel详解

    目录: <Java NIO系列教程(二) Channel> <Java NIO系列教程(三) Channel之Socket通道> Channel是一个通道,可以通过它读取和写入 ...

  7. Java NIO系列教程(十)DatagramChannel

    Java NIO系列教程(十)DatagramChannel 转载自并发编程网 – ifeve.com,本文链接地址: Java NIO系列教程(十) Java NIO DatagramChannel

  8. Java NIO系列教程(四) Scatter 和 Gather

    Java NIO系列教程(四) Scatter 和 Gather Java NIO 开始支持 scatter/gather,scatter/gather 用于描述从 Channel(译者注:Chann ...

  9. Java NIO系列教程(六) 多路复用器Selector

    多路复用器Selector是Java NIO编程的基础,熟练地掌握Selector对于掌握NIO编程至关重要.多路复用器提供选择已经就绪的任务的能力.简单来讲,Selector会不断地轮询注册在其上的 ...

随机推荐

  1. SPOJ705-New Distinct Substrings-后缀数组

    计算所都不相同子串的个数,做法是所有子串的个数减去sigma(height[]).其中height数组的和便是所有相同子串的个数. 注意 N×(N+1)/2会爆int!但是最终答案在int内.所以使用 ...

  2. 【XSY1081】随机存储器 网络流

    题目描述 Bob有\(2^n\)字节的内存,编号为\([0,2^n-1)\).他想对每个字节的内存分别分配一个值.对于编号为\(i\)的内存,如果它被分配了一个值\(j(0\leq j<2^m) ...

  3. 我的SSH框架实例(附源码)

    整理一下从前写的SSH框架的例子,供新人学习,使用到了注解的方式. 源码和数据库文件在百度网盘:http://pan.baidu.com/s/1hsH3Hh6 提取码:br27 对新同学的建议:最好的 ...

  4. 解决 phpstorm 运行卡,自动关闭等问题

    解决 phpstorm 自动关闭问题: 使用文件搜索工具(可在本博客搜索“管理工具”,或查找安装目录) 找到phpstorm.vmoptions文件,使用记事本打开. 添加以下两行代码: -Dawt. ...

  5. MT【309】正弦的平方差公式

    在锐角$\Delta ABC$中,角$A,B,C$所对的边分别为$a,b,c$,且满足$b^2-a^2=ac$,则$\dfrac{1}{\tan A}-\dfrac{1}{\tan B}$ 的取值范围 ...

  6. Codeforces | CF1029F 【Multicolored Markers】

    这道题其实难度应该小于紫题...除了一点小特判以外没什么难度...\(\leq50\)行代码即可\(AC\)此题 题目大意:给定两个数\(a,b(1\leq a,b\leq 10^{14})\)分别表 ...

  7. [luogu5003]跳舞的线【动态规划】

    题目描述 线现在在一个地图上,它正在(1,1)上(左上角),最终要去到(M,N)上.它不但只能往下或往右走,还只能在整数格子上移动. Imakf有的时候想要炫技,又有时想偷懒,所以他会告诉你这张地图的 ...

  8. iptables防火墙详解(一)

    -- 防火墙 常见的防火墙 :瑞星 江民 诺顿 卡巴斯基 天网...... iptables firewalld http://www.netfilter.org/ netfilter / iptab ...

  9. Jupyter Notebook 编辑器美化

    汇总系列:https://www.cnblogs.com/dunitian/p/4822808.html#ai 2018-10-10新增Linux样式路径: Logo: ~/anaconda3/lib ...

  10. TCP的三次握手和四次挥手图解

     1. TCP建立连接的三次握手 (1)第一次握手:Client将标志位SYN置为1,随机产生一个值seq=J,并将该数据包发送给Server,Client进入SYN_SENT状态,等待Server确 ...