Libev源码分析09：select突破处理描述符个数的限制

众所周知，Linux下的多路复用函数select采用描述符集表示处理的描述符。描述符集的大小就是它所能处理的最大描述符限制。通常情况下该值为1024，等同于每个进程所能打开的描述符个数。

增大描述符集大小的唯一方法是先增大FD_SETSIZE的值，然后重新编译内核，不重新编译内核而改变其值时不够的。

在阅读Libev源码时，发现它实现了一种突破这种限制的方法。该方法本质上而言，就是自定义fd_set结构，以及FD_SET，FD_CLR，FD_ISSET宏。

首先看一下Linux中原fd_set结构的实现细节，我的虚拟机的系统版本是Ubuntu 14.10，内核为3.16.0-23-generic。在其中的/usr/include/i386-linux-gnu/目录下的<sys/select.h>、<bits/select.h>、<bits/typesizes.h>文件中找到了fd_set结构的实现细节，代码如下：

//<bits/typesizes.h>
#define __FD_SETSIZE        1024

//<sys/select.h>
typedef long int __fd_mask;
typedef __fd_mask fd_mask;

#define FD_SETSIZE      __FD_SETSIZE

#define __NFDBITS   (8 * (int) sizeof (__fd_mask))
#define NFDBITS     __NFDBITS

#define __FD_ELT(d) ((d) / __NFDBITS)
#define __FD_MASK(d)    ((__fd_mask) 1 << ((d) % __NFDBITS))

typedef struct
  {
    /* XPG4.2 requires this member name.  Otherwise avoid the name
       from the global namespace.  */
#ifdef __USE_XOPEN
    __fd_mask fds_bits[__FD_SETSIZE / __NFDBITS];
# define __FDS_BITS(set) ((set)->fds_bits)
#else
    __fd_mask __fds_bits[__FD_SETSIZE / __NFDBITS];
# define __FDS_BITS(set) ((set)->__fds_bits)
#endif
  } fd_set;

//<bits/select.h>
#define __FD_SET(d, set) \
  ((void) (__FDS_BITS (set)[__FD_ELT (d)] |= __FD_MASK (d)))
#define __FD_CLR(d, set) \
  ((void) (__FDS_BITS (set)[__FD_ELT (d)] &= ~__FD_MASK (d)))
#define __FD_ISSET(d, set) \
  ((__FDS_BITS (set)[__FD_ELT (d)] & __FD_MASK (d)) != 0)

#if defined __GNUC__ && __GNUC__ >= 2
# define __FD_ZERO(fdsp) \
  do {                                        \
    int __d0, __d1;                               \
    __asm__ __volatile__ ("cld; rep; " __FD_ZERO_STOS                 \
              : "=c" (__d0), "=D" (__d1)                  \
              : "a" (0), "0" (sizeof (fd_set)             \
                      / sizeof (__fd_mask)),          \
                "1" (&__FDS_BITS (fdsp)[0])               \
              : "memory");                        \
  } while (0)

#else   /* ! GNU CC */

# define __FD_ZERO(set)  \
  do {                                        \
    unsigned int __i;                                 \
    fd_set *__arr = (set);                            \
    for (__i = 0; __i < sizeof (fd_set) / sizeof (__fd_mask); ++__i)          \
      __FDS_BITS (__arr)[__i] = 0;                        \
  } while (0)

#endif  /* GNU CC */

//<sys/select.h>
#define FD_SET(fd, fdsetp)  __FD_SET (fd, fdsetp)
#define FD_CLR(fd, fdsetp)  __FD_CLR (fd, fdsetp)
#define FD_ISSET(fd, fdsetp)    __FD_ISSET (fd, fdsetp)
#define FD_ZERO(fdsetp)     __FD_ZERO (fdsetp)

代码比较简单，就不一一分析了，总结一下就是：fd_set是个结构体，它内部包含一个long  int类型的数组，数组长度为__FD_SETSIZE /__NFDBITS。也就是说该数组一共包含__FD_SETSIZE个位。每一位就代表一个描述符。

FD_SET就是将该数组相应的位置1，FD_CLR就是将该数组相应的位置0，FD_ISSET就是判断某位是否为1.

以上就是fd_set的具体实现。Libev采用的方法是动态申请fd_set的空间，并实现相应的宏。下面是模仿Libev的代码，实现的一个简单的echo服务器：

# define NFDBYTES (NFDBITS / 8)

#define IFERR(res, msg)             \
   if(res < 0)                      \
   {                                \
        perror(#msg " error");      \
        return;                     \
   }                        

#define MYFDSET(fd)         \
    word = fd / NFDBITS;            \
    mask = 1UL << (fd % NFDBITS);   \
    if(word+1 > fdsize)                 \
    {                                   \
        roset = realloc(roset, (word+1) * NFDBYTES);    \
        rset = realloc(rset, (word+1) * NFDBYTES);      \
        for(; fdsize < word+1; fdsize++)                \
        {                                               \
            ((fd_mask *)rset)[fdsize] = ((fd_mask *)roset)[fdsize] = 0;   \
        }                                               \
    }                                                   \
    ((fd_mask *)roset)[word] |= mask;       

#define MYFDCLR(fd)                 \
    word = fd / NFDBITS;            \
    mask = 1UL << (fd % NFDBITS);   \
    ((fd_mask *)roset)[word] &= ~mask;

void echoserver()
{
    int listenfd = -1, confd = -1;
    int res = -1;
    int val = 1;
    int i;

    char rbuf[1024];
    char sbuf[1024];

    void *roset = NULL;
    void *rset = NULL;
    int fdsize = 0;

    int word;
    fd_mask mask;

    struct sockaddr_in serveraddr;
    int addrlen = sizeof(serveraddr);

    listenfd = socket(AF_INET, SOCK_STREAM, 0);
    IFERR(listenfd, socket);

    serveraddr.sin_family = AF_INET;
    serveraddr.sin_port = htons(8898);
    serveraddr.sin_addr.s_addr = htonl(INADDR_ANY);

    res = setsockopt(listenfd, SOL_SOCKET, SO_REUSEADDR, (void *)&val, sizeof(val));
    IFERR(res, setsockopt);

    res = bind(listenfd, (struct sockaddr *)&serveraddr, addrlen);
    IFERR(res, bind);

    MYFDSET(listenfd);

    res = listen(listenfd, 5);
    IFERR(res, "listen error")

    for(;;)
    {
        memcpy(rset, roset, fdsize*NFDBYTES);

        res = select(fdsize * NFDBITS, (fd_set *)rset, NULL, NULL, NULL);
        IFERR(res, select)

        for(i = fdsize-1; i >= 0; i--)
        {
            if(((fd_mask *)rset)[i] == 0)   continue;

            int bit = 0;
            fd_mask bitmask = 0;
            int fd = 0;
            for(bit = NFDBITS-1; bit >= 0; bit--)
            {
                bitmask = 1UL << bit;
                if(((fd_mask *)rset)[i] & bitmask)
                {
                    fd = i*NFDBITS + bit;
                    if(fd == listenfd)
                    {
                        confd = accept(listenfd, NULL, NULL);
                        IFERR(confd, accept)
                        MYFDSET(confd)
                    }
                    else
                    {
                        bzero(rbuf, 1024);
                        res = read(fd, rbuf, 1024);
                        if(res <= 0)
                        {
                            if(res < 0)perror("read error");
                            else    printf("client over\n");

                            MYFDCLR(fd);
                            close(fd);
                        }
                        else
                        {
                            snprintf(sbuf, 1024, "server echo: %s", rbuf);
                            write(fd ,sbuf, strlen(sbuf));
                        }
                    }
                }
            }
        }
    }
}

该代码中，rset和roset是表示描述符集的动态数组，fdsize * NFDBITS就是该描述符集所能表示的最大位数。当需要添加新的描述符时，如果空间不够，则调用realloc动态增加。并置相应的位为1。除了动态增长之外，MYFDSET和MYFDCLR实现思路与原来的FD_SET和FD_CLR一样的。

下面是简单的测试代码，用python实现的TCP客户端：

from socket import *
import sys
from time import sleep

serverAddr = ('localhost', 8898)

clientlist = []
errlist = []
clientcnts = int(sys.argv[1])

for i in xrange(clientcnts):
    clientlist.insert(i, socket(AF_INET, SOCK_STREAM))

for index, client in enumerate(clientlist):
    try:
        client.connect(serverAddr)
    except Exception as e:
        print 'exception catched : ' ,e
        errlist.append(client)

for i in errlist:
    clientlist.remove(i)

for index, client in enumerate(clientlist):
    data = "this is %d client"%index
    client.send(data)
    data = client.recv(100)
    print 'recieve : ', data  

sleep(10)

for index, client in enumerate(clientlist):
    client.close()

测试时，运行如下命令即可，3000表示并发量。

# python tcpclient.py 3000

当然，在运行服务端和客户端之前，需要增加每个进程所能打开的描述符的限制，否则的话，客户端会出现错误：socket.error: [Errno 24] Too many open files，服务端会出现错误：accept error: Too many open files。   增加限制的命令如下：

# ulimit -n 65535

总结： 虽然select的最大描述符限制是可以突破的，但是与poll或者epoll相比，select在处理大量描述符时依然性能有限。select的优势在于它的跨平台特性；以及在处理少量描述符时，它可能是最快的；而且如果多数的描述符都处于活跃状态的话，它的性能也会非常好。

参考：

http://pod.tst.eu/http://cvs.schmorp.de/libev/ev.pod

http://codemacro.com/2014/06/01/select-limit/