Linux客户/服务器程序设计范式2——并发服务器（进程池）

引言

让服务器在启动阶段调用fork创建一个子进程池，通过子进程来处理客户端请求。子进程与父进程之间使用socketpair进行通信（为了方便使用sendmsg与recvmsg，如果使用匿名管道，则无法使用以上两个函数）。以下针对TCP进行分析。

server端使用select轮询用于监听客户端请求的被动套接字fd_listen以及用于父子之间通信的socketpair。每当客户端有请求时，server端会将由accept返回的用于与客户端通信的socket描述符通过socketpair发送给一个空闲的子进程，由子进程与客户端进行通信（处理请求）。因此服务器端需要维护一个子进程队列，队列中的每个元素存放着与子进程通信的socketpair以及标记子进程是否空闲的标志位，如下：

typedef struct tag_chd
{
    int s_sfd ;     //与子进程通信的socketpair描述符
    int s_state ;   //标记子进程是否空闲
}NODE, *pNODE;

每当子进程处理完客户端请求时，会通过socketpair向server端发送消息，server端select到该socketpair后，会将对应子进程标志位设置为空闲。

注意

1. 由于父进程是先创建子进程，之后才accept用于与客户端通信的socket描述符fd_client，因此子进程的pcb中并没有fd_client的信息。server端需要将fd_client发送子进程。如果只是用send来发送fd_client信息的话，子进程只会将其当成一个整型数。我们需要用sendmsg将fd_client连同其辅助(控制)信息一并发送，这样子进程才会将其当成一个socket描述符。

2. 父进程预先创建子进程池，该子进程如同server端一样是永远不会退出的。子进程中使用while死循环，如下：

while(1)
    {
        readn = read(sfd, &flag, 4);                // 服务器分配的子进程在子进程队列中的下标
        printf("readn: %d \n", readn);
        printf("read from father: %d \n", flag);
        recv_fd(sfd, &fd_client);                   // recv_fd中封装了recvmsg，接收与客户端通信的socket描述符
        handle_request(fd_client);                  // 处理客户端请求
        write(sfd, &pid, sizeof(pid));              // 处理完请求后通过socketpair通知服务器，服务器将该子进程状态设置为空闲
    }

每当子进程处理完一个客户端请求后（也就是客户端退出了），子进程会阻塞在 read 处，等待接收下一个客户端请求。

由于是while死循环，且死循环中没有break语句，因此子进程不可能跳出这个while循环，也就不会执行while循环以下的内容了，这样可以保证子进程结尾没有exit也不会执行之后的内容。

3. 编译用到的动态库见Linux网络编程9——对TCP与UDP的简易封装2.0。

函数原型

 #include <sys/types.h>
 #include <sys/socket.h>

 ssize_t recvmsg(int sockfd, struct msghdr *msg, int flags);
 ssize_t sendmsg(int sockfd, const struct msghdr *msg, int flags);

 struct msghdr {
               void         *msg_name;       /* optional address */
               socklen_t     msg_namelen;    /* size of address */
               struct iovec *msg_iov;        /* scatter/gather array */
               size_t        msg_iovlen;     /* # elements in msg_iov */
               void         *msg_control;    /* ancillary data, see below */
               socklen_t     msg_controllen; /* ancillary data buffer len */
               int           msg_flags;      /* flags on received message */
           };

 fields：

 struct iovec {                    /* Scatter/gather array items */
               void  *iov_base;              /* Starting address */
               size_t iov_len;               /* Number of bytes to transfer */
           };

 struct cmsghdr {
           socklen_t cmsg_len;    /* data byte count, including header */
           int       cmsg_level;  /* originating protocol */ /* 如果是文件描述符，填SOL_SOCKET */
           int       cmsg_type;   /* protocol-specific type */ /* 如果是文件描述符，填SCM_RIGHTS */
           /* followed by unsigned char cmsg_data[]; */
       };

 /* 返回cmsghdr结构的cmsg_len成员的值，考虑到对齐，使用数据部分的长度作为参数。*/
 size_t CMSG_LEN(size_t length);
 /* 返回cmsghdr的数据部分指针。*/
 unsigned char *CMSG_DATA(struct cmsghdr *cmsg); 

 CMSG_DATA() returns a pointer to the data portion of a cmsghdr.
 CMSG_LEN()  returns  the  value  to store in the cmsg_len member of the cmsghdr structure, taking into
             account any necessary alignment.  It takes the data length as an argument.
             This is a constant expression.

NAME
       socketpair - create a pair of connected sockets

SYNOPSIS
       #include <sys/types.h>          /* See NOTES */
       #include <sys/socket.h>

       int socketpair(int domain, int type, int protocol, int sv[2]);

RETURN VALUE
       On  success,  zero is returned.  On error, -1 is returned, and errno is
       set appropriately.

代码

server.h

#ifndef __SERVER_H__
#define __SERVER_H__
#include "my_socket.h"
#include <sys/stat.h>
#include <sys/types.h>
#include <fcntl.h>
#include <sys/time.h>
#include <sys/select.h>
#include <sys/uio.h>
#include <sys/wait.h>
#include <errno.h>
#define SER_IP "127.0.0.1"
#define SER_PORT 8888
#define ST_BUSY 1
#define ST_IDLE 2
#define SIZE 8192
#define MSG_SIZE (SIZE - 4)

typedef struct tag_mag
{
    int msg_len ;
    char msg_buf[MSG_SIZE];//8188
}MSG, *pMSG;

typedef struct tag_chd
{
    int s_sfd ;
    int s_state ;
}NODE, *pNODE;

extern int errno ;
void make_child(pNODE arr, int cnt);
void child_main(int sfd) ;
void handle_request(int sfd);
void send_fd(int sfd, int fd_file) ;
void recv_fd(int sfd, int* fd_file) ;
void dispatch(pNODE arr, int cnt, int fd_client);
#endif

main.c

/*************************************************************************
    > File Name: main.c
    > Author: KrisChou
    > Mail:zhoujx0219@163.com
    > Created Time: Fri 05 Sep 2014 11:19:13 PM CST
 ************************************************************************/
#include "server.h"
int main(int argc, char* argv[])//exe chld_cnt
{
    if(argc != 2)
    {
        printf("Usage: exe , child_cnt! \n");
        exit(1);
    }
    int child_cnt = atoi(argv[1]);
    pNODE arr_child = (pNODE)calloc(child_cnt, sizeof(NODE)) ; /* 动态数组维护子进程池 */
    make_child(arr_child, child_cnt);

    int fd_listen, fd_client ;
    my_socket(&fd_listen, MY_TCP, SER_IP, SER_PORT);
    my_listen(fd_listen, 10);

    fd_set readset, readyset ;
    FD_ZERO(&readset);
    FD_ZERO(&readyset);
    FD_SET(fd_listen, &readset);
    int index ;
    for(index = 0; index < child_cnt; index ++)
    {
        FD_SET(arr_child[index].s_sfd, &readset);
    }

    int select_ret ;
    struct timeval tm ;
    while(1)
    {
        tm.tv_sec = 0 ;
        tm.tv_usec = 1000 ;
        readyset = readset ;
        select_ret = select(1024, &readyset, NULL, NULL, &tm);
        if(select_ret == 0)        /* 轮询时间内，所有描述符均没有活动，返回0，继续轮询 */
        {
            continue ;
        }else if(select_ret == -1) /* 信号 */
        {
            if(errno == EINTR)
            {
                continue ;
            }else
            {
                exit(1);
            }
        }else
        {
            if(FD_ISSET(fd_listen, &readyset))
            {
            fd_client = accept(fd_listen, NULL, NULL) ;
            dispatch(arr_child, child_cnt ,fd_client);
            close(fd_client);
            }
            for(index = 0; index < child_cnt; index ++)
            {
                if(FD_ISSET(arr_child[index].s_sfd, &readyset))
                {
                    int val ;
                    read(arr_child[index].s_sfd, &val, 4);
                    arr_child[index].s_state = ST_IDLE ;
                }
            }

        }

    }
}

server.c

/*************************************************************************
  > File Name: server.c
  > Author: KrisChou
  > Mail:zhoujx0219@163.com
  > Created Time: Fri 05 Sep 2014 11:17:56 PM CST
 ************************************************************************/
#include "server.h"
void make_child(pNODE arr, int cnt)
{
    int index ;
    for(index = 0; index < cnt; index ++)
    {
        pid_t pid ;
        int fds[2] ;//fds[0] - c  fds[1] - p
        socketpair(AF_LOCAL, SOCK_STREAM, 0, fds);
        pid = fork() ;
        if(pid == 0)// child
        {
            close(fds[1]);         /* 子进程用fds[0]，关闭fds[1] */
            child_main(fds[0]) ;   /* 每创建一个子进程，子进程就进入该函数中(死循环),接收请求，处理请求，如此循环。*/

        }else
        {
            /* 初始化进程池队列中的每一个子进程 */
            arr[index].s_sfd = fds[1] ;
            arr[index].s_state = ST_IDLE ;
            close(fds[0]);         /* 父进程用fds[1], 关闭fds[0] */
        }

    }

}
void child_main(int sfd)
{
    int fd_client ;
    int flag ;
    int readn ;
    pid_t pid = getpid();
    while(1)
    {
        readn = read(sfd, &flag, 4);
        printf("readn: %d \n", readn);
        printf("read from father: %d \n", flag);
        recv_fd(sfd, &fd_client);
        handle_request(fd_client);
        write(sfd, &pid, sizeof(pid));
    }
}
void handle_request(int sfd)
{    

    MSG my_msg ;
    int recvn ;
    while(1)
    {
        memset(&my_msg, 0, sizeof(MSG));
        my_recv(&recvn, sfd, &my_msg, 4);
        if(my_msg.msg_len  == 0)
        {
            break ;
        }
        my_recv(NULL, sfd, my_msg.msg_buf, my_msg.msg_len);
        my_send(NULL, sfd, &my_msg, my_msg.msg_len + 4);

    }

}
void send_fd(int sfd, int fd_file)
{
    struct msghdr my_msg ;
    memset(&my_msg, 0, sizeof(my_msg));

    struct iovec bufs[1] ;
    char buf[32] = "hello world ! \n";
    bufs[0].iov_base = buf ;
    bufs[0].iov_len = strlen(buf) ;

    my_msg.msg_name = NULL ;
    my_msg.msg_namelen = 0 ;
    my_msg.msg_iov = bufs ;
    my_msg.msg_iovlen = 1 ;
    my_msg.msg_flags = 0 ;

    struct cmsghdr *p  ;
    int cmsg_len = CMSG_LEN(sizeof(int)) ;     /* 所传为文件描述符，因此sizeof(int) */
    p = (struct cmsghdr*)calloc(1, cmsg_len) ;
    p -> cmsg_len = cmsg_len ;
    p -> cmsg_level = SOL_SOCKET ;
    p -> cmsg_type = SCM_RIGHTS ;
    *(int*)CMSG_DATA(p) = fd_file ;

    my_msg.msg_control = p ;
    my_msg.msg_controllen = cmsg_len ;

    int sendn ;
    sendn = sendmsg(sfd, &my_msg, 0);
    printf("send masg len : %d \n", sendn);
}
void recv_fd(int sfd, int* fd_file)
{
    struct msghdr my_msg ;

    struct iovec bufs[1] ;
    char buf1[32]="" ;
    bufs[0].iov_base = buf1 ;
    bufs[0].iov_len = 31 ;

    my_msg.msg_name = NULL ;
    my_msg.msg_namelen = 0 ;
    my_msg.msg_iov = bufs ;
    my_msg.msg_iovlen = 2 ;
    my_msg.msg_flags = 0 ;

    struct cmsghdr *p  ;
    int cmsg_len = CMSG_LEN(sizeof(int)) ;
    p = (struct cmsghdr*)calloc(1, cmsg_len) ;
    my_msg.msg_control = p ;
    my_msg.msg_controllen = cmsg_len ;

    int recvn ;
    recvn = recvmsg(sfd, &my_msg, 0);

    *fd_file = *(int*)CMSG_DATA((struct cmsghdr*)my_msg.msg_control); //写成*(int*)CMSG_DATA(P)也可

    printf("buf1: %s, recv msg len : %d   \n", buf1, recvn);

}
void dispatch(pNODE arr, int cnt, int fd_client)
{
    int index ;
    for(index = 0 ; index < cnt; index ++)
    {
        if(arr[index].s_state == ST_IDLE)
        {
            write(arr[index].s_sfd, &index, 4);
            send_fd(arr[index].s_sfd, fd_client); /* 向空闲的子进程分配任务，将服务器accept返回的socket描述符发送给子进程*/
            arr[index].s_state = ST_BUSY ;
            break ;
        }
    }
}

client.c

/*************************************************************************
    > File Name: client.c
    > Author: KrisChou
    > Mail:zhoujx0219@163.com
    > Created Time: Fri 05 Sep 2014 03:48:27 PM CST
 ************************************************************************/
#include "my_socket.h"
#define MY_IP "127.0.0.1"
#define MY_PORT 6666
#define SER_IP "127.0.0.1"
#define SER_PORT 8888
#define SIZE 8192
#define MSG_SIZE (SIZE - 4)
typedef struct tag_mag//
{
    int msg_len ;
    char msg_buf[MSG_SIZE];//8188
}MSG, *pMSG;
int main(int argc, char* argv[])
{
    int sfd ;
    my_socket(&sfd, MY_TCP, MY_IP, atoi(argv[1]));
    my_connect(sfd, SER_IP, SER_PORT);
    MSG my_msg ;
    while(memset(&my_msg, 0, sizeof(MSG)), fgets(my_msg.msg_buf, MSG_SIZE, stdin)!= NULL)
    {
        my_msg.msg_len = strlen(my_msg.msg_buf);
        my_send(NULL, sfd, &my_msg, 4 + my_msg.msg_len );
        memset(&my_msg, 0, sizeof(MSG));
        my_recv(NULL, sfd, &my_msg, 4);
        my_recv(NULL, sfd, &my_msg.msg_buf, my_msg.msg_len);
        printf("recv from server : %s \n", my_msg.msg_buf);

    }
    /* 客户端退出时，向服务器发送一个长度为0的消息 ，用于通知服务器退出 */
    memset(&my_msg, 0, sizeof(MSG));
    my_send(NULL, sfd, &my_msg, 4 + my_msg.msg_len);
    close(sfd);

}

编译如下：

gcc -o s server.c main.c -lmy_socket -I/home/purple/include
gcc -o c client.c -lmy_socket -I/home/purple/include