曹工说Redis源码（4）-- 通过redis server源码来理解 listen 函数中的 backlog 参数

文章导航

Redis源码系列的初衷，是帮助我们更好地理解Redis，更懂Redis，而怎么才能懂，光看是不够的，建议跟着下面的这一篇，把环境搭建起来，后续可以自己阅读源码，或者跟着我这边一起阅读。由于我用c也是好几年以前了，些许错误在所难免，希望读者能不吝指出。

曹工说Redis源码（1）-- redis debug环境搭建，使用clion，达到和调试java一样的效果

曹工说Redis源码（2）-- redis server 启动过程解析及简单c语言基础知识补充

曹工说Redis源码（3）-- redis server 启动过程完整解析（中）

本讲主题

早上，技术群里，有个同学问了个问题：

这样看来，还是有部分同学，对backlog这个参数，不甚了解，所以，干脆本讲就讲讲这个话题。

本来可以直接拿java来举例，不过这几天正好在看redis，而且 redis server就是服务端，也是对外提供监听端口的，而且其用 c 语言编写，直接调用操作系统的api，不像java那样封装了一层，我们直接拿redis server的代码来分析，就能离真相更近一点。

我会拿一个例子来讲，例子里的代码，是直接从redis的源码中拷贝的，一行没改，通过这个例子，我们也能更理解redis一些。

demo讲解

backlog参数简单讲解

比如我监听某端口，那么客户端可以来同该端口，建立socket连接；正常情况下，服务端（bio模式）会一直阻塞调用accept。

大家想过没有，accept是怎么拿到这个新进来的socket的？其实，这中间就有个阻塞队列，当队列没有元素的时候，accept就会阻塞在这个队列的take操作中，所以，我个人感觉，accept操作，其实和队列的从队尾或队头取一个元素，是一样的。

当新客户端建立连接时，完成了三次握手后，就会被放到这个队列中，这个队列，我们一般叫做：全连接队列。

而这个队列的最大容量，或者说size，就是backlog这个整数的大小。

正常情况下，只要服务端程序，accept不要卡壳，这个backlog队列多大多小都无所谓；如果设置大一点，就能在服务端accept速度比较慢的时候，起到削峰的作用，怎么感觉和mq有点像，哈哈。

说完了，下面开始测试了，首先测试程序正常accept的情况。

main测试程序

int main() {
    // 1
    char *pVoid = malloc(10);
    // 2
    int serverSocket = anetTcpServer(pVoid, 6380, NULL, 2);
    printf("listening...");

    while (1) {
        int fd;
        struct sockaddr_storage sa;
        socklen_t salen = sizeof(sa);
		// 3
        char* err = malloc(20);
        // 4
        if ((fd = anetGenericAccept(err, serverSocket, (struct sockaddr*)&sa, &salen)) == -1)
            return ANET_ERR;
        printf("accept...%d",fd);
    }
}

• 1处，我们先分配了一个10字节的内存，这个主要是存放错误信息，在c语言编程中，不能像高级语言一样抛异常，所以，返回值一般用来返回0/1，表示函数调用的成功失败；如果需要在函数内部修改什么东西，一般就会先new一个内存出来，然后把指针传进去，然后在里面就对这片内存空间进行操作，这里也是一样。

• anetTcpServer 是我们自定义的，内部会实现如下逻辑：在本机的6380端口上进行监听，backlog参数即全连接队列的size，设为2。如果出错的话，就会把错误信息，写入1处的那个内存中。

  这一步调用完成后，端口就起好了。

• 3处，同样分配了一点内存，供accept连接出错时使用，和1处作用类似

• 4处，调用accept去从队列取连接

anetTcpServer，监听端口

int anetTcpServer(char *err, int port, char *bindaddr, int backlog) {
    return _anetTcpServer(err, port, bindaddr, AF_INET, backlog);
}

static int _anetTcpServer(char *err, int port, char *bindaddr, int af, int backlog) {
    int s, rv;
    char _port[6];  /* strlen("65535") */
    struct addrinfo hints, *servinfo, *p;

    snprintf(_port, 6, "%d", port);
    // 1
    memset(&hints, 0, sizeof(hints));
    hints.ai_family = af;
    hints.ai_socktype = SOCK_STREAM;
    hints.ai_flags = AI_PASSIVE;    /* No effect if bindaddr != NULL */

    // 2
    if ((rv = getaddrinfo(bindaddr, _port, &hints, &servinfo)) != 0) {
        anetSetError(err, "%s", gai_strerror(rv));
        return ANET_ERR;
    }
    for (p = servinfo; p != NULL; p = p->ai_next) {
        // 3
        if ((s = socket(p->ai_family, p->ai_socktype, p->ai_protocol)) == -1)
            continue;
		// 4
        if (anetSetReuseAddr(err, s) == ANET_ERR) goto error;
        // 5
        if (anetListen(err, s, p->ai_addr, p->ai_addrlen, backlog) == ANET_ERR) goto error;
        goto end;
    }

    error:
    	s = ANET_ERR;
    end:
    	freeaddrinfo(servinfo);
    return s;
}

• 1处，new一个结构体，c语言中，new一个对象比较麻烦，要先定义一个结构体类型的变量，如struct addrinfo hints,，然后调用memset来初始化内存，然后设置各个属性。总体来说，这里就是new了一个ipv4的地址

• 2处，因为一般服务器都有多网卡，多个ip地址，还有环回网卡之类的，这里的getaddrinfo，是利用我们第一步的hints，去帮助我们筛选出一个最终的网卡地址出来，然后赋值给 servinfo 变量。

  这里可能有不准确的地方，大家可以直接看官方文档：

  int getaddrinfo(const char *node, const char *service,
  
  const struct addrinfo *hints,
  
  struct addrinfo **res);

  Given node and service, which identify an Internet host and a service, getaddrinfo() returns one or more addrinfo structures, each of which contains an Internet address that can be specified in a call to bind(2) or connect(2).

• 3处，使用第二步拿到的地址，new一个socket

• 4处，anetSetReuseAddr，设置SO_REUSEADDR选项，我简单查了下，可参考：

  [socket常见选项之SO_REUSEADDR,SO_REUSEPORT]

  SO_REUSEADDR
  
  一般来说，一个端口释放后会等待两分钟之后才能再被使用，SO_REUSEADDR是让端口释放后立即就可以被再次使用

• 5处，调用listen进行监听，这里用到了我们传入的backlog参数。

  其中，backlog参数的官方说明，如下，意思也就是说，是队列的size：

  

其中，anetListen是我们自定义的，我们接着看：

/*
 * 绑定并创建监听套接字
 */
static int anetListen(char *err, int s, struct sockaddr *sa, socklen_t len, int backlog) {
    // 1
    if (bind(s, sa, len) == -1) {
        anetSetError(err, "bind: %s", strerror(errno));
        close(s);
        return ANET_ERR;
    }
	// 2
    if (listen(s, backlog) == -1) {
        anetSetError(err, "listen: %s", strerror(errno));
        close(s);
        return ANET_ERR;
    }
    return ANET_OK;
}

• 1处，这里进行绑定
• 2处，这里调用操作系统的函数，进行监听，其中，第一个参数就是前面的socket file descriptor，第二个，就是backlog。

如何运行

代码地址：

https://gitee.com/ckl111/redis-3.0-annotated-cmake-in-clion/blob/master/our-redis-implementation/my_anet.c

https://gitee.com/ckl111/redis-3.0-annotated-cmake-in-clion/blob/master/our-redis-implementation/my_anet.h

大家把上面这两个文件，自己放到一个linux操作系统的文件夹下，然后执行以下命令，就能把这个demo启动起来：

测试

查看监听端口是否启动

[root@mini2 ~]# netstat -ano|grep 6380
tcp        0      0 0.0.0.0:6380            0.0.0.0:*               LISTEN      off (0.00/0/0)

开启一个shell，连接到6380端口

我这边开了3个shell，去连接6380端口，然后，我执行：

[root@mini2 ~]# netstat -ano|grep 6380
tcp        0      0 0.0.0.0:6380            0.0.0.0:*               LISTEN      off (0.00/0/0)
tcp        0      0 127.0.0.1:51386         127.0.0.1:6380          ESTABLISHED off (0.00/0/0)
tcp        0      0 127.0.0.1:54442         127.0.0.1:6380          ESTABLISHED off (0.00/0/0)
tcp        0      0 127.0.0.1:51930         127.0.0.1:6380          ESTABLISHED off (0.00/0/0)
tcp        0      0 127.0.0.1:6380          127.0.0.1:51386         ESTABLISHED off (0.00/0/0)
tcp        0      0 127.0.0.1:6380          127.0.0.1:54442         ESTABLISHED off (0.00/0/0)
tcp        0      0 127.0.0.1:6380          127.0.0.1:51930         ESTABLISHED off (0.00/0/0)

可以看到，已经有3个socket，连接到6380端口了。

查看端口对应的backlog队列的相关东西

怎么看backlog那些呢？有个命令叫ss，其是netstat的升级版，执行以下命令如下：

[root@mini2 ~]# ss -l |grep 6380
tcp    LISTEN     0      2       *:6380                  *:*

上面我们查询了6380这个监听端口的状态，其中，

• 第一列，tcp，传输协议的名称

• 第二列，状态，LISTEN

• 第三列，查阅man netstat可以看到，

  Recv-Q
         Established: The count of bytes not copied by the user program connected to this socket.
         Listening: Since Kernel 2.6.18 this column contains  the  current syn backlog.
  

  当其为Established状态时，应该是缓冲区中没被拷贝到用户程序的字节的数量；

  当其为LISTEN状态时，表示当前backlog这个队列，即前面说的全连接队列的，容量的大小；这里，因为我们的程序一直在accept连接，所以这里为0

• 第4列，官方文档：

  Send-Q
  Established: The count of bytes not acknowledged by the remote host.  	
  
  Listening:   Since Kernel 2.6.18 this column contains the maximum size of the syn backlog.
  

  当其为Established时，表示我方缓冲区中还没有被对方ack的字节数量

  当其为Listen时，表示全连接队列的最大容量，我们是设为2的，所以这里是2。

测试2

当我们程序不去accept的时候，会怎么样呢，修改程序如下：

int main() {
    char *pVoid = malloc(10);
    int serverSocket = anetTcpServer(pVoid, 6380, NULL, 2);
    printf("listening...");

    while (1){
        sleep(100000);
    }

}

然后我们再去开启3个客户端连接，然后，最后看ss命令的情况：

[root@mini2 ~]# ss -l |grep 6380
tcp    LISTEN     3      2       *:6380                  *:*

再执行netstat看看：

[root@mini2 ~]# netstat -ano|grep 6380
tcp        0      0 127.0.0.1:50238         127.0.0.1:6380          ESTABLISHED off (0.00/0/0)
tcp        0      0 127.0.0.1:50362         127.0.0.1:6380          ESTABLISHED off (0.00/0/0)

发现了吗，只有2个连接是ok的。因为我们的全连接队列，最大为2，现在已经full了啊，所以新连接进不来了。

总结

大家可以跟着我的demo试一下，相信理解会更深刻一点。

以前我也写了一篇，大家可以参考下。

Linux中，Tomcat 怎么承载高并发（深入Tcp参数 backlog）

下面这篇文章，也不错：

使用Netty，我们到底在开发些什么？