对udp dns的一次思考

　　目前昨天查一个线上问题：“”dns服务器在我们的设备， 有大量的终端到设备上请求解析域名，但是一直是单线程，dns报文处理不过来”， 然而设备是多核，dns服务器一直不能利用多核资源，所以能不能使用多线程进行处理呢？

　　udp不像tcp那样，udp没有连接的概念，也就是没有通过建立多个连接来提高对dns服务器并发访问，然而在多核环境下那就只能通过多线程来访问一个共享的udp socket，但是还是一个socket ， 会涉及到多线程抢占资源问题。

　　来看一下内核协议栈udp收到包代码：根据以前分析tcpip协议栈文章可以知道，报文在内核协议栈流程大约如下：

• 　　netif_receive_skb
• 　　pt_prev->func(skb, skb->dev, pt_prev, orig_dev);   调用ip_rcv  arp_rcv处理
•         ip_rcv  ------- ip_rcv_finish
•         根据路由选项是否local_input还是ip_forward准发
•        ip_local_deliver（期间会涉及到ip 分片重组）
•        ip_local_deliver_finish   （涉及到raw socket 收包问题）------>ret = ipprot->handler(skb);//这里面会进入udp tcp传输层
•      udp_rcv  //收发包处理位置----->__udp4_lib_rcv
•    sk = __udp4_lib_lookup; ////根据报文的端口号和目的端口号查询udptable，寻找应该接收该数据包的传输控制块
•    udp_queue_rcv_skb//涉及到内核态和 用户态抢占socket的问题， 所以有收包队列 以及 sk_add_backlog队列

•   sk->sk_data_ready(sk, skb_len) wake up 唤醒等待队列，
•    如果找不到对应监听socket 则icmp_send(skb, ICMP_DEST_UNREACH, ICMP_PORT_UNREACH, 0); 回复不可达 这个和tcp回复的rst不一样!!!!

也就是 报文送到那个socket是由__udp4_lib_lookup这个函数做出选择， 选择的依据是 ip 端口号 接口来进行处理选择对应的socket，对于

dhcp dns服务器来说一般不会绑定接口，所以一般就是 设置ip  udp.port， 所以内核选择socket的时候一般也是通过对比ip port来查找。通过找出匹配层度最高的socket作为收包sk。

如果要是允许有多个socket呢？？

那么不就是可以通过轮询选择或者hash选择出对应的socket 吗！！！！！！！！ 所以在linux 3.9内核版本后面增加reuseport，允许多个socket绑定同一个ip port， 通过hash散列在桶里面，

后面就允许多线程/多进程服务器的每个线程都bind 同一个端口，并且最终每个线程拥有一个独立的socket，而不是所有线程都访问一个socket；没有reuseport这个patch的话，这么做的后果就是服务器会报出一个类似“地址/端口被占用的”错误信息。

socket  bind ip port时 会调用get_port  计算是否存在ip port存在冲突， linux 3.9patch中对hash 以及计算方式加入reuseport，可以允许多个socket bind同样的ip port。

同一个客户端的数据总是分配给同一个 udp_sock。so!! 在写 UDP server 的时候，为了提高处理能力，可以起多个线程，每个线程读写自己的 UDP socket

顺便看一看udp 怎样查找port：

int udp_v4_get_port(struct sock *sk, unsigned short snum)
{
    unsigned int hash2_nulladdr =
        udp4_portaddr_hash(sock_net(sk), htonl(INADDR_ANY), snum);
    unsigned int hash2_partial =
        udp4_portaddr_hash(sock_net(sk), inet_sk(sk)->inet_rcv_saddr, 0);

    /* precompute partial secondary hash */
    udp_sk(sk)->udp_portaddr_hash = hash2_partial;
    return udp_lib_get_port(sk, snum, ipv4_rcv_saddr_equal, hash2_nulladdr);
}

UDP 对于porttable维护一个是一port 进行hash  一个是以sip +port（port=0） 进行hash。

struct udp_sock {
    /* inet_sock has to be the first member */
    struct inet_sock inet;
#define udp_port_hash        inet.sk.__sk_common.skc_u16hashes[0]
#define udp_portaddr_hash    inet.sk.__sk_common.skc_u16hashes[1]

}

UDP 协议的主要数据结构是两张 hash 表，指向 UDP 协议控制块 struct udp_sock。其中 hash1 以 port 为 key，

hash2 以 IP+port （port=0）为 key 但是后续会使用udp_portaddr_hash  ^port 进行hash查找，实际上也就是ip+port表 ；

所以一开始看的udp_portaddr_hash 是以ip+port=0 进行hash计算有点懵逼！！！

  1 int udp_lib_get_port(struct sock *sk, unsigned short snum,
  2              int (*saddr_comp)(const struct sock *sk1,
  3                        const struct sock *sk2,
  4                        bool match_wildcard),
  5              unsigned int hash2_nulladdr)
  6 {
  7     struct udp_hslot *hslot, *hslot2;
  8     struct udp_table *udptable = sk->sk_prot->h.udp_table;
  9     int    error = 1;
 10     struct net *net = sock_net(sk);
 11
 12     if (!snum) {
　　　　　............................
         ........................... 51     } else {
//以portnum 为key查找散列表
 52         hslot = udp_hashslot(udptable, net, snum);
 53         spin_lock_bh(&hslot->lock);
 54         if (hslot->count > 10) {//当端口hash表冲突链长度大于10时，启用二元组hash查询
 55             int exist;
 56             unsigned int slot2 = udp_sk(sk)->udp_portaddr_hash ^ snum;//相当于ip+port 选择key值
 57
 58             slot2          &= udptable->mask;
 59             hash2_nulladdr &= udptable->mask;
 60
 61             hslot2 = udp_hashslot2(udptable, slot2);
 62             if (hslot->count < hslot2->count)//如果hslot2项的冲突数目比hslot还多，那么查找hash2表inuse2是不划算的，返回直接查找hash1表inuse
 63                 goto scan_primary_hash;
 64
 65             exist = udp_lib_lport_inuse2(net, snum, hslot2,
 66                              sk, saddr_comp);//使用udp_lib_lport_inuse2()查找是否有匹配项；如果没有找到，则使用新的键值hash2_nulladdr，即[INADDR_ANY, snum]从hash2中取出表项
 67             if (!exist && (hash2_nulladdr != slot2)) {
 68                 hslot2 = udp_hashslot2(udptable, hash2_nulladdr);
 69                 exist = udp_lib_lport_inuse2(net, snum, hslot2,
 70                                  sk, saddr_comp);//再使用udp_lib_lport_inuse2()查找是否有匹配
 71             }
 72             if (exist)
 73                 goto fail_unlock;
 74             else
 75                 goto found;
 76         }
 77 scan_primary_hash://scan_primary_hash代码段是在hash表的hslot项中查找，只有当在hash2中查找更费时时才会执行
 78         if (udp_lib_lport_inuse(net, snum, hslot, NULL, sk,
 79                     saddr_comp, 0))
 80             goto fail_unlock;
 81     }
 82 found://执行sk的插入操作
 83     inet_sk(sk)->inet_num = snum;
 84     udp_sk(sk)->udp_port_hash = snum;
 85     udp_sk(sk)->udp_portaddr_hash ^= snum;
 86     if (sk_unhashed(sk)) {
 87         if (sk->sk_reuseport &&
 88             udp_reuseport_add_sock(sk, hslot, saddr_comp)) {
 89             inet_sk(sk)->inet_num = 0;
 90             udp_sk(sk)->udp_port_hash = 0;
 91             udp_sk(sk)->udp_portaddr_hash ^= snum;
 92             goto fail_unlock;
 93         }
 94
 95         sk_add_node_rcu(sk, &hslot->head);
 96         hslot->count++;
 97         sock_prot_inuse_add(sock_net(sk), sk->sk_prot, 1);
 98
 99         hslot2 = udp_hashslot2(udptable, udp_sk(sk)->udp_portaddr_hash);
100         spin_lock(&hslot2->lock);
101         if (IS_ENABLED(CONFIG_IPV6) && sk->sk_reuseport &&
102             sk->sk_family == AF_INET6)
103             hlist_add_tail_rcu(&udp_sk(sk)->udp_portaddr_node,
104                        &hslot2->head);
105         else
106             hlist_add_head_rcu(&udp_sk(sk)->udp_portaddr_node,
107                        &hslot2->head);
108         hslot2->count++;
109         spin_unlock(&hslot2->lock);
110     }
111     sock_set_flag(sk, SOCK_RCU_FREE);
112     error = 0;
113 fail_unlock:
114     spin_unlock_bh(&hslot->lock);
115 fail:
116     return error;
117 }

 如果snum==0，即没有绑定本地端口，此时执行if部分代码段，这种情况一般发生在客户端使用socket，此时内核会为它选择一个未使用的端口：

udptable中的hash公司为 jhash_1word((__force u32)saddr, net_hash_mix(net)) ^ port------>(num + net_hash_mix(net)) & mask简写一下， net_hash_mix（net）返回为0

所以大约就是sip^port; 具体就不细看hash函数了。也许不是这样的。。。。

if (!snum) {
        /*
 如果snum==0，即没有绑定本地端口，此时执行if部分代码段，这种情况一般发生在客户端使用socket，
 此时内核会为它选择一个未使用的端口：

udptable中的hash公司为 jhash_1word((__force u32)saddr, net_hash_mix(net)) ^ port---
--->(num + net_hash_mix(net)) & mask简写一下， net_hash_mix（net）返回为0

所以大约就是sip^port; 具体就不细看hash函数了。也许不是这样的。。。。

声明bitmap数组，大小为udp_table每个键值最多存储的表项，即最大端口号/哈希表大小。
端口号的值规定范围是1-65536，而哈希表一般大小是256，因此实际分配bitmap[8]。
low和high代表可用本地端口的下限和上限；remaining代表位于low和high间的端口号数目。
用随机值rand生成first，注意它是unsigned short类型，16位，表示起始查找位置；last表示终止查找位置，
first和last相差表大小保证了所有键值都会被查询一次(表的大小为偶数，所以用奇数防止落在同一个桶里面)。
随机值rand最后处理成哈希表大小的奇数倍，
之所以要是奇数倍，是为了保证哈希到同一个键值的所有端口号都能被遍历，
可以试着1开始，每次+2和每次+3，直到回到1，所遍历的数有哪些不同，
        */
        int low, high, remaining;
        unsigned int rand;
        unsigned short first, last;
        //hash表达小一般是256
        DECLARE_BITMAP(bitmap, PORTS_PER_CHAIN);//PORTS_PER_CHAIN (MAX_UDP_PORTS / UDP_HTABLE_SIZE_MIN)----65536/256

        inet_get_local_port_range(net, &low, &high);
        remaining = (high - low) + 1;

        rand = prandom_u32();
        first = reciprocal_scale(rand, remaining) + low;
        /*
         * force rand to be an odd multiple of UDP_HTABLE_SIZE
         */
        rand = (rand | 1) * (udptable->mask + 1);
        last = first + udptable->mask + 1;
        do {/* 使用first值作为端口号，从udptable的hash表中找到hslot项，重置bitmap数组全0，
        调用函数udp_lib_lport_inuse()遍历hslot项的所有表项，将所有已经使用的sport对应于bitmap的位置置1。*/
            hslot = udp_hashslot(udptable, net, first);
            bitmap_zero(bitmap, PORTS_PER_CHAIN);
            spin_lock_bh(&hslot->lock);
            udp_lib_lport_inuse(net, snum, hslot, bitmap, sk,
                        saddr_comp, udptable->log);

            snum = first;
            /*
             * Iterate on all possible values of snum for this hash.
             * Using steps of an odd multiple of UDP_HTABLE_SIZE
             * give us randomization and full range coverage.
             此时bitmap中包含了所有哈希到hslot的端口的使用情况，下面要做的就是从first位置开始，
             每次递增rand(保证哈希值不变)，查找符合条件的端口：端口在low~high的可用范围内；
             端口还没有被占用。
             do{}while循环的判断条件snum!=first和snum+=rand一起保证了所有哈希到hslot的端口号都会被遍历到。
             如果找到了可用端口号，即跳出，执行插入sk的操作，否则++first，
             查找下一个键值，直到fisrt==last，表明所有键值都已轮循一遍，仍没有结果，则退出
             */
            do {
                if (low <= snum && snum <= high &&
                    !test_bit(snum >> udptable->log, bitmap) &&
                    !inet_is_local_reserved_port(net, snum))
                    goto found;
                snum += rand;
            } while (snum != first);
            spin_unlock_bh(&hslot->lock);
        } while (++first != last);
        goto fail;

这部分是查找网上分析结果！！还没有仔细研究他的这个hash算法

问题2：由于udp是包模式！！ 每次只能copy一个包！！！能不能copy多个！！！目前是可以的！！

可以使用recvmmsg来继续降低系统调用的开销。recvmmsg是一个批量接口，它可以从socket里一次读出多个udp数据包，不像recvfrom那样一次只能读一个。如果客户端多、请求量大的话，recvmmsg的批量读就很有优势了。

就像hash表一样存在冲突！！！ 也就是读取的多个包可能不是一个客户端发过来的数据！！！！ 那怎样区分多个客户端发来的数据呢？？在udp数据部分来区分？？还是？？

看内核代码应该是通过rcvmmsg的控制信息区分。。。。。读取数据包文的时候也会带上控制信息这样就可以知道对端了