Linux 内核:匠心独运之无锁环形队列

Kernel version Linux 2.6.12  
Author Toney  
Email vip_13031075266@163.com  
Date 2020.11.8  

目录

Linux 内核:匠心独运之无锁环形队列

1. 前言

2. Kfifo简介

3. Kfifo初始化

3.1 判断一个数是否为2的幂次方

3.2 求不小于某个数2的整数次幂

3.3 为什么要求2的幂次方呢?

4. Kfifo入队和出队

4.1 Kfifo右侧入队

4.2 Kfifo右侧+左侧入队

4.3 无符号整数溢出回绕

4. 体会


1. 前言

金庸老爷子在《神雕侠侣》中说独孤求败的玄铁重剑时,说道“重剑无锋,大巧不工”。他说的是如果个人修养达到一定的阶段,“花石草木皆可为剑”,而不需要更多技巧。在Linux内核中从来不缺少简洁、优美、高效的实现代码,缺少的是发现这些美的眼睛和毅力。在Linux内核中,代码的简洁高效并不意味采用了失传很久的武林绝技,恰恰相反,它们往往通过最基本的知识和数据结构来实现完美的代码,而kfifo可以说就是其中的一个典范。

这里用“大巧不工”来形容Linux中的无锁环形队列显然不合适,原因在于:无锁环形队列属于精雕细琢,大道至简匠心独运,简洁而不简单。它使用最基本的技术知识实现了重要的功能。下面我们便一睹其芳容。

2. Kfifo简介

本文分析的原代码版本 2.6.12
kfifo的头文件 linux-2.6.12\include\linux\kfifo.h
kfifo的源文件 linux-2.6.12\kernel\kfifo.c

kfifo是一种"First In First Out “数据结构,它采用了前面提到的环形缓冲区来实现,提供一个无边界的字节流服务。采用环形缓冲区的好处为,当一个数据元素被用掉后,其余数据元素不需要移动其存储位置,从而减少拷贝提高效率。更重要的是,kfifo采用了并行无锁技术,kfifo实现的单生产/单消费模式的共享队列是不需要加锁同步的。

并行无锁技术的由来:

当前高性能的服务器软件(例如HTTP加速器)大多都运行在多核服务器上,当前的硬件可以支持32、 64甚至更多的CPU,在这种高并发的环境下,锁竞争机制有时候比数据拷贝、上下文切换等更伤害系统的性能,因此在多核环境下,需要把重要的数据结构从锁的保护下移到无锁环境中,以此来提高软件的性能。

所以,现在无锁机制越来越流行,在不同的环境中使用不同的无锁队列可以节省开销,提高程序效率。

[1]  摘自《深入浅出DPDK》第四章同步互斥机制:4.4.1 Linux内核无锁环形缓冲

下面我们说一下kfifo的结构

  1.  struct kfifo {
  2.   unsigned char *buffer; /* the buffer holding the data */
  3.   unsigned int size; /* the size of the allocated buffer */
  4.   unsigned int in; /* data is added at offset (in % size) */
  5.   unsigned int out; /* data is extracted from off. (out % size) */
  6.   spinlock_t *lock; /* protects concurrent modifications */
  7.  };

kfifo结构中个字段的含义:

buffer 用于存放数据的缓存
size 缓冲区空间的大小,要求为2的幂次方
in 指向buffer中队头
out 指向buffer中的队尾
lock 用来同步多个生产者、多个消费者的情形

Kfifo无锁队列的应用注意事项:

  • 单生产者/单消费者无需使用锁进行同步
  • 未使用kfifo_reset()
  • 只有在消费者端使用了kfifo_reset_out()

以上三种条件都满足的情况下可以使用kfifo无锁队列。相反,如果存在多个生产者或者多个消费者,则可以通过锁来进行同步:

  • 多个生产者一个消费者模式,生产者端加锁同步
  • 单个生产者多个消费者模式。消费者端加锁同步

Kfifo作为一个基本FIFO结构,包括入队函数___kfifo_put、出队函数__kfifo_get()等基本操作。下面来一一说明。

3. Kfifo初始化

Kfifo的初始化是指为kfifo分配空间、初始化kfifo中的各项参数等操作。

  1.  /**
  2.   * kfifo_alloc - allocates a new FIFO and its internal buffer
  3.   * @size: the size of the internal buffer to be allocated.
  4.   * @gfp_mask: get_free_pages mask, passed to kmalloc()
  5.   * @lock: the lock to be used to protect the fifo buffer
  6.   *
  7.   * The size will be rounded-up to a power of 2.
  8.   */
  9.  struct kfifo *kfifo_alloc(unsigned int size, unsigned int __nocast gfp_mask, spinlock_t *lock)
  10.  {
  11.   unsigned char *buffer;
  12.   struct kfifo *ret;
  13.  
  14.   /*
  15.   * round up to the next power of 2, since our 'let the indices
  16.   * wrap' tachnique works only in this case.
  17.   */
  18.   if (size & (size - 1)) {/*如果不是2的幂次方,则向上取到2的幂次方*/
  19.   BUG_ON(size > 0x80000000);
  20.   size = roundup_pow_of_two(size);
  21.   }
  22.  
  23.   buffer = kmalloc(size, gfp_mask);
  24.   if (!buffer)
  25.   return ERR_PTR(-ENOMEM);
  26.  
  27.   ret = kfifo_init(buffer, size, gfp_mask, lock);
  28.  
  29.   if (IS_ERR(ret))
  30.   kfree(buffer);
  31.  
  32.   return ret;
  33.  }

3.1 判断一个数是否为2的幂次方

在这个kfifo_alloc()函数中,要求size需要为2的幂次方,如何实现高效的判断呢?

在二进制中,2的幂次方很容易表示:一个数只有一个bit上是1,其余全为0,例如:

十进制数表示 二进制表示 是否为2的幂次方
8 0000 1000
30 0001 1110
666 001010011010
1024 0100 0000 0000
2000 0111 1101 0000
4096 0001 0000 0000 0000

也就是说,如果我们可以判断:一个数的二进制上只有一个bit位为1,那么这个数肯定为2的幂次方。问题发生了等价转换,那么我们如何判断 一个数的二进制中包含几个1呢???。【这是面试中的一个常见问题和技巧】。方法就是:x & (x -1)==0, 则这个数二进制中只有一个1,否则包含多个1。通常使用这个方法来计算一个数中包含几个1。

[2]  《剑指offer》面试题15:二进制中1的个数

  1.  /*求一个数的二进制中1的个数*/
  2.  int numberof1(int n)
  3.  {
  4.   int count = 0;
  5.   while(n){
  6.   count++;
  7.   n = n & (n-1);
  8.   }
  9.   return count;
  10.  }

简单的说:x & (n -1)会将x二进制中最低位上的1置为0(最后一个1置为0)。因此如果n&(n-1)==0,那个说明这个数二进制中只有一个bit位为1,因此肯定是2的幂次方。

3.2 求不小于某个数2的整数次幂

我看还是直接看内核实现吧:

  1. static __inline__ int generic_fls(int x)
  2.  {
  3.   int r = 32;
  4.  
  5.   if (!x)
  6.   return 0;
  7.   if (!(x & 0xffff0000u)) {
  8.   x <<= 16;
  9.   r -= 16;
  10.   }
  11.   if (!(x & 0xff000000u)) {
  12.   x <<= 8;
  13.   r -= 8;
  14.   }
  15.   if (!(x & 0xf0000000u)) {
  16.   x <<= 4;
  17.   r -= 4;
  18.   }
  19.   if (!(x & 0xc0000000u)) {
  20.   x <<= 2;
  21.   r -= 2;
  22.   }
  23.   if (!(x & 0x80000000u)) {
  24.   x <<= 1;
  25.   r -= 1;1
  26.   }
  27.   return r;
  28.  }
  29.  
  30.  static inline unsigned long __attribute_const__ roundup_pow_of_two(unsigned long x)
  31.  {
  32.   return (1UL << generic_fls(x - 1));
  33.  }

这个效率嘛? 由于全是位运算,肯定为求模、取余等四则运算效率要高, 不能放过任何一点可以优化的地方。至于这样做的原理,自己品品吧,也是相当经典的存在。

  1.  root@ubantu:/home/toney# ./a.out
  2.  12 --- output=4
  3.  16 --- output=5
  4.  24 --- output=5
  5.  32 --- output=6
  6.  128 --- output=8
  7.  1024 --- output=11
  8.  1400 --- output=11
  9.  2040 --- output=11

3.3 为什么要求2的幂次方呢?

为了使用位运算,快, 快,不择手段的快

4. Kfifo入队和出队

__kfifo_put是Kfifo的入队函数,源码实现如下:

  1.  unsigned int __kfifo_put(struct kfifo *fifo,
  2.   unsigned char *buffer, unsigned int len)
  3.  {
  4.   unsigned int l;
  5.      
  6.   len = min(len, fifo->size - fifo->in + fifo->out);
  7.      
  8.   /* first put the data starting from fifo->in to buffer end */
  9.   l = min(len, fifo->size - (fifo->in & (fifo->size - 1)));
  10.   memcpy(fifo->buffer + (fifo->in & (fifo->size - 1)), buffer, l);
  11.  
  12.   /* then put the rest (if any) at the beginning of the buffer */
  13.   memcpy(fifo->buffer, buffer + l, len - l);
  14.  
  15.   fifo->in += len;
  16.  
  17.   return len;
  18.  }

需要说明的是Linux 2.6.12版本的内核实现中并没有使用内存屏障,而在后续版本中添加了内存屏障,它是实现无锁队列的核心和关键。这里我们就按照Linux2.6.12版本实现来说明简单原理,关于内存屏障,可以参考我的另一篇博文《什么是内存屏障? Why Memory Barriers ?》

第6行 (in - out)表示使用的空间,size - (in - out)则表示剩余的空间。通过min()来防止写越界。
第9行 in & (size - 1)表示in落在size空间指针的位置,作用相当于in%size, 但位运算效率更高。通过min获取fifo右侧剩余空间大小,防止越界
第10行 将数据拷贝到fifo右侧剩余空间
第13行 len-l表示右侧空间不足时,左侧需要填充的数据长度
第15行 移动in指针位置
   

__kfifo_put( )是Kfifo的出队函数,源码实现如下:

  1.  unsigned int __kfifo_get(struct kfifo *fifo,
  2.   unsigned char *buffer, unsigned int len)
  3.  {
  4.   unsigned int l;
  5.  
  6.   len = min(len, fifo->in - fifo->out);
  7.  
  8.   /* first get the data from fifo->out until the end of the buffer */
  9.   l = min(len, fifo->size - (fifo->out & (fifo->size - 1)));
  10.   memcpy(buffer, fifo->buffer + (fifo->out & (fifo->size - 1)), l);
  11.  
  12.   /* then get the rest (if any) from the beginning of the buffer */
  13.   memcpy(buffer + l, fifo->buffer, len - l);
  14.  
  15.   fifo->out += len;
  16.  
  17.   return len;
  18.  }

连个if都不想用,真是太抠门了,哎。你多少if-else判断下in,out,len的关系,能让我舒服点呀!!!

4.1 Kfifo右侧入队

当fifo右侧剩余的空间充足时,即size - in%size > len时,直接将数据填充到右侧即可,位置为[in, in+len]

  1.  l = min(len, fifo->size - (fifo->in & (fifo->size - 1)));
  2.  memcpy(fifo->buffer + (fifo->in & (fifo->size - 1)), buffer, l);

in % size如何高效表示呢? 对,就是in & (size - 1)。这里有一个前提:那就是需要size是2的幂次方。Why ?

首先, in % size的范围为[0, size-1]; in & (size -1)的范围为[0, size-1]。

其次,它的原理是:size为2的幂次方,size -1则表示【0,size-1】每一个bit位都是1,可以得到该范围的所有值,这也是要求size为2的幂次方的原因。

最后,两者在本质上是等价的,但是in & (size -1)只进行位操作,效率高很多。

4.2 Kfifo右侧+左侧入队

当右侧长度不够入队长度时,需要在kfifo左侧入队,此时kfifo左右的范围为【0,len-l】,左侧的范围为【in,in+l】

  1.  /* first put the data starting from fifo->in to buffer end */
  2.  l = min(len, fifo->size - (fifo->in & (fifo->size - 1)));
  3.  memcpy(fifo->buffer + (fifo->in & (fifo->size - 1)), buffer, l);
  4.  
  5.  /* then put the rest (if any) at the beginning of the buffer */
  6.  memcpy(fifo->buffer, buffer + l, len - l);

4.3 无符号整数溢出回绕

首先看一个例子:

  1.  void main()
  2.  {
  3.   unsigned int a = 0xfffffffa;
  4.   unsigned int b = a + 10;
  5.   unsigned int c = 4;
  6.   printf("a = %u\n",a);
  7.   printf("b = %u\n",b);
  8.   printf("b - a =%d\n",b-a);
  9.   printf("c - a =%d\n",c-a);
  10.  
  11.  }

结果如下:

  1.  root@ubantu:/home/toney# gcc kfifo.c
  2.  root@ubantu:/home/toney# ./a.out
  3.  a = 4294967290
  4.  b = 4
  5.  b - a =10
  6.  c - a =10
  7.  root@ubantu:/home/toney#

解释如下:

  1.  a = 4294967290;
  2.  b = 4; //a + 10溢出4,--> 0x1 00 00 00 04
  3.  但是unsigned int4字节共计32位,因此最高位无法获取,b只能获取后32bit,即0x00 00 00 04
  4.  b - a = -4294967285;即 0x1 FF FF FF F6
  5.  6 : 0110  --> 反码 1001 = 9
  6.  -4294967285在内存中的存储方式为:补码=反码+1,即0x1 00 00 00 09 +1 = 0x1 00 00 00 0a
  7.  
  8.  因此b - a = 10;
  9.  

因此,无论何时,即使发生整数回绕,kfifo中的变量都有如下关系:

妙不可言呀!

可惜我体会还是没有那么深刻。

4. 体会

看完kfifo的实现,最大的感觉就是?  不不,文明人说文明话,妙,是真的妙不可言。如果说这代码是我或者同事写的,我会觉得里面会不会有很多bug,但是如果为内核大佬写的,我觉得没有,就是没有,真的没有呀!!!

Linux 内核:匠心独运之无锁环形队列kfifo的更多相关文章

  1. 理解 Memory barrier(内存屏障)无锁环形队列

    原文:https://www.cnblogs.com/my_life/articles/5220172.html Memory barrier 简介 程序在运行时内存实际的访问顺序和程序代码编写的访问 ...

  2. 【数据结构】C++语言无锁环形队列的实现

    无锁环形队列 1.Ring_Queue在payload前加入一个头,来表示当前节点的状态 2.当前节点的状态包括可以读.可以写.正在读.正在写 3.当读完成后将节点状态改为可以写,当写完成后将节点状态 ...

  3. DPDK 无锁环形队列(Ring)详解

    DPDK 无锁环形队列(Ring) 此篇文章主要用来学习和记录DPDK中无锁环形队列相关内容,结合了官方文档说明和源码中的实现,供大家交流和学习. Author : Toney Email : vip ...

  4. linux内核无锁缓冲队列kfifo原理

    Linux kernel里面从来就不缺少简洁,优雅和高效的代码 比如,通过限定写入的数据不能溢出和内存屏障实现在单线程写单线程读的情况下不使用锁.因为锁是使用在共享资源可能存在冲突的情况下.还用设置b ...

  5. 一个无锁消息队列引发的血案(六)——RingQueue(中) 休眠的艺术 [续]

    目录 (一)起因 (二)混合自旋锁 (三)q3.h 与 RingBuffer (四)RingQueue(上) 自旋锁 (五)RingQueue(中) 休眠的艺术 (六)RingQueue(中) 休眠的 ...

  6. 一个无锁消息队列引发的血案(五)——RingQueue(中) 休眠的艺术

    目录 (一)起因 (二)混合自旋锁 (三)q3.h 与 RingBuffer (四)RingQueue(上) 自旋锁 (五)RingQueue(中) 休眠的艺术 (六)RingQueue(中) 休眠的 ...

  7. Linux内核同步:自旋锁

    linux内核--自旋锁的理解 自旋锁:如果内核配置为SMP系统,自旋锁就按SMP系统上的要求来实现真正的自旋等待,但是对于UP系统,自旋锁仅做抢占和中断操作,没有实现真正的“自旋”.如果配置了CON ...

  8. 一个无锁消息队列引发的血案(四)——月:RingQueue(上) 自旋锁

    目录 (一)起因 (二)混合自旋锁 (三)q3.h 与 RingBuffer (四)RingQueue(上) 自旋锁 (五)RingQueue(中) 休眠的艺术 (六)RingQueue(中) 休眠的 ...

  9. 一个无锁消息队列引发的血案(三)——地:q3.h 与 RingBuffer

    目录 (一)起因 (二)混合自旋锁 (三)q3.h 与 RingBuffer (四)RingQueue(上) 自旋锁 (五)RingQueue(中) 休眠的艺术 (六)RingQueue(中) 休眠的 ...

随机推荐

  1. .net 知新:【4】NuGet简介和使用

    在包管理以前我们在项目中引用第三方包通常是去下载dll放到项目中再引用,后来逐渐发展成各种包管理工具,nuget就是一种工具,适用于任何现代开发平台的基本工具可充当一种机制,通过这种机制,开发人员可以 ...

  2. CVE-2018-12613总结

    1.漏洞基础介绍 1.1漏洞背景 phpMyAdmin 是一个以PHP为基础,以Web-Base方式架构在网站主机上的MySQL的数据库管理工具,让管理者可用Web接口管理MySQL数据库.借由此We ...

  3. MobSF移动安全扫描平台本地化部署与简单汉化

    在之前的文章MobSF移动安全扫描平台环境搭建与试用中,我们用docker进行了搭建,那么我们如何在本地直接搭建呢,其实也是很简单的. 本地化部署 我们在本地安装 其实是很简单的,里面有两个文件,在不 ...

  4. 定制bash命令提示符

    使用shell时经常要知道当前路径,如果将它写在提示符里很节省很多敲pwd的动作,方法是在启动文件(.bash_profile, .bashrc)里加上: export PS1="[\u@\ ...

  5. MVVM窗体show的弹窗事件

    RestMatCutWin restMatCutWindow;//定义一个窗体的全局变量 private void RestMatCutWinExecute() { if (restMatCutWin ...

  6. Asp.Net Core 导入Excel数据到Sqlite数据库并重新导出到Excel

    Asp.Net Core 导入Excel数据到Sqlite数据库并重新导出到Excel 在博文"在Asp.Net Core 使用 Sqlite 数据库"中创建了ASP.NET Co ...

  7. JVM学习笔记之class文件结构【七】

    一.概念 1.1 无符号数: 以 u1.u2.u3.u4.u8 代表 1 个字节,2 个字节.4 个字节.8 个字节的无符号数.无符号数可以描述数字,索引引用.数量值和按照 UTF-8 编码构成的字符 ...

  8. NOIP 模拟 9 斐波那契

    题解 这是一道推规律的题. 首先,这道题送分不少,先考虑 \(70pts\),直接暴力 \(\mathcal O(n)\) 建边,\(\mathcal O(logn)\) 求 \(lca\) 其次对于 ...

  9. luoguP2601 对称的正方形

    题目描述 给出一个数字矩形,求这个矩形中有多少个子正方形满足上下对称.左右对称. 思路 我们可以用3个哈希数组 \(a\ b\ c\) 分别表示矩形从左上往右下看,从左下往右上看,从右上往左下看的样子 ...

  10. @ControllerAdvice注解(全局异常捕获)

    背景 @ControllerAdvice 注解 通常用于定义@ExceptionHandler, @InitBinder和@ModelAttribute 适用于所有@RequestMapping方法的 ...