同步与互斥_percpu变量

percpu变量的关键就是：要求根据CPU的个数，在内存中生成多份拷贝，并且能够根据变量名和CPU编号，正确的对各个CPU的变量进行寻址。

采用per-cpu变量有下列好处：所需数据很可能存在于处理器的缓存中，因此可以更快速地访问。如果在多处理器系统中多个CPU可能同时访问变量，会引发一些通信方面的问题，采用percpu变量恰好规避了这个问题。

这里读者只需要记住percpu变量每个CPU都有一个就行了，看完本篇文章后，再回来阅读前面加粗的话，相信会有更深刻的理解。

首先来看如何定义一个percpu变量：

DEFINE_PER_CPU(int, cpu_number);

#define DEFINE_PER_CPU(type, name) \
    __attribute__((__section__(".data.percpu"))) __typeof__(type) per_cpu__##name

上面的代码定义了一个类型为int，名字为per_cpu_cpu_number的percpu变量。__typeof__(type)得到的就是int，而per_cpu__##name得到的就是per_cpu_cpu_number，并且通过__section__把这个变量放到名为.data.percpu的数据段。因此在编译时所有的percpu变量都会统一放到.data.percpu数据段，当内核启动后，会根据检测到的cpu个数从数据段.data.percpu为各个CPU单独复制一份。start_kernel函数调用setup_per_cpu_areas()来完成这个工作，setup_per_cpu_areas定义如下：

//__per_cpu_offset数组用来保存CPU对应 percpu段 相对ptr的偏移
unsigned long __per_cpu_offset[NR_CPUS] __read_mostly;

static void __init setup_per_cpu_areas(void)
{
	unsigned long size, i;
	char *ptr;
    //取CPU的数量
	unsigned long nr_possible_cpus = num_possible_cpus();

	/* Copy section for each CPU (we discard the original) */
    /* 计算每个CPU所需要的percpu段大小。
     *
     * @PERCPU_ENOUGH_ROOM：__per_cpu_end - __per_cpu_start + PERCPU_MODULE_RESERVE
     * @ALIGN()：使percpu段大小向上对齐
     */
	size = ALIGN(PERCPU_ENOUGH_ROOM, PAGE_SIZE);
	//分配内存
    ptr = alloc_bootmem_pages(size * nr_possible_cpus);

	for_each_possible_cpu(i) {
        /* __per_cpu_start对于每个CPU来讲是个定值，它和__per_cpu_end都是由链接器生成的
         * 计算每个CPU的__per_cpu_start相对于真实存放percpu段线性地址 的偏移
         * 请参考代码下方的示意图
         * memcpy拷贝所有percpu变量至每个CPU自己的percpu段
         */
		__per_cpu_offset[i] = ptr - __per_cpu_start;
		memcpy(ptr, __per_cpu_start, __per_cpu_end - __per_cpu_start);
		ptr += size;
	}
}

那么在编译期源程序如何访问percpu变量呢？内核定义了几个宏来实现对percpu变量的访问：

//smp_processor_id()可以返回当前活动处理器的ID，用作下面的cpu参数。
#define per_cpu(var, cpu) (*({				\
	extern int simple_identifier_##var(void);	\
	RELOC_HIDE(&per_cpu__##var, __per_cpu_offset(cpu)); }))

这里我们举一个例子进行说明：假设访问per_cpu(var，1)，由于percpu变量在定义时由DEFINE_PER_CPU展开成per_cpu_var，因此RELOC_HIDE的第一个参数就是编译时per_cpu_var的地址，第二个参数__per_cpu_offset(cpu)为前面setup_per_cpu_areas计算出来的，它表示运行时复制的percpu数据区首地址与编译期确定的首地址的差值，这两个值相加就是实际存储percpu变量的地址。示意图如下：

在更（geng）新的内核（2.6.32）中，percpu变量的定义（DEFINE_PER_CPU）和存取（per_cpu(var, cpu)）方式没有发生改变，主要是__per_cpu_offset数组的初始化方式发生了改变，见arch\x86\kernel\setup_percpu.c中函数：setup_per_cpu_areas()。