Linux下多任务间通信和同步-mmap共享内存

Linux下多任务间通信和同步-mmap共享内存

嵌入式开发交流群280352802，欢迎加入！

1.简介

共享内存可以说是最有用的进程间通信方式.两个不用的进程共享内存的意思是:同一块物理内存被映射到两个进程的各自的进程地址空间.一个进程可以及时看到另一个进程对共享内存的更新,反之亦然.

采用共享内存通信的一个显而易见的好处效率高,因为进程可以直接读写内存,而不需要任何数据的复制.对于向管道和消息队列等通信等方式,则需要在内核和用户空间进行四次的数据复制,而共享内存则只需要两次数据复制:一次从输入文件到共享内存区,另一个从共享内存区到输出文件.实际上,进程之间在共享内存时,并不总是读写少量数据后就解除映射,有新的通信时,再重新建立共享内存区域.而是保持共享区域,知道通信完毕为止,这样,数据内容就一直保存在共享内存中,并没有写回文件.共享内存中的内容往往是在解除映射时才写回文件的.因此,采用共享内存的通信方式效率非常高.

linux从2.2内核开始就支持多种共享内存方式,如mmap系统调用,Posix共享内存,以及System V共享内存.本文主要介绍mmap系统调用的原理及应用.后续的文章会讲解System V共享内存.

2.mmap系统调用

mmap系统调用是的是的进程间通过映射同一个普通文件实现共享内存.普通文件被映射到进程地址空间后,进程可以向像访问普通内存一样对文件进行访问,不必再调用read,write等操作.与mmap系统调用配合使用的系统调用还有munmap,msync等.

实际上,mmap系统调用并不是完全为了用于共享内存而设计的.它本身提供了不同于一般对普通文件的访问方式,是进程可以像读写内存一样对普通文件操作.而Posix或System V的共享内存则是纯粹用于共享内存的,当然mmap实现共享内存也是主要应用之一.

#include <sys/mman.h>
void *mmap(void *start, size_t length, int prot, int flags, int fd, off_t offset);

各个参数的说明如下:

• start:映射区的开始地址,设置为0时表示由系统决定映射区的起始地址.
• length:映射区的长度.长度单位是以内存页为单位.
• prot:期望的内存保护标志,不能与文件的打开模式冲突.是以下的某个值,可以通过or运算合理地组合在一起.
• PROT_EXEC //页内容可以被执行
• PROT_READ //页内容可以被读取
• PROT_WRITE //页可以被写入
• PROT_NONE //页不可访问
• flags:指定映射对象的类型,映射选项和映射页是否可以共享.它的值可以是一个或者多个以下位的组合体.
• MAP_FIXED //使用指定的映射起始地址,如果由start和len参数指定的内存区重叠于现存的映射空间,重叠部分将会被丢弃.如果指定的起始地址不可用,操作将会失败.并且起始地址必须落在页的边界上.
• MAP_SHARED //与其它所有映射这个对象的进程共享映射空间.对共享区的写入,相当于输出到文件.直到msync()或者munmap()被调用,文件实际上不会被更新.
• MAP_PRIVATE //建立一个写入时拷贝的私有映射.内存区域的写入不会影响到原文件.这个标志和以上标志是互斥的,只能使用其中一个.
• MAP_DENYWRITE //这个标志被忽略.
• MAP_EXECUTABLE //同上
• MAP_NORESERVE //不要为这个映射保留交换空间.当交换空间被保留,对映射区修改的可能会得到保证.当交换空间不被保留,同时内存不足,对映射区的修改会引起段违例信号.
• MAP_LOCKED //锁定映射区的页面,从而防止页面被交换出内存.
• MAP_GROWSDOWN //用于堆栈,告诉内核VM系统,映射区可以向下扩展.
• MAP_ANONYMOUS //匿名映射,映射区不与任何文件关联.
• MAP_ANON //MAP_ANONYMOUS的别称,不再被使用.
• MAP_FILE //兼容标志,被忽略.
• MAP_32BIT //将映射区放在进程地址空间的低2GB,MAP_FIXED指定时会被忽略.当前这个标志只在x86-64平台上得到支持。
• MAP_POPULATE //为文件映射通过预读的方式准备好页表.随后对映射区的访问不会被页违例阻塞.
• MAP_NONBLOCK //仅和MAP_POPULATE一起使用时才有意义.不执行预读,只为已存在于内存中的页面建立页表入口.
• fd:有效的文件描述词.一般是由open()函数返回,其值也可以设置为-1,此时需要指定flags参数中的MAP_ANON,表明进行的是匿名映射.
• offset:被映射对象内容的起点.一般设为0,表示从文件头开始映射.

函数的返回值为最后文件映射到进程空间的地址,进程可以直接操作起始地址为该值的有效地址.系统调用mmap用于共享内存时有下面两种常用的方式:

• 1)使用普通文件提供的内存映射:适用于任何进程之间.此时,需要打开或创建一个文件,然后再调用mmap,这种方式有许多特点和要注意的地方,我们在后面或举例子说明.
• 2)使用特殊文件提东匿名内存映射:适用于具有亲缘关系的进程之间.由于父子进程特殊的亲缘关系,在父进程中吊牌用mmap,然后调用fork.那么在调用fork之后,子进程急促继承父进程匿名映射后的地址空间,同样也继承mmap返回的地址,这样,父子进程就可以通过映射区进行通信了.注意,mmap返回的地址,需要由父进程共同维护.

对于任意的两个进程可以使用第一种方式,而对于具有亲缘关系的进程实现共享内存最好的方式应该是采用匿名内存映射的方式.此时,不必指定具体的文件,只要设定相应的标志即可,后面有相应的例子.

3.munmap系统调用

该系统调用在进程地址空间中解除一个映射关系,当映射关系解除后,对原来映射地址的访问将导致段错误发生.其函数原型为:

#include<sys/mman.h>
int munmap(void *start, size_t length);

其中,参数addr是调用mmap时返回的地址,len是映射区的大小.

4.msync系统调用

一般来说,进程在映射空间对共享内容的改变并不直接写回到磁盘文件中,往往在调用munmap后才执行该操作.可以通过调用msync实现磁盘上文件内容与共享内存区的内容一致.该函数的原型如下:

#include<sys/mman.h>
int msync ( void * addr, size_t len, int flags);

addr:文件映射到进程空间的地址;
len:映射空间的大小；
flags:刷新的参数设置,可以取值MS_ASYNC/MS_SYNC/MS_INVALIDATE

• 取值为MS_ASYNC(异步)时,调用会立即返回,不等到更新的完成;
• 取值为MS_SYNC(同步)时,调用会等到更新完成之后返回;
• 取MS_INVALIDATE(通知使用该共享区域的进程,数据已经改变)时,在共享内容更改之后,使得文件的其他映射失效,从而使得共享该文件的其他进程去重新获取最新值.

5.应用实例

该实例包含两个子程序,这两个子程序编译为mmap_read和mmap_write.两个程序通过命令行参数指定痛一个文件来实现共享内存方式的进程间通信.mmap_write试图打开命令行参数指定的一个普通文件,把该文件映射到进程的地址空间,然后对映射后的地址空间进行写操作.mmap_read把命令行参数指定的文件映射到进程的地址空间,然后对映射的地址空间执行读操作.这样,两个进程通过命令行参数指定同一个文件来实现共享内存方式的进程间通信.写操作操作子程序源码如下:

/**************************************************************************************/
/*简介：mmap_write共享内存，写操作子程序						 */
/*************************************************************************************/
#include <sys/mman.h>
#include <sys/types.h>
#include <fcntl.h>
#include <unistd.h>
#include <stdlib.h>
#include <string.h>
#include <stdio.h>

typedef struct
{
	char name[4];
	int  age;
}people;

int main(int argc, char** argv)
{
	int fd,i;
	people *p_map;
	char name[4];
	if (argc != 2)
	{
	    perror("usage: mmap_write <mmap file>");
	    return 1;
	}

	fd=open(argv[1],O_CREAT|O_RDWR|O_TRUNC,00777);
	lseek(fd,sizeof(people)*5-1,SEEK_SET);
	write(fd,"",1);

	p_map = (people*) mmap( NULL,sizeof(people)*10,\
		PROT_READ|PROT_WRITE,MAP_SHARED,fd,0 );
	close( fd );
	name[0] = 'a';
	name[1] = '\0';
	for(i=0; i<10; i++)
	{
		name[0] ++;
		memcpy( ( *(p_map+i) ).name, &name,sizeof(name) );
		( *(p_map+i) ).age = 20+i;
	}
	printf(" initialize over \n ");
	sleep(10);

	munmap( p_map, sizeof(people)*10 );
	printf( "umap ok \n" );
	return 0;
}

在上面的程序中,首先定义了一个people的数据格式(共享内存区的数据往往有固定的格式,由通信的各个进程决定,采用结构的方式具有普遍代表性).mmap_write首先打开或创建一个文件,并把文件的长度设为5个people结构大小.然后从mmap的返回地址开始,设置了10个people结构.然后进程睡眠10s,等待其他进程映射同一个文件,最后解除映射.读操作子程序的源代码如下:

/**************************************************************************************/
/*简介：mmap_read共享内存，读操作子程序						 */
/*************************************************************************************/
#include <sys/mman.h>
#include <sys/types.h>
#include <fcntl.h>
#include <unistd.h>
#include <stdio.h>
#include <stdlib.h>

typedef struct
{
	char name[4];
	int  age;
}people;

int main(int argc, char** argv)
{
	int fd,i;
	people *p_map;
	if (argc != 2)
	{
		perror("usage: mmap_read <mmap file>");
		return 1;
	}
	fd=open( argv[1],O_CREAT|O_RDWR,00777 );
	p_map = (people*)mmap(NULL,sizeof(people)*10,\
		PROT_READ|PROT_WRITE,MAP_SHARED,fd,0);
	close(fd);
	for(i = 0;i<10;i++)
	{
		printf( "name: %s age %d;\n",(*(p_map+i)).name, (*(p_map+i)).age );
	}
	munmap( p_map,sizeof(people)*10 );
	return 0;
}

mmap_read只是简单的映射一个文件,并以people数据结构的格式从mmap返回的地址处读取10个people结构,并输出读取的值,然后解除映射.下图是运行结果.

文件被映射后,调用mmap的进程对返回地址的访问其实是对某一内存区域的访问,暂时脱离了磁盘上文件的影响.所有对mmap返回地址空间的操作只是在内存中才有意义,只有在调用了munmap或或者msync时,才把内存中的相应内容写回磁盘文件.