mmap详解

共享内存可以说是最有用的进程间通信方式,也是最快的IPC形式, 因为进程可以直接读写内存,而不需要任何

数据的拷贝。对于像管道和消息队列等通信方式,则需要在内核和用户空间进行四次的数据拷贝,而共享内存则

只拷贝两次数据: 一次从输入文件到共享内存区,另一次从共享内存区到输出文件。实际上,进程之间在共享内

存时,并不总是读写少量数据后就解除映射,有新的通信时,再重新建立共享内存区域。而是保持共享区域,直

到通信完毕为止,这样,数据内容一直保存在共享内存中,并没有写回文件。共享内存中的内容往往是在解除映

射时才写回文件的。因此,采用共享内存的通信方式效率是非常高的。

一. 传统文件访问

UNIX访问文件的传统方法是用open打开它们, 如果有多个进程访问同一个文件, 则每一个进程在自己的地址空间都包含有该

文件的副本,这不必要地浪费了存储空间. 下图说明了两个进程同时读一个文件的同一页的情形. 系统要将该页从磁盘读到高

速缓冲区中, 每个进程再执行一个存储器内的复制操作将数据从高速缓冲区读到自己的地址空间.

二. 共享存储映射

现在考虑另一种处理方法: 进程A和进程B都将该页映射到自己的地址空间, 当进程A第一次访问该页中的数据时, 它生成一

个缺页中断. 内核此时读入这一页到内存并更新页表使之指向它.以后, 当进程B访问同一页面而出现缺页中断时, 该页已经在

内存, 内核只需要将进程B的页表登记项指向次页即可. 如下图所示:

三、mmap()及其相关系统调用

mmap()系统调用使得进程之间通过映射同一个普通文件实现共享内存。普通文件被映射到进程地址空间后,进程可以向访

问普通内存一样对文件进行访问,不必再调用read(),write()等操作。

mmap()系统调用形式如下:

void* mmap ( void * addr , size_t len , int prot , int flags , int fd , off_t offset )

mmap的作用是映射文件描述符fd指定文件的 [off,off + len]区域至调用进程的[addr, addr + len]的内存区域, 如下图所示:

参数fd为即将映射到进程空间的文件描述字,一般由open()返回,同时,fd可以指定为-1,此时须指定flags参数中的

MAP_ANON,表明进行的是匿名映射(不涉及具体的文件名,避免了文件的创建及打开,很显然只能用于具有亲缘关系的

进程间通信)。

len是映射到调用进程地址空间的字节数,它从被映射文件开头offset个字节开始算起。

prot 参数指定共享内存的访问权限。可取如下几个值的或:PROT_READ(可读) , PROT_WRITE (可写), PROT_EXEC (可执行), PROT_NONE(不可访问)。

flags由以下几个常值指定:MAP_SHARED , MAP_PRIVATE , MAP_FIXED,其中,MAP_SHARED , MAP_PRIVATE必

选其一,而MAP_FIXED则不推荐使用。

offset参数一般设为0,表示从文件头开始映射。

参数addr指定文件应被映射到进程空间的起始地址,一般被指定一个空指针,此时选择起始地址的任务留给内核来完成。函

数的返回值为最后文件映射到进程空间的地址,进程可直接操作起始地址为该值的有效地址。

四. mmap的两个例子

范例中使用的测试文件 data.txt:

Xml代码  

  1. aaaaaaaaa
  2. bbbbbbbbb
  3. ccccccccc
  4. ddddddddd

1 通过共享映射的方式修改文件

C代码  

  1. #include <sys/mman.h>
  2. #include <sys/stat.h>
  3. #include <fcntl.h>
  4. #include <stdio.h>
  5. #include <stdlib.h>
  6. #include <unistd.h>
  7. #include <error.h>
  8. #define BUF_SIZE 100
  9. int main(int argc, char **argv)
  10. {
  11. int fd, nread, i;
  12. struct stat sb;
  13. char *mapped, buf[BUF_SIZE];
  14. for (i = 0; i < BUF_SIZE; i++) {
  15. buf[i] = ‘#‘;
  16. }
  17. /* 打开文件 */
  18. if ((fd = open(argv[1], O_RDWR)) < 0) {
  19. perror("open");
  20. }
  21. /* 获取文件的属性 */
  22. if ((fstat(fd, &sb)) == -1) {
  23. perror("fstat");
  24. }
  25. /* 将文件映射至进程的地址空间 */
  26. if ((mapped = (char *)mmap(NULL, sb.st_size, PROT_READ |
  27. PROT_WRITE, MAP_SHARED, fd, 0)) == (void *)-1) {
  28. perror("mmap");
  29. }
  30. /* 映射完后, 关闭文件也可以操纵内存 */
  31. close(fd);
  32. printf("%s", mapped);
  33. /* 修改一个字符,同步到磁盘文件 */
  34. mapped[20] = ‘9‘;
  35. if ((msync((void *)mapped, sb.st_size, MS_SYNC)) == -1) {
  36. perror("msync");
  37. }
  38. /* 释放存储映射区 */
  39. if ((munmap((void *)mapped, sb.st_size)) == -1) {
  40. perror("munmap");
  41. }
  42. return 0;
  43. }

2 私有映射无法修改文件

/* 将文件映射至进程的地址空间 */

if ((mapped = (char *)mmap(NULL, sb.st_size, PROT_READ |

PROT_WRITE, MAP_PRIVATE, fd, 0)) == (void *)-1) {

perror("mmap");

}

五. 使用共享映射实现两个进程之间的通信

两个程序映射同一个文件到自己的地址空间, 进程A先运行, 每隔两秒读取映射区域, 看是否发生变化.

进程B后运行, 它修改映射区域, 然后推出, 此时进程A能够观察到存储映射区的变化

进程A的代码:

C代码  

  1. #include <sys/mman.h>
  2. #include <sys/stat.h>
  3. #include <fcntl.h>
  4. #include <stdio.h>
  5. #include <stdlib.h>
  6. #include <unistd.h>
  7. #include <error.h>
  8. #define BUF_SIZE 100
  9. int main(int argc, char **argv)
  10. {
  11. int fd, nread, i;
  12. struct stat sb;
  13. char *mapped, buf[BUF_SIZE];
  14. for (i = 0; i < BUF_SIZE; i++) {
  15. buf[i] = ‘#‘;
  16. }
  17. /* 打开文件 */
  18. if ((fd = open(argv[1], O_RDWR)) < 0) {
  19. perror("open");
  20. }
  21. /* 获取文件的属性 */
  22. if ((fstat(fd, &sb)) == -1) {
  23. perror("fstat");
  24. }
  25. /* 将文件映射至进程的地址空间 */
  26. if ((mapped = (char *)mmap(NULL, sb.st_size, PROT_READ |
  27. PROT_WRITE, MAP_SHARED, fd, 0)) == (void *)-1) {
  28. perror("mmap");
  29. }
  30. /* 文件已在内存, 关闭文件也可以操纵内存 */
  31. close(fd);
  32. /* 每隔两秒查看存储映射区是否被修改 */
  33. while (1) {
  34. printf("%s\n", mapped);
  35. sleep(2);
  36. }
  37. return 0;
  38. }

进程B的代码:

C代码  

  1. #include <sys/mman.h>
  2. #include <sys/stat.h>
  3. #include <fcntl.h>
  4. #include <stdio.h>
  5. #include <stdlib.h>
  6. #include <unistd.h>
  7. #include <error.h>
  8. #define BUF_SIZE 100
  9. int main(int argc, char **argv)
  10. {
  11. int fd, nread, i;
  12. struct stat sb;
  13. char *mapped, buf[BUF_SIZE];
  14. for (i = 0; i < BUF_SIZE; i++) {
  15. buf[i] = ‘#‘;
  16. }
  17. /* 打开文件 */
  18. if ((fd = open(argv[1], O_RDWR)) < 0) {
  19. perror("open");
  20. }
  21. /* 获取文件的属性 */
  22. if ((fstat(fd, &sb)) == -1) {
  23. perror("fstat");
  24. }
  25. /* 私有文件映射将无法修改文件 */
  26. if ((mapped = (char *)mmap(NULL, sb.st_size, PROT_READ |
  27. PROT_WRITE, MAP_SHARED, fd, 0)) == (void *)-1) {
  28. perror("mmap");
  29. }
  30. /* 映射完后, 关闭文件也可以操纵内存 */
  31. close(fd);
  32. /* 修改一个字符 */
  33. mapped[20] = ‘9‘;
  34. return 0;
  35. }

 

六. 通过匿名映射实现父子进程通信

C代码  

  1. #include <sys/mman.h>
  2. #include <stdio.h>
  3. #include <stdlib.h>
  4. #include <unistd.h>
  5. #define BUF_SIZE 100
  6. int main(int argc, char** argv)
  7. {
  8. char    *p_map;
  9. /* 匿名映射,创建一块内存供父子进程通信 */
  10. p_map = (char *)mmap(NULL, BUF_SIZE, PROT_READ | PROT_WRITE,
  11. MAP_SHARED | MAP_ANONYMOUS, -1, 0);
  12. if(fork() == 0) {
  13. sleep(1);
  14. printf("child got a message: %s\n", p_map);
  15. sprintf(p_map, "%s", "hi, dad, this is son");
  16. munmap(p_map, BUF_SIZE); //实际上,进程终止时,会自动解除映射。
  17. exit(0);
  18. }
  19. sprintf(p_map, "%s", "hi, this is father");
  20. sleep(2);
  21. printf("parent got a message: %s\n", p_map);
  22. return 0;
  23. }

七. 对mmap()返回地址的访问

linux采用的是页式管理机制。对于用mmap()映射普通文件来说,进程会在自己的地址空间新增一块空间,空间大

小由mmap()的len参数指定,注意,进程并不一定能够对全部新增空间都能进行有效访问。进程能够访问的有效地址大小取决于文件被映射部分的大小。简单的说,能够容纳文件被映射部分大小的最少页面个数决定了进程从mmap()返回的地址开始,能够有效访问的地址空间大小。超过这个空间大小,内核会根据超过的严重程度返回发送不同的信号给进程。可用如下图示说明:

总结一下就是, 文件大小, mmap的参数 len 都不能决定进程能访问的大小, 而是容纳文件被映射部分的最小页面数决定

进程能访问的大小. 下面看一个实例:

C代码  

  1. #include <sys/mman.h>
  2. #include <sys/types.h>
  3. #include <sys/stat.h>
  4. #include <fcntl.h>
  5. #include <unistd.h>
  6. #include <stdio.h>
  7. int main(int argc, char** argv)
  8. {
  9. int fd,i;
  10. int pagesize,offset;
  11. char *p_map;
  12. struct stat sb;
  13. /* 取得page size */
  14. pagesize = sysconf(_SC_PAGESIZE);
  15. printf("pagesize is %d\n",pagesize);
  16. /* 打开文件 */
  17. fd = open(argv[1], O_RDWR, 00777);
  18. fstat(fd, &sb);
  19. printf("file size is %zd\n", (size_t)sb.st_size);
  20. offset = 0;
  21. p_map = (char *)mmap(NULL, pagesize * 2, PROT_READ|PROT_WRITE,
  22. MAP_SHARED, fd, offset);
  23. close(fd);
  24. p_map[sb.st_size] = ‘9‘;  /* 导致总线错误 */
  25. p_map[pagesize] = ‘9‘;    /* 导致段错误 */
  26. munmap(p_map, pagesize * 2);
  27. return 0;
  28. }
时间: 2024-11-12 05:45:22

mmap详解的相关文章

[转载] Linux内存管理之mmap详解

转载自http://blog.chinaunix.net/uid-26669729-id-3077015.html 一. mmap系统调用 1. mmap系统调用 mmap将一个文件或者其它对象映射进内存.文件被映射到多个页上,如果文件的大小不是所有页的大小之和,最后一个页不被使用的空间将会清零.munmap执行相反的操作,删除特定地址区域的对象映射. 当使用mmap映射文件到进程后,就可以直接操作这段虚拟地址进行文件的读写等操作,不必再调用read,write等系统调用.但需注意,直接对该段内

Linux内存管理之mmap详解 (可用于android底层内存调试)

注:将android底层malloc换为mmap来获取内存,可将获取到的内存添加tag,从而再利用meminfo进行分析,可单独查看该tag的内存,从而进行分析. 一. mmap系统调用 1. mmap系统调用 mmap将一个文件或者其它对象映射进内存.文件被映射到多个页上,如果文件的大小不是所有页的大小之和,最后一个页不被使用的空间将会清零.munmap执行相反的操作,删除特定地址区域的对象映射. 当使用mmap映射文件到进程后,就可以直接操作这段虚拟地址进行文件的读写等操作,不必再调用rea

Linux内存管理之mmap详解

转发之:http://blog.chinaunix.net/uid-26669729-id-3077015.html 一. mmap系统调用 1. mmap系统调用 mmap将一个文件或者其它对象映射进内存.文件被映射到多个页上,如果文件的大小不是所有页的大小之和,最后一个页不被使用的空间将会清零.munmap执行相反的操作,删除特定地址区域的对象映射. 当使用mmap映射文件到进程后,就可以直接操作这段虚拟地址进行文件的读写等操作,不必再调用read,write等系统调用.但需注意,直接对该段

linux mmap 详解【转】

转自:http://blog.chinaunix.net/uid-20321537-id-3483405.html 一.前言mmap的具体实现以前在学习内核时学习过,但是对于其中的很多函数是一知半解的,有些只能根据其函数名来猜测其具体的功能,在本文中,一起来重新深入理解其具体的实现. 二.mmap的用户层应用void *mmap(void *start,size_t length,int prot,int flags,int fd,off_t offsize); 具体参数含义start :  指

进程间通信---mmap详解(与system V ipc通信对照)

目前,进程间通信主要集中在管道和共享内存上使用,共享内存是总所周知的直接对内存映射操作,速度最快的通信方式,缺点,可能就是数据同步没有提供同步机制 共享存储映射 存储映射I/O  存储映射I/O (Memory-mapped I/O) 使一个磁盘文件与存储空间中的一个缓冲区相映射.于是当从缓冲区中取数据,就相当于读文件中的相应字节.于此类似,将数据存入缓冲区,则相应的字节就自动写入文件.这样,就可在不使用read和write函数的情况下,使用地址(指针)完成I/O操作. 使用这种方法,首先应通知

Java网络编程和NIO详解8:浅析mmap和Direct Buffer

Java网络编程与NIO详解8:浅析mmap和Direct Buffer 本系列文章首发于我的个人博客:https://h2pl.github.io/ 欢迎阅览我的CSDN专栏:Java网络编程和NIO https://blog.csdn.net/column/details/21963.html 部分代码会放在我的的Github:https://github.com/h2pl/ Java网络编程与NIO详解8:浅析mmap和Direct Buffer 之前看到一篇文章说epoll中在维护epo

[gitbook] Android框架分析系列之Android Binder详解

请支持作者原创: https://mr-cao.gitbooks.io/android/content/android-binder.html Android Binder详解 Table of Contents 1. binder简介 2. binder的实现 2.1. IBinder类简介 2.2. IInterface类简介 2.3. BpBinder和BBinder简介 2.4. ProcessState和IPCThreadState简介 2.5. ServiceManager简介 2.

高性能Web服务之nginx应用详解

一.Nginx特性 * *模块化,目前只能将模块编译进Nginx,暂时不支持动态装卸模块.(httpd优势) * *可靠性,一个主进程(master)控制多个工作进程(worker),工作进程响应用户多个请求(httpd劣势) * *低内存消耗,(httpd劣势) * *支持热部署,(httpd相同) * *支持事件驱动I/O,AI/O,支持mmap(httpd2.4才算支持event,劣势) 二.Nginx基本架构 Nginx由一个master进程生成多个worker进程,每个worker进程

Oracle 11g数据库详解(2015-1-18更新)

Oracle 11g数据库详解 整理者:高压锅 QQ:280604597 Email:[email protected] 大家有什么不明白的地方,或者想要详细了解的地方可以联系我,我会认真回复的 1   简介 数据库操作主要有以下几步: 1.  启动.停止数据库 2.  连接.断开数据库 3.  创建.修改.删除数据库用户 4.  表空间 5.  新建.修改.删除表 6.  查询.插入.修改.删除表数据 7.  新建.修改.删除视图 8.  新建.修改.删除存储过程 9.  新建.修改.删除触发