由共享内存引发的思考

1.共享内存段被映射进进程空间之后,存在于进程空间的什么位置?共享内存段最大限制是多少?

存在于进程数据段,最大限制是0x2000000Byte

将一块内存映射到两个或者多个进程地址空间。通过指针访问该共享内存区。一般通过mmap将文件映射到进程地址共享区。

Linux对共享内存的实现,在2.6采用了内存映射技术。对于内存共享,主要集中在三个内核函数,他们是do_shmat,sys_shmat和sys_shmdt。其中,sys_shmat调用了do_shmat最终实现了共享内存的attach。sys_shmdt实现了共享内存的detach和destroy。下面我主要对这三个函数的源码进行分析。在分析之前,首先介绍共享内存实现原理。

原理:

我们知道,LINUX的进程拥有自己独立的地址空间,这点和vxworks是不同的。系统中多个进程共享同一内存段,可以通过系统提供的共享内存机制进行。当进程向系统提出创建或附着共享内存的申请的时候,内核会为每一个新的共享内存段提供一个shmid_kernel的数据结构来维护共享段和文件系统之间的关系(也可以理解成共享内存段和文件系统之间建立关系的桥梁)。下面就是这个数据结构:

这个数据结构定义在shm.h头文件中

struct shmid_kernel /* private to the kernel */

{

struct kern_ipc_perm    shm_perm; // 访问权限的信息

struct file *       shm_file; // 指向虚拟文件系统的指针

unsigned long       shm_nattch; // 有多少个进程attach上了这个共享内存段

unsigned long       shm_segsz; // 共享内存段大小

// 以下是一些访问时间的相关信息

time_t          shm_atim;

time_t          shm_dtim;

time_t          shm_ctim;

pid_t           shm_cprid;

pid_t           shm_lprid;

struct user_struct  *mlock_user;

};

该数据结构中最重要的部分就是shm_file这个字段。它指向了共享内存对应的文件。在该结构中有一个字段,f_mapping,它指向了该内存段使用的页面(物理内存)。同时,结构中,也包含一个字段,f_path,用于指向文件系统中的文件(dentry->inode),这样就建立了物理内存和文件系统的桥梁。当进程需要创建或者attach共享内存的时候,在用户态,会先向虚拟内存系统申请各自的vma_struct,并将其插入到各自任务的红黑树中,该结构中有一个成员vm_file,它指向的就是struct file(shm_file)。这样虚拟内存、共享内存(文件系统)和物理内存就建立了连接。

接着我们来看看主要的函数:

do_shmat:

1.         这个函数首先根据shared memory的id,在内核中查找相应的shmid_struct。

shp = shm_lock_check(ns, shmid);

if (IS_ERR(shp)) {

err = PTR_ERR(shp);

goto out;

}

2.         对访问者进行访问权限检查

if (ipcperms(&shp->shm_perm, acc_mode))

goto out_unlock;

3.         获取共享内存对应的文件的信息。

获取文件表项

path.dentry = dget(shp->shm_file->f_path.dentry);

获取挂接点

path.mnt    = shp->shm_file->f_path.mnt;

共享内存引用计数自增

shp->shm_nattch++;

通过i节点获取文件大小

size = i_size_read(path.dentry->d_inode);

4.         分配相应的数据结构,并进行初始化。

err = -ENOMEM;

从slab分配其中分配shm_file_data数据结构

sfd = kzalloc(sizeof(*sfd), GFP_KERNEL);

if (!sfd)

goto out_put_dentry;

分配一个struct file的数据结构

file = alloc_file(path.mnt, path.dentry, f_mode, &shm_file_operations);

if (!file)

goto out_free;

初始化file。

file->private_data = sfd;

file->f_mapping = shp->shm_file->f_mapping;

sfd->id = shp->shm_perm.id;

sfd->ns = get_ipc_ns(ns);

sfd->file = shp->shm_file;

sfd->vm_ops = NULL;

5.         最后进行内存映射,完成attach操作。

user_addr = do_mmap (file, addr, size, prot, flags, 0);

sys_shmat:

他是系统调用函数,他调用了do_shmat。

sys_shmdt:

首先查找相应的vma,如果找到执行ummap操作。

时间: 2024-12-16 19:32:05

由共享内存引发的思考的相关文章

曲演杂坛--一条DELETE引发的思考

原文:曲演杂坛--一条DELETE引发的思考 场景介绍: 我们有一张表,专门用来生成自增ID供业务使用,表结构如下: CREATE TABLE TB001 ( ID INT IDENTITY(1,1) PRIMARY KEY, DT DATETIME ) 每次业务想要获取一个新ID,就执行以下SQL: INSERT INTO TB001(DT) SELECT GETDATE(); SELECT @@IDENTITY 由于这些数据只需保留最近一天的数据,因此建立一个SQL作业来定期删除数据,删除脚

Linux进程间通信--mmap()共享内存(二)

内核怎样保证各个进程寻址到同一个共享内存区域的内存页面 1.page cache及swap cache中页面的区分:一个被访问文件的物理页面都驻留在page cache或swap cache中,一个页面的所有信息由struct page来描述.struct page中有一个域为指针mapping ,它指向一个struct address_space类型结构.page cache或swap cache中的所有页面就是根据address_space结构以及一个偏移量来区分的. 2.文件与addres

C# 进程间共享内存通信方式

从别处看到一篇文章做进程间通信很好使,唯一的问题是,需要注意using的用法,Using有个用法3, using 语句允许程序员指定使用资源的对象应当何时释放资源.using 语句中使用的对象必须实现 IDisposable 接口.此接口提供了 Dispose 方法,该方法将释放此对象的资源. ①可以在 using 语句之中声明对象.     Font font2 = new Font("Arial", 10.0f);     using (font2)     {         /

多线程中简单的++操作,所引发的思考

一句简单的g_nLoginCount++操作,转换成汇编语言就成了上面的三句话,假如现在我们有两个线程,当第一个线程执行到第二个汇编时,此时第二个线程启动,他又从内存中读取g_nLoginCount,但这时第一个线程已经将g_nLoginCount做了加法操作,只是没有将其移回内存,这样的话这个加法操作形同虚设,这样计算的结果是不可预知的!!!! 多线程中简单的++操作,所引发的思考

(转)Linux环境进程间通信系列(五):共享内存

原文地址:http://www.cppblog.com/mydriverc/articles/29741.html 共享内存可以说是最有用的进程间通信方式,也是最快的 IPC 形式.两个不同进程 A . B 共享内存的意思是,同一块物理内存被映射到进程 A . B 各自的进程地址空间.进程 A 可以即时看到进程 B 对共享内存中数据的更新,反之亦然.由于多个进程共享同一块内存区域,必然需要某种同步机制,互斥锁和信号量都可以. 采用共享内存通信的一个显而易见的好处是效率高,因为进程可以直接读写内存

Linux进程间通信(消息队列/信号量+共享内存)

写在前面 不得不说,Deadline果真是第一生产力.不过做出来的东西真的是不堪入目,于是又花了一早上重写代码. 实验内容 进程通信的邮箱方式由操作系统提供形如 send()和 receive()的系统调用来支持,本实验要求学生首先查找资料了解所选用操作系统平台上用于进程通信的系统调用具体形式,然后使用该系统调用编写程序进行进程间的通信,要求程序运行结果可以直观地体现在界面上.在此基础上查找所选用操作系统平台上支持信号量机制的系统调用具体形式,运用生产者与消费者模型设计实现一个简单的信箱,该信箱

Kubernetes中Pod间共享内存方案

摘要:一些公共服务组件在追求性能过程中,与业务耦合太紧,造成在制作基础镜像时,都会把这些基础组件都打包进去,因此当业务镜像启动后,容器里面一大堆进程,这让Kubernetes对Pod的管理存在很大隐患.为了让业务容器瘦身,更是为了基础组件自身的管理更独立和方便,将基础组件从业务镜像中剥离并DaemonSet容器化部署.然而一些基础组件Agent与业务Pod之间通过共享内存的方式进行通信,同一Node中跨Pod的共享内存方案是首先要解决的问题. 为什么要将公共基础组件Agent进行DaemonSe

生产者消费者模型,管道,进程之间共享内存,进程池

课程回顾: 并行:在同一时间点上多个任务同时执行 并发:在同一时间段上多个任务同时执行 进程的三大基本状态: 就绪状态:所有进程需要的资源都获取到了,除了CPU 执行状态:获取到了所有资源包括CPU,进程处于运行状态 阻塞状态:程序停滞不在运行,放弃CPU,进程此时处于内存里 什么叫进程? 正在运行的程序 有代码段,数据段,PCB(进程控制块) 进程是资源分配的基本单位. 进程之间能不能直接通信? 正常情况下,多进程之间是无法进行通信的.因为每个进程都有自己独立的空间 锁: 为了多进程通信时,保

php 共享内存

转:php 共享内存 共享内存主要用于进程间通信 php中的共享内存有两套扩展可以实现 1.shmop  编译时需要开启 --enable-shmop 参数 实例: $shm_key = ftok(__FILE__, 't'); /** 开辟一块共享内存 int $key , string $flags , int $mode , int $size $flags: a:访问只读内存段 c:创建一个新内存段,或者如果该内存段已存在,尝试打开它进行读写 w:可读写的内存段 n:创建一个新内存段,如