multiprocessing.Manager共享内存的问题记录

问题:https://stackoverflow.com/questions/8640367/python-manager-dict-in-multiprocessing

使用 multiprocessing.Manager 来实现IPC的时候,遇到的问题

示例1

>>> from multiprocessing import Process, Manager
>>>
>>> manager = Manager()
>>> d = manager.dict()
>>>
>>> def f():
...     d[‘k‘].append(3)
...     print d
...
>>> if __name__ == ‘__main__‘:
...     d[‘k‘] = []
...     p = Process(target=f)
...     p.start()
...     p.join()
...
{‘k‘: []}
>>> 

示例2

>>> from multiprocessing import Process, Manager
>>>
>>> def f(d):
...     d[‘k‘].append(4)
...     print type(d),d,id(d)
...
>>> if __name__ == ‘__main__‘:
...     manager = Manager()
...     d = manager.dict({‘k‘:[]})
...     p = Process(target=f,args=(d,))
...     p.start()
...     p.join()
...     print type(d),d,id(d)
...
<class ‘multiprocessing.managers.DictProxy‘> {‘k‘: []} 140607041173456
<class ‘multiprocessing.managers.DictProxy‘> {‘k‘: []} 140607041173456
>>>

  

为什么没有append成功呢?

再看示例3

>>> from multiprocessing import Process, Manager
>>>
>>> manager = Manager()
>>> d = manager.dict()
>>>
>>> def f():
...     d[‘k‘] = 2
...     print d
...
>>> if __name__ == ‘__main__‘:
...     d[‘k‘] = []
...     p = Process(target=f)
...     p.start()
...     p.join()
...
{‘k‘: 2}
>>>

参考:http://www.cnblogs.com/havePassed/p/5168833.html

总结:

使用Manager方法时需要注意,在操作共享对象时候,除了赋值操作,其他的方法都作用在共享对象的拷贝上,并不会对共享对象生效

原文地址:https://www.cnblogs.com/standby/p/8260647.html

时间: 2024-11-04 02:10:51

multiprocessing.Manager共享内存的问题记录的相关文章

linux 共享内存shm_open实现进程间大数据交互

linux 共享内存shm_open实现进程间大数据交互 read.c #include <sys/types.h> #include <sys/stat.h> #include <fcntl.h> #include <stdio.h> #include <sys/mman.h> #include <string.h> #include <errno.h> #include <unistd.h> /* int

python共享内存

https://docs.python.org/zh-cn/3/library/multiprocessing.html 共享内存 可以使用 Value 或 Array 将数据存储在共享内存映射中.例如,以下代码: from multiprocessing import Process, Value, Array def f(n, a): n.value = 3.1415927 for i in range(len(a)): a[i] = -a[i] if __name__ == '__main

linux进程间通信之共享内存学习记录

进程 狭义定义:进程是正在运行的程序的实例(an instance of a computer program that is being executed). 广义定义:进程是一个具有一定独立功能的程序关于某个数据集合的一次运行活动.它是操作系统动态执行的基本单元,在传统的操作系统中,进程既是基本的分配单元,也是基本的执行单元. 进程的概念主要有两点:第一,进程是一个实体.每一个进程都有它自己的地址空间,一般情况下,包括文本区域(text region).数据区域(data region)和堆

Linux共享内存(一)

inux系统编程我一直看 <GNU/LINUX编程指南>,只是讲的太简单了,通常是书和网络上的资料结合着来掌握才比较全面 .在掌握了书上的内容后,再来都其他资料 . 原文链接 http://www.cnblogs.com/skyme/archive/2011/01/04/1925404.html 共享内存是系统出于多个进程之间通讯的考虑,而预留的的一块内存区.在/proc/sys/kernel/目录下,记录着共享内存的一些限制,如一个共享内存区的最大字节数shmmax,系统范围内最大共享内存区

自动共享内存管理(转)

自动共享内存管理 从Oracle 10g开始,Oracle提供了自动SGA的管理(简称ASMM,即Automatic Shared Memory Management)新特性.所谓ASMM,就是指我们不再需要手工设置shared pool.buffer pool等若干内存池的大小,而是为SGA设置一个总的大小尺寸即可.Oracle 10g数据库会根据系统负载的变化,自动调整各个组件的大小,从而使得内存始终能够流向最需要它的地方. 比如,假设某个系统,白天属于OLTP应用,因此会需要较多的buff

unix/linux共享内存应用与陷阱

unix/linux共享内存应用与陷阱 (2012-06-12 14:32) 标签:  linux  内存  分类: linux应用  共享内存是系统出于多个进程之间通讯的考虑,而预留的的一块内存区.在/proc/sys/kernel/目录下,记录着共享内存的一些限制,如一个共享内存区的最大字节数shmmax,系统范围内最大共享内存区标识符数shmmni等,可以手工对其调整,但不推荐这样做.一.应用共享内存的使用,主要有以下几个API:ftok().shmget().shmat().shmdt(

35 守护进程 互斥锁 IPC 共享内存 的方式 生产者消费者模型

守护进程 进程:一个正在运行的程序. 主进程创建守护进程: 1.守护进程会在主进程代码执行结束后就终止, 2.守护进程内无法再开启子进程,否则抛出异常. 注意:进程之间是互相独立的,主进程代码运行结束,守护进程随即终止. 例子:from multiprocessing import Processimport time def task(): print('老了....') time.sleep(2) print('睡了一会..') if __name__ == '__main__': prin

生产者消费者模型,管道,进程之间共享内存,进程池

课程回顾: 并行:在同一时间点上多个任务同时执行 并发:在同一时间段上多个任务同时执行 进程的三大基本状态: 就绪状态:所有进程需要的资源都获取到了,除了CPU 执行状态:获取到了所有资源包括CPU,进程处于运行状态 阻塞状态:程序停滞不在运行,放弃CPU,进程此时处于内存里 什么叫进程? 正在运行的程序 有代码段,数据段,PCB(进程控制块) 进程是资源分配的基本单位. 进程之间能不能直接通信? 正常情况下,多进程之间是无法进行通信的.因为每个进程都有自己独立的空间 锁: 为了多进程通信时,保

(转载)linux下的僵尸进程处理SIGCHLD信号Linux环境进程间通信(五): 共享内存(下)

Linux环境进程间通信(五): 共享内存(下) 在共享内存(上)中,主要围绕着系统调用mmap()进行讨论的,本部分将讨论系统V共享内存,并通过实验结果对比来阐述两者的异同.系统V共享内存指的是把所有共享数据放在共享内存区域(IPC shared memory region),任何想要访问该数据的进程都必须在本进程的地址空间新增一块内存区域,用来映射存放共享数据的物理内存页面. 系统调用mmap()通过映射一个普通文件实现共享内存.系统V则是通过映射特殊文件系统shm中的文件实现进程间的共享内