python 多进程共享全局变量之Manager()

Manager支持的类型有list,dict,Namespace,Lock,RLock,Semaphore,BoundedSemaphore,Condition,Event,Queue,Value和Array。

但当使用Manager处理list、dict等可变数据类型时,需要注意一个陷阱,即Manager对象无法监测到它引用的可变对象值的修改,需要通过触发__setitem__方法来让它获得通知。

而触发__setitem__方法比较直接的办法就是增加一个中间变量,如同在C语言中交换两个变量的值一样:int a=1;int b=2;int tmp=a;a=b;b=tmp;

python例子:

 1 from multiprocessing import Manager,Process
 2
 3 def test_manager():
 4
 5   m[0][‘id‘] = 2
 6
 7 m = Manager().list()
 8
 9 m.append({"id":1})
10
11 p = Process(target=test_manager)
12
13 p.start()
14
15 p.join()
16
17 print m[0]

执行结果:

{"id":1}

并未改变

修改test_manager()

def test_manager():
    tmp = m[0]
    tmp{"id"} = 2
    m[0] = tmp

此时执行结果即为:

{"id":2}

另外,对于Process需注意对象要可被序列化pickle

原文地址:https://www.cnblogs.com/fdzwdt/p/11357195.html

时间: 2024-11-13 20:11:03

python 多进程共享全局变量之Manager()的相关文章

一起学Python: 多线程-共享全局变量问题

多线程-共享全局变量问题 多线程开发可能遇到的问题 假设两个线程t1和t2都要对全局变量g_num(默认是0)进行加1运算,t1和t2都各对g_num加10次,g_num的最终的结果应该为20. 但是由于是多线程同时操作,有可能出现下面情况: 在g_num=0时,t1取得g_num=0.此时系统把t1调度为"sleeping"状态,把t2转换为"running"状态,t2也获得g_num=0 然后t2对得到的值进行加1并赋给g_num,使得g_num=1 然后系统又

python多线程-共享全局变量

目录 多线程-共享全局变量 多线程-共享全局变量 列表当作实参传递到线程中 总结 多线程-共享全局变量问题 多线程开发可能遇到的问题 测试1 测试2 多线程-共享全局变量 多线程-共享全局变量 import threading import time g_num = 200 def test1(): global g_num for i in range(5): g_num += 1 print("--test1, g_num = %d--" % g_num) def test2():

python多进程共享内存

from multiprocessing import Process,Manager,Lock import os import time def run_proc(dict,slip,lock): tmp=dict[slip].copy() for k in dict[slip]: tmp[k]=k+tmp[k] print('Run child process{ch}... '.format(ch=os.getpid())) with lock: dict[slip]=tmp if __n

37. Python 多进程锁 多进程共享内存

Lock组件 当我们用多进程来读写文件的时候,如果一个进程是写文件,一个进程是读文件, 如果两个文件同时进行,肯定是不行的,必须是文件写结束后,才可以进行读操作. 或者是多个进程在共享一些资源的时候,同时只能有一个进程进行访问,那就需要锁机制进行控制. 需求: 一个进程写入一个文件,一个进程追加文件,一个进程读文件,同时启动起来 我们可以通过进程的join()方法来实现,这是一种方法,本节用Lock(进程锁)来实现. 函数说明: # lock = multiprocessing.Lock() #

Python 多进程多线编程模板

一.Python 多进程多线程原理介绍 1. Python 全局解释器锁GIL a) Python的全局解释器锁GIL是互斥锁,能够防止本机多个线程一次执行Python字节码:由于CPython的内存管理在线程级别是不安全的(内存泄露),所以这个全局解释器锁是必须的.每个Python进程只能申请使用一个GIL锁,因此Python的多线程虽然是并发的但不能并行处理.Python的解释器每次只能执行一个线程,待GIL锁释放后再执行下一个线程,这样线程轮流被执行. b) Python2.x里,GIL的

Python多进程相关的坑

Python的multiprocessing模块实现了多进程功能,但官方文档上只有一些比较简单的用法,主要是使用函数作为process的target,而如何在class中使用多进程并没有多讲解.google出两篇比较详细的文章,建议从它们入门: https://pymotw.com/2/multiprocessing/basics.html https://pymotw.com/2/multiprocessing/communication.html 下面记录一下自己这周在python多进程上碰

Python多进程(multiprocessing)学习总结

简介 multiprocessing模块使用和threading包类似的API接口来产生多进程,multiprocessing包提供本地和远程的并发,通过使用subprocesses(子进程)代替threads(线程)有效的避开了GIL(Global Interpreter Lock).由于这一点,multiprocessing模块允许程序充分的利用多处理器.可以跨平台使用,包括Unix和Windows!----https://docs.python.org/2/library/multipro

python多进程那点事儿【multiprocessing库】

前言:项目中有个需求需要对产品的日志处理,按照产品中日志的某些字段,对日志进行再次划分.比如产品的日志中含有字段id,tag=1,现在需要把tag是基数的放到一个文件中,tag是偶数的放入一个文件中.这就涉及到多个文件的读写操作,一个文件一个文件读取写入那时间太久了,公司配备的单机,跑了半个多小时,光标还是一直在闪闪闪[你懂得].没办法了,还是用多进程跑吧.这就得对python中的多进程从新回顾一遍了. Q1:为什么不用多线程呢? A1:这个就需要了解python多线程的实现原理了,通过在其解释

python多进程-----multiprocessing包

multiprocessing并非是python的一个模块,而是python中多进程管理的一个包,在学习的时候可以与threading这个模块作类比,正如我们在上一篇转载的文章中所提,python的多线程并不能做到真正的并行处理,只能完成相对的并发处理,那么我们需要的就是python的多进程来完成并行处理,把所有的cpu资源都利用起来.multiprocessing的很大一部分与threading使用同一套API,只不过换到了多进程的环境.这里面要注意,对于多进程来说,win32平台和unix平