PYTHON——多进程:进程间通信和数据共享

1、采用Queue队列通信

from multiprocessing import Process, Queue

def f(q,n):
    q.put([42, n, ‘hello‘])

if __name__ == ‘__main__‘:
    q = Queue()
    p_list=[]
    for i in range(3):
        p = Process(target=f, args=(q,i))
        p_list.append(p)
        p.start()
    print(q.get())
    print(q.get())
    print(q.get())
    for i in p_list:
        i.join()

2、采用Pipe管道通信

‘‘‘由PIPER()返回的两个连接对象表示管道的两端。每个连接对象都有SeNe()和ReCVE()方法(除其他之外)。注意,如果两个进程(或线程)试图同时从管道的同一端读取或写入数据,那么管道中的数据可能会损坏。当然,在使用管道的不同端部的过程中不存在腐败风险。‘‘‘
from multiprocessing import Process, Pipe

def f(conn):
    conn.send([42, None, ‘hello‘]) #子进程发送
    conn.close()

if __name__ == ‘__main__‘:
    parent_conn, child_conn = Pipe()
    p = Process(target=f, args=(child_conn,))
    p.start()
    print(parent_conn.recv())  # 主进程接收 prints "[42, None, ‘hello‘]"
    p.join()

3、采用Manager管理器对象通信

  Manager用于管理数据共享

‘‘‘Manager()返回的管理器对象控制保存Python对象的服务器进程,并允许其他进程使用代理操作它们。Manager()返回的管理器将支持类型:list,dict, Namespace, Lock, RLock,Semaphore, BoundedSemaphore, Condition, Event, Barrier, Queue, Value and Array‘‘‘
from multiprocessing import Process, Manager

def f(d, l,n):
    d[n] = ‘1‘
    d[‘2‘] = 2
    d[0.25] = None
    l.append(n)
    print(l)

if __name__ == ‘__main__‘:
    with Manager() as manager:  #with 类似 f = Open()格式
        d = manager.dict()
        l = manager.list(range(5))
        p_list = []
        for i in range(10):
            p = Process(target=f, args=(d, l,i))
            p.start()
            p_list.append(p)
        for res in p_list:
            res.join()

        print(d)
        print(l)

原文地址:https://www.cnblogs.com/chenhaiming/p/9919394.html

时间: 2024-10-14 14:40:25

PYTHON——多进程:进程间通信和数据共享的相关文章

python多进程——进程间通信

(一)进程锁 抢票的例子: # -*- coding:utf-8 -*- from multiprocessing import Process, Lock import time import json count = {'count': 1} # 仅剩最后一张票 with open('db.txt', 'w', encoding='utf-8') as f: json.dump(count, f) # 返回剩余票数 def search(): dic = json.load(open('db

Python多进程(1)——subprocess与Popen()

Python多进程方面涉及的模块主要包括: subprocess:可以在当前程序中执行其他程序或命令: mmap:提供一种基于内存的进程间通信机制: multiprocessing:提供支持多处理器技术的多进程编程接口,并且接口的设计最大程度地保持了和threading模块的一致,便于理解和使用. 本文主要介绍 subprocess 模块及其提供的 Popen 类,以及如何使用该构造器在一个进程中创建新的子进程.此外,还会简要介绍 subprocess 模块提供的其他方法与属性,这些功能上虽然没

Python多进程(multiprocessing)学习总结

简介 multiprocessing模块使用和threading包类似的API接口来产生多进程,multiprocessing包提供本地和远程的并发,通过使用subprocesses(子进程)代替threads(线程)有效的避开了GIL(Global Interpreter Lock).由于这一点,multiprocessing模块允许程序充分的利用多处理器.可以跨平台使用,包括Unix和Windows!----https://docs.python.org/2/library/multipro

python多进程-----multiprocessing包

multiprocessing并非是python的一个模块,而是python中多进程管理的一个包,在学习的时候可以与threading这个模块作类比,正如我们在上一篇转载的文章中所提,python的多线程并不能做到真正的并行处理,只能完成相对的并发处理,那么我们需要的就是python的多进程来完成并行处理,把所有的cpu资源都利用起来.multiprocessing的很大一部分与threading使用同一套API,只不过换到了多进程的环境.这里面要注意,对于多进程来说,win32平台和unix平

第十五章 Python多进程与多线程

15.1 multiprocessing multiprocessing是多进程模块,多进程提供了任务并发性,能充分利用多核处理器.避免了GIL(全局解释锁)对资源的影响. 有以下常用类: 类 描述 Process(group=None, target=None, name=None, args=(), kwargs={}) 派生一个进程对象,然后调用start()方法启动 Pool(processes=None, initializer=None, initargs=()) 返回一个进程池对象

python 多进程,实际上都没有运行,sleep

思考并行运算的代码块中,是计算密集型的.因为计算的时间复杂度比较高,跑每一个例子会耗费几天的时间.因此不存在所谓活少人多的问题. 1.是否是进程优先级的问题 答案为否,因为个进程优先级一致,而每个进程所需的内存量和计算量基本一致,所需运行时间也接近的. 2.是否是代码层面的问题 答案为否,因为可以看到已经有台机器可以正常的按照意图来跑. 3.是否是机器的问题 答案有可能,那究竟是机器的什么问题呢?在一台21核和64G内存的机器上,同样也出现了类似的问题.这应该可以排除核数目和内存占比对此事的影响

Python 多进程多线编程模板

一.Python 多进程多线程原理介绍 1. Python 全局解释器锁GIL a) Python的全局解释器锁GIL是互斥锁,能够防止本机多个线程一次执行Python字节码:由于CPython的内存管理在线程级别是不安全的(内存泄露),所以这个全局解释器锁是必须的.每个Python进程只能申请使用一个GIL锁,因此Python的多线程虽然是并发的但不能并行处理.Python的解释器每次只能执行一个线程,待GIL锁释放后再执行下一个线程,这样线程轮流被执行. b) Python2.x里,GIL的

Python 多进程实战 & 回调函数理解与实战

这篇博文主要讲下笔者在工作中Python多进程的实战运用和回调函数的理解和运用. 多进程实战 实战一.批量文件下载 从一个文件中按行读取 url ,根据 url 下载文件到指定位置,用多进程实现. #!/usr/local/python27/bin/python2.7 from multiprocessing import Process,Pool import os,time,random,sys import urllib # 文件下载函数 def filedown(url,file):  

Python多进程使用

[Python之旅]第六篇(六):Python多进程使用 香飘叶子 2016-05-10 10:57:50 浏览190 评论0 python 多进程 多进程通信 摘要:   关于进程与线程的对比,下面的解释非常好的说明了这两者的区别:     这里主要说明关于Python多进程的下面几点: 1 2 3 4 5 6 7 1.多进程的使用方法 2.进程间的通信之multiprocessing.Manager()使用 3.Python进程池 ... 关于进程与线程的对比,下面的解释非常好的说明了这两者

Python的进程间通信

进程间通讯有多种方式,包括信号,管道,消息队列,信号量,共享内存,socket等 1.共享内存 Python可以通过mmap模块实现进程之间的共享内存 mmap文件对象既像一个字符串也像一个普通文件对象.像字符串时因为我们可以改变其中的单个字符,如,obj[index] = 'a',同时我们也可以改变一小段的字符,如 obj[2:5]='aaa'.像文件对象是因为在mmap中会有操作标记,我们可以使用seek()方法来改变mmap对象的操作标记 mmap对象通过mmap()方法来构建,Windo