38. Python 多进程Manager 进程池

强大的Manager模块

上一节实现的数据共享的方式只有两种结构Value和Array。

Python中提供了强大的Manager模块,专门用来做数据共享。

他支持的类型非常多,包括:Value、Araay、list、dict、Queue、Lock等。

以下例子:

import multiprocessing
def worker(d,l):
    l += range(11, 16)
    for i in xrange(1, 6):
        key = "key{0}".format(i)
        val = "val{0}".format(i)
        d[key] = val

if __name__ == "__main__":
    manager = multiprocessing.Manager()
    d = manager.dict()
    l = manager.list()
    p = multiprocessing.Process(target=worker, args=(d, l))
    p.start()
    p.join()
    print(d)
    print(l)

打印结果:

{'key3': 'val3', 'key2': 'val2', 'key1': 'val1', 'key5': 'val5', 'key4': 'val4'}
[11, 12, 13, 14, 15]

进程池:

Pool可以提供指定数量的进程,供用户调用,当有新的请求提交到pool中时,

如果池还没有满,那么就会创建一个新的进程用来执行该请求;

但如果池中的进程数已经达到规定最大值,那么该请求就会等待,直到池中有进程结束,才会创建新的进程。

阻塞和非阻塞的区别:

Pool.apply_async     非阻塞,定义的进程池进程最大数可以同时执行。

Pool.apply            一个进程结束,释放回进程池,下一个进程才可以开始

举例:

非阻塞:

import multiprocessing
import time
def worker(msg):
    print ("#######start {0}########".format(msg))
    time.sleep(1)
    print ("#######end   {0}########".format(msg))

if __name__ == "__main__":
    pool = multiprocessing.Pool(processes=3)
    for i in xrange(1, 10):
        msg = "hello{0}".format(i)
        pool.apply_async(func=worker, args=(msg,))
    pool.close()
    pool.join()     #调用join之前,先调用close函数,否则会出错。执行完close后不会有新的进程加入到pool,join函数等待所有子进程结束
    print ("main end")

打印结果:

#######start hello1########
#######start hello2########
#######start hello3########
#######end   hello1########
#######start hello4########
#######end   hello2########
#######start hello5########
#######end   hello3########
#######start hello6########
#######end   hello4########
#######start hello7########
#######end   hello5########
#######start hello8########
#######end   hello6########
#######start hello9########
#######end   hello7########
#######end   hello8########
#######end   hello9########
main end

阻塞:

import multiprocessing
import time
def worker(msg):
    print ("#######start {0}########".format(msg))
    time.sleep(1)
    print ("#######end   {0}########".format(msg))
    
if __name__ == "__main__":
    pool = multiprocessing.Pool(processes=3)
    for i in xrange(1, 10):
        msg = "hello{0}".format(i)
        pool.apply(func=worker, args=(msg,))
    pool.close()
    pool.join()     #调用join之前,先调用close函数,否则会出错。执行完close后不会有新的进程加入到pool,join函数等待所有子进程结束
    print ("main end")

打印结果:

#######start hello1########
#######end   hello1########
#######start hello2########
#######end   hello2########
#######start hello3########
#######end   hello3########
#######start hello4########
#######end   hello4########
#######start hello5########
#######end   hello5########
#######start hello6########
#######end   hello6########
#######start hello7########
#######end   hello7########
#######start hello8########
#######end   hello8########
#######start hello9########
#######end   hello9########
main end

对比一下两种类型的输出状态即可明白。

时间: 2024-10-08 01:30:32

38. Python 多进程Manager 进程池的相关文章

Python 多进程和进程池

一,前言 进程:是程序,资源集合,进程控制块组成,是最小的资源单位 特点:就对Python而言,可以实现真正的并行效果 缺点:进程切换很容易消耗cpu资源,进程之间的通信相对线程来说比较麻烦 线程:是进程中最小的执行单位. 特点无法利用多核,无法实现真正意义上是并行效果. 优点:对于IO密集型的操作可以很好利用IO阻塞的时间 二,多进程 2.1 multiprocessing模块介绍 在上一节多线程中讲到,由于GIL的原因,多线程无法利用多核优势,如果想要充分地使用多核CPU的资源,在pytho

python多进程操作-进程池

在利用Python进行系统管理的时候,特别是同时操作多个文件目录,或者远程控制多台主机,并行操作可以节约大量的时间.当被操作对象数目不大时,可以直接利用multiprocessing中的Process动态成生多个进程,10几个还好,但如果是上百个,上千个目标,手动的去限制进程数量却又太过繁琐,这时候进程池Pool发挥作用的时候就到了. Pool可以提供指定数量的进程,供用户调用,当有新的请求提交到pool中时,如果池还没有满,那么就会创建一个新的进程用来执行该请求:但如果池中的进程数已经达到规定

Python中的进程池和线程池

0.concurrent.futures库 参考:https://docs.python.org/3/library/concurrent.futures.html 之前我们使用多线程(threading)和多进程(multiprocessing)完成常规的需求: 在启动的时候start.jon等步骤不能省,复杂的需要还要用1-2个队列. 随着需求越来越复杂,如果没有良好的设计和抽象这部分的功能层次,代码量越多调试的难度就越大. 有没有什么好的方法把这些步骤抽象一下呢,让我们不关注这些细节,轻装

Python并发编程-进程池

为什么有进程池的概念 效率问题 每次开启进程,都需要开启属于这个进程的内存空间 寄存器,堆栈 进程过多,操作系统的调度 进程池 python中的 先创建一个属于进程的池子 这个池子指定能存放多少进程 先将这些进程创建好 更高级的进程池 3,20 默认启动3个进程 处理能力不够的时候,加进程 最多20个 python中没有 from multiprocessing import Pool,Process import time #Process就无需使用了 def func(n): for i i

multiprocessing模块的多进程与进程池

multiprocessing模块的Process方法 可以利用Proces方法在一个主进程中创建几个子进程 from multiprocessing import Process import time def f1(name): time.sleep(2) print('Hell %s' % name) def f2(age): time.sleep(2) print('Hell %s' % age) if __name__ == "__main__": p = Process(t

python3多进程和进程池

#一个程序运行起来之后,代码+用到的资源称之为进程,它是操作系统分配资源的基本单位,不仅可以通过线程完成多任务,进程也是可以的#进程之间是相互独立的#cpu密集的时候适合用多进程 #多进程并发 import multiprocessing from multiprocessing import Pool import time def test1(): for i in range(10): time.sleep(1) print('test', i) def test2(): for i in

多进程和进程池

from multiprocessing import Process import os # 子进程要执行的代码 def run_proc(name): print 'Run child process %s (%s)...' % (name, os.getpid()) if __name__=='__main__': print 'Parent process %s.' % os.getpid() p = Process(target=run_proc, args=('test',)) pr

Python并发编程—进程池

进程池实现 1.必要性[1] 进程的创建和销毁过程消耗的资源较多[2] 当任务量众多,每个任务在很短时间内完成时,需要频繁的创建和销毁进程.此时对计算机压力较大[3] 进程池技术很好的解决了以上问题. 2.原理 创建一定数量的进程来处理事件,事件处理完进 程不退出而是继续处理其他事件,直到所有事件全都处理完毕统一销毁.增加进程的重复利用,降低资源消耗. 3.进程池实现 [1] 创建进程池对象,放入适当的进程 from multiprocessing import Pool Pool(proces

多进程,进程池。

1.多进程的调用 1.1 multiprocessing调用 1 from multiprocessing import Process 2 import time 3 def f(name): 4 time.sleep(1) 5 print('hello', name,time.ctime()) 6 7 if __name__ == '__main__': 8 p_list=[] 9 for i in range(3): 10 p = Process(target=f, args=('alvi