python实现分布式进程

今天用python实现分布式,基于python2.7,注意:在linux下执行测试通过,在windows测试失败。# -*- coding: utf-8 -*-__author__ = ‘dell‘import random, time, Queuefrom multiprocessing.managers import BaseManager

# 发送任务的队列:task_queue = Queue.Queue()# 接收结果的队列:result_queue = Queue.Queue()

# 从BaseManager继承的QueueManager:class QueueManager(BaseManager):    pass

# 把两个Queue都注册到网络上, callable参数关联了Queue对象:QueueManager.register(‘get_task_queue‘, callable=lambda: task_queue)QueueManager.register(‘get_result_queue‘, callable=lambda: result_queue)# 绑定端口5000, 设置验证码‘abc‘:manager = QueueManager(address=(‘‘, 5000), authkey=‘abc‘)# 启动Queue:manager.start()# 获得通过网络访问的Queue对象:task = manager.get_task_queue()result = manager.get_result_queue()# 放几个任务进去:for i in range(10):    n = random.randint(0, 10000)    print(‘Put task %d...‘ % n)    task.put(n)# 从result队列读取结果:print(‘Try get results...‘)for i in range(10):    r = result.get(timeout=10)    print(‘Result: %s‘ % r)# 关闭:manager.shutdown()

=======================================
# -*- coding: utf-8 -*-__author__ = ‘dell‘import time, sys, Queuefrom multiprocessing.managers import BaseManager

# 创建类似的QueueManager:class QueueManager(BaseManager):    pass

# 由于这个QueueManager只从网络上获取Queue,所以注册时只提供名字:QueueManager.register(‘get_task_queue‘)QueueManager.register(‘get_result_queue‘)

# 连接到服务器,也就是运行taskmanager.py的机器:server_addr = ‘127.0.0.1‘ #这里修改,如果是同一机器运行,不需要改;如果是别的机器运行,改为相应ip即可。print(‘Connect to server %s...‘ % server_addr)# 端口和验证码注意保持与taskmanager.py设置的完全一致:m = QueueManager(address=(server_addr, 5000), authkey=‘abc‘)# 从网络连接:m.connect()# 获取Queue的对象:task = m.get_task_queue()result = m.get_result_queue()# 从task队列取任务,并把结果写入result队列:for i in range(10):    try:        n = task.get(timeout=1)        print(‘run task %d * %d...‘ % (n, n))        r = ‘%d * %d = %d‘ % (n, n, n*n)        time.sleep(1)        result.put(r)    except Queue.Empty:        print(‘task queue is empty.‘)# 处理结束:print(‘worker exit.‘)
时间: 2024-10-12 09:08:00

python实现分布式进程的相关文章

[python](windows)分布式进程问题:pickle模块不能序列化lambda函数

运行错误:_pickle.PicklingError: Can't pickle <function <lambda> at 0x000002BAAEF12F28>: attribute lookup <lambda> on __main__ failed 代码如下: 1 #!/usr/bin/env python3 2 # -*- coding: utf-8 -*- 3 4 import random, time, queue 5 from multiprocessi

python 分布式进程体验

抽了点时间体验了一把python 分布式进程,有点像分布式计算的意思,不过我现在还没有这个需求,先把简单体验的脚本发出来,供路过的各位高手指教 注:需要先下载multiprocessing 的python包支持才行. 管理端: cat task_manager.py #!/usr/bin/env python #coding:utf8 import random,time,Queue,json from multiprocessing.managers import BaseManager #发

python 进程和线程-进程和线程的比较以及分布式进程

进程和线程的比较 参考链接:https://www.liaoxuefeng.com/wiki/1016959663602400/1017631469467456 我们介绍了多进程和多线程,这是实现多任务最常用的两种方式.现在,我们来讨论一下这两种方式的优缺点. 首先,要实现多任务,通常我们会设计Master-Worker模式,Master负责分配任务,Worker负责执行任务,因此,多任务环境下,通常是一个Master,多个Worker. 如果用多进程实现Master-Worker,主进程就是M

四十 分布式进程

在Thread和Process中,应当优选Process,因为Process更稳定,而且,Process可以分布到多台机器上,而Thread最多只能分布到同一台机器的多个CPU上. Python的multiprocessing模块不但支持多进程,其中managers子模块还支持把多进程分布到多台机器上.一个服务进程可以作为调度者,将任务分布到其他多个进程中,依靠网络通信.由于managers模块封装很好,不必了解网络通信的细节,就可以很容易地编写分布式多进程程序. 举个例子:如果我们已经有一个通

多线程 及 分布式进程间的通信

#!/usr/bin/env python3 # -*- coding: utf-8 -*- #!/usr/bin/env python3 #-*- coding:utf-8 -*- #多线程 #多任务可以由多进程完成,也可以由一个进程内的多线程完成. #进程是若干线程组成,一个进程至少有一个线程 #由于线程是操作系统直接支持的执行单元,因此,高级语言通常都内置多线程的支持,python 的线程是真正的posix thread,而不是模拟出来的线程. #python 的标准库提供了两个模块:_t

Python 分布式进程间通讯

在Thread和Process中,应当优选Process,因为Process更稳定,而且,Process可以分布到多台机器上,而Thread最多只能分布到同一台机器的多个CPU上. Python的multiprocessing模块不但支持多进程,其中managers子模块还支持把多进程分布到多台机器上.一个服务进程可以作为调度者,将任务分布到其他多个进程中,依靠网络通信.由于managers模块封装很好,不必了解网络通信的细节,就可以很容易地编写分布式多进程程序. 举个例子:如果我们已经有一个通

Python学习笔记__10.5章 分布式进程

# 这是学习廖雪峰老师python教程的学习笔记 1.概览 在Thread和Process中,应当优选Process,因为Process更稳定,而且,Process可以分布到多台机器上,而Thread最多只能分布到同一台机器的多个CPU上. Python的multiprocessing模块不但支持多进程,其中managers子模块还支持把多进程分布到多台机器上.依靠网络通信,一个服务进程可以作为调度者,将任务分布到其他多个进程中.由于managers模块封装很好,不必了解网络通信的细节,就可以很

python分布式进程

分布式进程可以布置在局域网之中,把安排的任务注册到局域网内,不同主机之间就可以传递信息,从而分配任务和反馈,不过并不适合返回大量数据: 首先需要一个服务器server,用来存放数据,其他机器通过局域网内ip访问到: # -*- coding: utf-8 -*- #注册进程,manager/server import multiprocessing from multiprocessing.managers import BaseManager from multiprocessing impo

python 分布式进程

分布式进程   如果已经有一个通过Queue通信的多进程程序在同一台机器上运行,希望把发送任务的进程和处理任务的进程分布到两台机器上. 通过managers模块把Queue通过网络暴露出去,就可以让其他机器的进程访问Queue了 服务进程负责启动Queue,把Queue注册到网络上,然后往Queue里面写入任务 # task_master.py import random, time, queuefrom multiprocessing.managers import BaseManager #