python 分布式进程体验

抽了点时间体验了一把python 分布式进程,有点像分布式计算的意思,不过我现在还没有这个需求,先把简单体验的脚本发出来,供路过的各位高手指教
注:需要先下载multiprocessing 的python包支持才行。
管理端:
cat  task_manager.py  
#!/usr/bin/env python
#coding:utf8

import random,time,Queue,json
from multiprocessing.managers import BaseManager

#发送任务的队列:

task_queue = Queue.Queue()

#接收结果的队列:

result_queue = Queue.Queue()

#从BaseManager 继承的QueueManager:
class QueueManager(BaseManager):
    pass

#把两个Queue 都注岫到网络上,callable 参数关联了Queue对象:
QueueManager.register(‘get_task_queue‘,callable=lambda:task_queue)
QueueManager.register(‘get_result_queue‘,callable=lambda:result_queue)

#绑定端口5000 设置验证码‘123456‘

manager = QueueManager(address=(‘‘,5000),authkey=‘123456‘)

#启动Queue:
manager.start()

#获得通过网络访问的Queue对象:
task = manager.get_task_queue()
result = manager.get_result_queue()

#放任务进去:
print ‘put tasks ........‘
shell_cmd = [‘date‘,‘hostname‘,‘uptime‘]
print ‘Put task \033[1;31;2m [%s] \033[0m..‘ %shell_cmd

while True:
    print ‘get result.....‘
    task.put(shell_cmd)
    r = result.get()
    print ‘Result:\033[1;32;40m %s \033[0m...‘ %r

manager.shutdown()

客户端:

#!/usr/bin/env python
#coding:utf8

import time,sys,Queue,os,commands
from multiprocessing.managers import BaseManager

#创建类似的QueueManager:
class QueueManager(BaseManager):
    pass

#由于这个queuemanager 只从网络上获取queue,所以注册时只提供名字:
QueueManager.register(‘get_task_queue‘)
QueueManager.register(‘get_result_queue‘)

#连接到服务器 也就是迍务器
server_addr = ‘10.1.10.15‘
print ‘Connect to server %s...‘ %server_addr

#端口和验证码注意保持与taskmanager.py的一致
m = QueueManager(address=(server_addr,5000),authkey=‘123456‘)
#从网络连接
m.connect()
#获取Queue的对象
task = m.get_task_queue()
result = m.get_result_queue()

#从task队列取作务,并把结果写处result队列

n = task.get(timeout=1)
print n,type(n)

s,v =commands.getstatusoutput("ifconfig  | grep ‘inet addr:‘| grep -v ‘127.0.0.1‘ | cut -d: -f2 | awk ‘{ print $1}‘")
r_dic = {v:[]}
for i in n:

    print ‘run task \033[1;36;40m %s \033[0m‘ %i
    r = os.popen(i).read().split(‘\n‘)[:-1]
    r_dic[v].append(r)
    time.sleep(1)
result.put(r_dic)
print r_dic
#处理结束:
print ‘worker exit.‘
时间: 2024-08-12 18:17:49

python 分布式进程体验的相关文章

Python 分布式进程间通讯

在Thread和Process中,应当优选Process,因为Process更稳定,而且,Process可以分布到多台机器上,而Thread最多只能分布到同一台机器的多个CPU上. Python的multiprocessing模块不但支持多进程,其中managers子模块还支持把多进程分布到多台机器上.一个服务进程可以作为调度者,将任务分布到其他多个进程中,依靠网络通信.由于managers模块封装很好,不必了解网络通信的细节,就可以很容易地编写分布式多进程程序. 举个例子:如果我们已经有一个通

python分布式进程

分布式进程可以布置在局域网之中,把安排的任务注册到局域网内,不同主机之间就可以传递信息,从而分配任务和反馈,不过并不适合返回大量数据: 首先需要一个服务器server,用来存放数据,其他机器通过局域网内ip访问到: # -*- coding: utf-8 -*- #注册进程,manager/server import multiprocessing from multiprocessing.managers import BaseManager from multiprocessing impo

python 分布式进程

分布式进程   如果已经有一个通过Queue通信的多进程程序在同一台机器上运行,希望把发送任务的进程和处理任务的进程分布到两台机器上. 通过managers模块把Queue通过网络暴露出去,就可以让其他机器的进程访问Queue了 服务进程负责启动Queue,把Queue注册到网络上,然后往Queue里面写入任务 # task_master.py import random, time, queuefrom multiprocessing.managers import BaseManager #

Python 分布式进程Master

#!/usr/bin/env python # -*- coding:utf-8 -*- # author: Changhua Gong import random, time, queue from multiprocessing.managers import BaseManager from multiprocessing import freeze_support ''' master进程:调度进程,作用分配任务和接收结果 这部分内容与官网教程,有些出入 ''' # 发送任务的对列 qu

Python 分布式进程Worker

#!/usr/bin/env python # -*- coding:utf-8 -*- # author: Changhua Gong import random, time, queue from multiprocessing.managers import BaseManager from queue import Queue ''' worker进程:执行任务,反馈结果 这部分内容与官网教程,有些出入 ''' # 从BaseManager继承QueueManager class Que

Python学习笔记__10.5章 分布式进程

# 这是学习廖雪峰老师python教程的学习笔记 1.概览 在Thread和Process中,应当优选Process,因为Process更稳定,而且,Process可以分布到多台机器上,而Thread最多只能分布到同一台机器的多个CPU上. Python的multiprocessing模块不但支持多进程,其中managers子模块还支持把多进程分布到多台机器上.依靠网络通信,一个服务进程可以作为调度者,将任务分布到其他多个进程中.由于managers模块封装很好,不必了解网络通信的细节,就可以很

python 进程和线程-进程和线程的比较以及分布式进程

进程和线程的比较 参考链接:https://www.liaoxuefeng.com/wiki/1016959663602400/1017631469467456 我们介绍了多进程和多线程,这是实现多任务最常用的两种方式.现在,我们来讨论一下这两种方式的优缺点. 首先,要实现多任务,通常我们会设计Master-Worker模式,Master负责分配任务,Worker负责执行任务,因此,多任务环境下,通常是一个Master,多个Worker. 如果用多进程实现Master-Worker,主进程就是M

【Python】进程和线程

多任务的实现方式有三种方式: 1.多进程 2.多线程 3.多进程+多线程(这种比较复杂,实际很少采用) [多进程] 1.在mac中创建子进程使用Python封装的fork()系统调用. import os pid = os.fork() pid 2.在windows上的实现. 使用multiprocessing模块的Process类. 为了观察,还加了一下端代码~ # -*- coding: utf-8 -*- from multiprocessing import Process import

四十 分布式进程

在Thread和Process中,应当优选Process,因为Process更稳定,而且,Process可以分布到多台机器上,而Thread最多只能分布到同一台机器的多个CPU上. Python的multiprocessing模块不但支持多进程,其中managers子模块还支持把多进程分布到多台机器上.一个服务进程可以作为调度者,将任务分布到其他多个进程中,依靠网络通信.由于managers模块封装很好,不必了解网络通信的细节,就可以很容易地编写分布式多进程程序. 举个例子:如果我们已经有一个通