python消息队列Queue

实例1:消息队列Queue,不要将文件命名为“queue.py”,否则会报异常“ImportError: cannot import name 'Queue'”

#coding=utf-8
from multiprocessing import Queue 

q = Queue(3)#初始化一个Queue对象,最多可接收三条put消息
q.put('message-1')
q.put('message-2')
print(q.full())#False,是否满了
q.put('message-3')
print(q.full())#True

#因为消息队列已满,下面的try都会抛出异常,第一个try会等待2秒后再抛出异常,第二个try会立即抛出异常
try:
	q.put('message-4',True,2)
except:
	print('except1,消息队列已满,现有消息数量:%s'%q.qsize())

try:
	q.put_nowait('message-4')
except:
	print('except2,消息队列已满,现有消息数量:%s'%q.qsize())

#判断队列是否已满
if not q.full():
	q.put_nowait('message-4')

#读取消息时,先判断消息队列是否为空,在读取
if not q.empty():
	for i in range(q.qsize()):
		print(q.get())#q.get会阻塞,q.get_nowait()不阻塞,但会抛异常 					

False

True

except1,消息队列已满,现有消息数量:3

except2,消息队列已满,现有消息数量:3

message-1

message-2

message-3

实例二:通过Process进程间通信

from multiprocessing import Process,Queue
import os,time,random 

#写数据
def write(q):
	for value in ['A','B','C']:
		print('Put %s to queue...'%value)
		q.put(value)
		time.sleep(random.random())

#读数据
def read(q):
	while True:
		if not q.empty():
			value = q.get(True)
			print('Get %s from queue...'%value)
			time.sleep(random.random())
		else:
			break

if __name__ == '__main__':
	print('start...')
	q = Queue()
	#父进程的queue传递给子进程
	pw = Process(target=write,args=(q,))
	pr = Process(target=read,args=(q,))
	#写进程
	pw.start()
	pw.join()
	#读进程
	pr.start()
	pr.join()
	print('done...')

start...

Put A to queue...

Put B to queue...

Put C to queue...

Get A from queue...

Get B from queue...

Get C from queue...

done...

实例三:通过Manager进程间通信

from multiprocessing import Manager,Pool
import os,time,random 

#写数据
def writer(q):
	print('writer启动(%s),父进程为(%s)'%(os.getpid(),os.getppid()))
	for i in 'chaoge':
		q.put(i)

#读数据
def reader(q):
	print('reader启动(%s),父进程为(%s)'%(os.getpid(),os.getppid()))
	for i in range(q.qsize()):
		print('reader 从Queue获取到消息:%s'%q.get())

if __name__ == '__main__':
	print('(%s) start'%os.getpid())
	q = Manager().Queue()#使用Manager中的Queue来初始化
	po=Pool()
	#使用阻塞模式创建进程,这样就不需要再reader中使用死循环了,可以等write执行完成后,再用reader
	po.apply(writer,(q,))
	po.apply(reader,(q,))
	#写进程
	po.close()
	po.join()
	print('(%s) End'%os.getpid())

(7720) start

writer启动(7284),父进程为(7720)

reader启动(8712),父进程为(7720)

reader 从Queue获取到消息:c

reader 从Queue获取到消息:h

reader 从Queue获取到消息:a

reader 从Queue获取到消息:o

reader 从Queue获取到消息:g

reader 从Queue获取到消息:e

(7720) End

原文地址:http://blog.51cto.com/fonyer/2058450

时间: 2024-10-10 20:26:40

python消息队列Queue的相关文章

python消息队列snakemq使用总结

Python 消息队列snakemq总结 最近学习消息总线zeromq,在网上搜了python实现的消息总线模块,意外发现有个消息队列snakemq,于是拿来研究一下,感觉还是很不错的,入手简单使用也简单(比ice强多了),就是资料太少了,只能自己抠. 一.关于snakemq的官方介绍 1纯python实现,跨平台 2自动重连接 3可靠发送--可配置的消息方式与消息超时方式 4持久化/临时 两种队列 5支持异步 -- poll() 6symmetrical -- 单个TCP连接可用于双工通讯 7

消息队列queue

一.queue 在多线程编程中,程序的解耦往往是一个麻烦的问题,以及在socket网络编程中也会有这样的问题.recv 和send之间,如果服务端有消息,问题需要发送给客户端,而那边的recv 被主程序占用,而使用多线程加 队列queue,我们就可以把消息发送到queue,而不用管对方怎么处理是否处理,同样对于服务端. 消息队列queue在多线程编程中是一个非常好用的模块. 1.1 几种不同的queue 先进先出:q1 = queue.Queue(maxsize= 0) # first in f

RabbitMQ(python实现)学习之二:Producer发送消息至多个消息队列queue(广播消息)

1.1本部分内容简介 这部分我们将要发送一个消息到多个Consumer,这部分称之为"publish/subscribe" 我们实现的方式就是发送端,发送一个消息,与此同时,多个接收端将同时接收到消息并打印在屏幕上面. 1.2exchange简介 在前面的博文中,我们的讲解是:发送端发送消息至消息队列,接收端从消息队列获取消息.现在我们来介绍一下rabbitmq的完整消息传送模型. >Producer:用来发送消息的应用程序 >queue:用来存储消息的缓存 >Con

Python消息队列(RabbitMQ)

RabbitMQ 即一个消息队列,主要是用来实现应用程序的异步和解耦,同时也能起到消息缓冲,消息分发的作用.可维护多个队列,可实现消息的一对一和广播等方式发送 RabbitMQ是一个开源的AMQP实现,服务器端用Erlang语言编写,支持多种客户端,如:Python.Ruby..NET.Java.JMS.C.PHP.ActionScript.XMPP.STOMP等,支持AJAX.用于在分布式系统中存储转发消息,在易用性.扩展性.高可用性等方面表现不俗. CentOs安装: 安装socat yum

Python 单向队列Queue模块详解

单向队列Queue,先进先出 '''A multi-producer, multi-consumer queue.''' try: import threading except ImportError: import dummy_threading as threading from collections import deque from heapq import heappush, heappop from time import monotonic as time __all__ =

Python消息队列

消息中间件 --->就是消息队列 异步方式:不需要立马得到结果,需要排队 同步方式:需要实时获得数据,坚决不能排队 例子: #多进程模块multiprocessing from multiprocessing import Process from multiprocessing import Queue def write(q): for i in ["a", "b", "c", "d"]: q.put(i) prin

Python进阶【第二篇】多线程、消息队列queue

1.Python多线程.多进程 目的提高并发 1.一个应用程序,可以有多进程和多线程 2.默认:单进程,单线程 3.单进程,多线程 IO操作,不占用CPU python的多线程:IO操作,多线程提供并发 计算性操作 多进程提高并发 4.GIL,全局解释器锁 总结: 多进程,多线程,提供并发 IO密集型:多线程 计算密集型:多进程 2.threading模块 threading模块对象 描述 Thread 表示一个线程的执行的对象 Lock 锁原语对象 RLock 可重入锁对象.使单线程可以再次获

python 消息队列-rabbitMQ 和 redis介绍使用

1.rabbitMQ 与ptyhon 进程queue 区别.进程queue 主要用户Python父子进程之间或者统一进程不同子进程.rabbit可以用户不同语言之前的相互交流,socket可以实现同样功能,但是较为复杂. 2. rabbitMQ  消息轮训.一个生产者对多个消费者时候.会自动将消息轮训给不同消费者. # Author : xiajinqi import pika connetction = pika.BlockingConnection(pika.ConnectionParame

python线程队列---queue

queue队列 :使用import queue,用法与进程Queue一样 用法介绍: class queue.Queue(maxsize=0) #先进先出 import queue q=queue.Queue() q.put('first') q.put('second') q.put('third') print(q.get()) print(q.get()) print(q.get()) ''' 结果(先进先出): first second third ''' class queue.Lif