(转)RabbitMQ消息队列(六):使用主题进行消息分发

在上篇文章RabbitMQ消息队列(五):Routing 消息路由 中,我们实现了一个简单的日志系统。Consumer可以监听不同severity的log。但是,这也是它之所以叫做简单日志系统的原因,因为是仅仅能够通过severity设定。不支持更多的标准。

比如syslog unix的日志工具,它可以通过severity (info/warn/crit...) 和模块(auth/cron/kern...)。这可能更是我们想要的:我们可以仅仅需要cron模块的log。

为了实现类似的功能,我们需要用到topic exchange。

1. Topic exchange

对于Message的routing_key是有限制的,不能使任意的。格式是以点号“."分割的字符表。比如:"stock.usd.nyse", "nyse.vmw", "quick.orange.rabbit"。你可以放任意的key在routing_key中,当然最长不能超过255 bytes。

对于routing_key,有两个特殊字符(在正则表达式里叫元字符):

  • * (星号) 代表任意 一个单词
  • # (hash) 0个或者多个单词

请看下面一个例子:

Producer发送消息时需要设置routing_key,routing_key包含三个单词和两个点号。第一个key是描述了celerity(灵巧,敏捷),第二个是colour(色彩),第三个是species(物种):"<celerity>.<colour>.<species>"。

在这里我们创建了两个绑定: Q1 的binding key 是"*.orange.*"; Q2 是  "*.*.rabbit" 和 "lazy.#":

  • Q1 感兴趣所有orange颜色的动物
  • Q2 感兴趣所有的rabbits和所有的lazy的

比如routing_key是 "quick.orange.rabbit"将会发送到Q1和Q2中。消息"lazy.orange.elephant" 也会发送到Q1和Q2。但是"quick.orange.fox" 会发送到Q1;"lazy.brown.fox"会发送到Q2。"lazy.pink.rabbit" 也会发送到Q2,但是尽管两个routing_key都匹配,它也只是发送一次。"quick.brown.fox" 会被丢弃。

如果发送的单词不是3个呢? 答案要看情况,因为#是可以匹配0个或任意个单词。比如"orange" or "quick.orange.male.rabbit",它们会被丢弃。如果是lazy那么就会进入Q2。类似的还有 "lazy.orange.male.rabbit",尽管它包含四个单词。

Topic exchange和其他exchange

由于有"*" (star) and "#" (hash), Topic exchange 非常强大并且可以转化为其他的exchange:

如果binding_key 是 "#" - 它会接收所有的Message,不管routing_key是什么,就像是fanout exchange。

如果 "*" (star) and "#" (hash) 没有被使用,那么topic exchange就变成了direct exchange。

2. 代码实现

现在我们要refine我们上篇的日志系统。routing keys 有两个部分: "<facility>.<severity>"。

The code for emit_log_topic.py:

[python] view plaincopy

  1. #!/usr/bin/env python
  2. import pika
  3. import sys
  4. connection = pika.BlockingConnection(pika.ConnectionParameters(
  5. host=‘localhost‘))
  6. channel = connection.channel()
  7. channel.exchange_declare(exchange=‘topic_logs‘,
  8. type=‘topic‘)
  9. routing_key = sys.argv[1] if len(sys.argv) > 1 else ‘anonymous.info‘
  10. message = ‘ ‘.join(sys.argv[2:]) or ‘Hello World!‘
  11. channel.basic_publish(exchange=‘topic_logs‘,
  12. routing_key=routing_key,
  13. body=message)
  14. print " [x] Sent %r:%r" % (routing_key, message)
  15. connection.close()

The code for receive_logs_topic.py:

[python] view plaincopy

  1. #!/usr/bin/env python
  2. import pika
  3. import sys
  4. connection = pika.BlockingConnection(pika.ConnectionParameters(
  5. host=‘localhost‘))
  6. channel = connection.channel()
  7. channel.exchange_declare(exchange=‘topic_logs‘,
  8. type=‘topic‘)
  9. result = channel.queue_declare(exclusive=True)
  10. queue_name = result.method.queue
  11. binding_keys = sys.argv[1:]
  12. if not binding_keys:
  13. print >> sys.stderr, "Usage: %s [binding_key]..." % (sys.argv[0],)
  14. sys.exit(1)
  15. for binding_key in binding_keys:
  16. channel.queue_bind(exchange=‘topic_logs‘,
  17. queue=queue_name,
  18. routing_key=binding_key)
  19. print ‘ [*] Waiting for logs. To exit press CTRL+C‘
  20. def callback(ch, method, properties, body):
  21. print " [x] %r:%r" % (method.routing_key, body,)
  22. channel.basic_consume(callback,
  23. queue=queue_name,
  24. no_ack=True)
  25. channel.start_consuming()

3. 运行和结果

接收所有的log:

[python] view plaincopy

  1. python receive_logs_topic.py "#"

接收所有kern facility的log:

[python] view plaincopy

  1. python receive_logs_topic.py "kern.*"

仅仅接收critical的log:

[python] view plaincopy

  1. python receive_logs_topic.py "*.critical"

可以创建多个绑定:

[python] view plaincopy

  1. python receive_logs_topic.py "kern.*" "*.critical"

Producer产生一个log:"kern.critical" type:

[python] view plaincopy

  1. python emit_log_topic.py "kern.critical" "A critical kernel error"

课后思考题:

  • Will "*" binding catch a message sent with an empty routing key?
  • Will "#.*" catch a message with a string ".." as a key? Will it catch a message with a single word key?
  • How different is "a.*.#" from "a.#"?

尊重原创,转载请注明出处 anzhsoft: http://blog.csdn.net/anzhsoft/article/details/19633079

参考资料:

1. http://www.rabbitmq.com/tutorials/tutorial-five-python.html

时间: 2024-08-07 00:17:57

(转)RabbitMQ消息队列(六):使用主题进行消息分发的相关文章

消息队列入门(二)消息队列的开源实现

消息队列入门(二)消息队列的开源实现 关于AMQP AMQP 是 Advanced Message Queuing Protocol,即高级消息队列协议.AMQP不是一个具体的消息队列实现,而 是一个标准化的消息中间件协议.目标是让不同语言,不同系统的应用互相通信,并提供一个简单统一的模型和编程接口.目前主流的ActiveMQ和RabbitMQ都支持AMQP协议. AMQP相关的角色和职责 Producer 消息生产者 一个给exchange发送消息的程序,发送方式大致是:它首先创建一个空消息,

【消息队列】为什么要使用消息队列、消息队列优缺点??

本文首发于微信公众号[坂本先生] 原文地址:https://mp.weixin.qq.com/s/XjfuMdLZALH7h7JNXrpIpA 一.为什么使用消息队列 核心的有3个:解耦.异步.削峰 (1)解耦 传统模式: 传统模式的缺点: 系统间耦合性太强,如上图所示,系统A在代码中直接调用系统B和系统C的代码,如果将来D系统接入,系统A还需要修改代码,过于麻烦! 中间件模式: 中间件模式的的优点: 将消息写入消息队列,需要消息的系统自己从消息队列中订阅,从而系统A不需要做任何修改. (2)异

消息队列一:为什么需要消息队列(MQ)?

为什么会需要消息队列(MQ)? ########################################################################################## 主要原因是由于在高并发环境下,由于来不及同步处理,请求往往会发生堵塞,比如说,大量的insert,update之类的请求同时到达MySQL,直接导致无数的行锁表锁,甚至最后请求会堆积过多,从而触发too many connections错误.通过使用消息队列,我们可以异步处理请求,从而

消息队列如何利用标签实现消息过滤

场景介绍 一个消息队列(MQ)存储的消息,可以包含不同实际用途.如果这些消息不加区分,消费者每次消费都会按顺序拉取消息,直到完成对所有消息的消费.如果消费者只对某一类型的消息感兴趣,那么将所有消息都消费一遍必会影响消费者处理效率. 解决方案 分布式消息服务DMS是稳定可靠的消息队列服务,提供普通队列.有序队列.Kafka.ActiveMQ.RabbitMQ,兼容HTTP.TCP.AMQP协议,应用于系统解耦.异步通信.流量削峰去谷.第三方集成等场景.DMS提供消息标签的能力,支持生产者为每条消息

MQ消息队列(2)—— Java消息服务接口(JMS)

一.理解JMS   1.什么是JMS?         JMS即Java消息服务(Java Message Service)应用程序接口,API是一个消息服务的标准或者说是规范,允许应用程序组件基于JavaEE平台创建.发送.接收和读取消息.它使分布式通信耦合度更低,消息服务更加可靠以及异步性. 我们可以简单的理解:两个应用程序之间需要进行通信,我们使用一个JMS服务,进行中间的转发,通过JMS 的使用,我们可以解除两个程序之间的耦合. JMS不是消息队列,更不是某种消息队列协议.JMS是Jav

阿里云消息队列Kafka商业化:支持消息无缝迁移到云上

列Kafka彻底解决了开源产品稳定性不足的痛点,可用性达99.9%,数据可靠性99.999999%,并且支持消息无缝迁移到云上. 7月25日,阿里云宣布正式推出消息队列Kafka,全面融合开源生态.在兼容Apache生态的基础上,阿里云消息队列Kafka彻底解决了开源产品稳定性不足的痛点,可用性达99.9%,数据可靠性99.999999%,并且支持消息无缝迁移到云上. Kafka是一个分布式.高吞吐量.高可扩展性的消息队列服务,广泛用于日志收集.监控数据聚合.流式数据处理.在线和离线分析等大数据

(转)RabbitMQ消息队列(三):任务分发机制

在上篇文章中,我们解决了从发送端(Producer)向接收端(Consumer)发送“Hello World”的问题.在实际的应用场景中,这是远远不够的.从本篇文章开始,我们将结合更加实际的应用场景来讲解更多的高级用法. 当有Consumer需要大量的运算时,RabbitMQ Server需要一定的分发机制来balance每个Consumer的load.试想一下,对于web application来说,在一个很多的HTTP request里是没有时间来处理复杂的运算的,只能通过后台的一些工作线程

RabbitMQ消息队列(三):任务分发机制

在上篇文章中,我们解决了从发送端(Producer)向接收端(Consumer)发送“Hello World”的问题.在实际的应用场景中,这是远远不够的.从本篇文章开始,我们将结合更加实际的应用场景来讲解更多的高级用法. 当有Consumer需要大量的运算时,RabbitMQ Server需要一定的分发机制来balance每个Consumer的load.试想一下,对于web application来说,在一个很多的HTTP request里是没有时间来处理复杂的运算的,只能通过后台的一些工作线程

RabbitMQ消息队列(三):任务分发机制[转]

在上篇文章中,我们解决了从发送端(Producer)向接收端(Consumer)发送“Hello World”的问题.在实际的应用场景中,这是远远不够的.从本篇文章开始,我们将结合更加实际的应用场景来讲解更多的高级用法. 当有Consumer需要大量的运算时,RabbitMQ Server需要一定的分发机制来balance每个Consumer的load.接下来我们分布讲解. 应用场景就是RabbitMQ Server会将queue的Message分发给不同的Consumer以处理计算密集型的任务

RabbitMQ消息队列1: Detailed Introduction 详细介绍

1. 历史 RabbitMQ是一个由erlang开发的AMQP(Advanced Message Queue )的开源实现.AMQP 的出现其实也是应了广大人民群众的需求,虽然在同步消息通讯的世界里有很多公开标准(如 COBAR的 IIOP ,或者是 SOAP 等),但是在异步消息处理中却不是这样,只有大企业有一些商业实现(如微软的 MSMQ ,IBM 的 Websphere MQ 等),因此,在 2006 年的 6 月,Cisco .Redhat.iMatix 等联合制定了 AMQP 的公开标