RabbitMQ基本概念和使用

RabbitMQ是一个消息代理,核心原理:发送消息,接收消息。

RabbitMQ主要用于组件之间的解耦,消息发送者无需知道消息使用者的存在,反之亦然。

        单向解耦                                        双向解耦(如:RPC)

例如一个日志系统,很容易使用RabbitMQ简化工作量,一个Consumer进行消息的正常处理,另一个Consumer复制对消息进行日志记录,只要在程序中指定两个Consumer所监听的queue以相同的方式绑定到同一个exchange即可,剩下的消息分发工作由RabbitMQ完成。

安装rabbitmq,请参考官网

首先通过一个非常简单的”hello world“例子介绍如何使用RabbitMQ,然后再介绍其涉及的基本概念并对交换机和队列多做点介绍。

一、helloworld例子

本例非常简单——发送一个消息”hello world“,然后获取它并输出到屏幕。

总共需要两个程序,一个发送消息叫send.py,一个接受消息并打印消息内容叫receive.py。

该图为helloworld例子的原理图:生产者send.py(Productor)把消息(”hello world“)发送到一个名为”queue“的队列中,消费者receive.py从这个队列中获取消息。接下来看代码:

send.py(发送消息)

#!/usr/bin/env python
import pika
#第一步,连接RabbitMq服务器
rabbit_username=‘xxx‘
rabbit_password=‘xxx‘
credentials = pika.PlainCredentials(rabbit_username, rabbit_password)
connection = pika.BlockingConnection(pika.ConnectionParameters( host=‘x.x.x.x‘,credentials=credentials))#channel是进行消息读写的通道
channel = connection.channel()

#第二步,创建一个名为queue的队列,然后把消息发送到这个队列

channel.queue_declare(queue=‘queue‘)

#第三步,现在可以发送消息,但是RabbitMQ不能把消息直接发送到队列,要发送到交换器,这个稍后介绍,这里使用默认交换器(exchange),它使用一个空字符串标#识,routing_key参数必须指定为队列名称,这里为queue
channel.basic_publish(exchange=‘‘,
                      routing_key=‘queue‘,
                      body=‘hello world‘)
print "send.py:send message ‘hello world‘,wait for receive.py deal with this message"

#退出程序前,通过关闭连接保证消息已经投递到RabbitMq
connection.close()

receive.py(获取数据)

print ‘ [*] Waiting for messages. To exit press CTRL+C‘

#!/usr/bin/env python
import pika

#第一步,同样连接RabbitMq服务器
rabbit_username=‘xxx‘
rabbit_password=‘xxx‘
credentials = pika.PlainCredentials(rabbit_username, rabbit_password)
connection = pika.BlockingConnection(pika.ConnectionParameters( host=‘x.x.x.x‘,credentials=credentials))
channel = connection.channel()

#为确保队列存在,再次执行queue_declare创建一个队列,我们可以多次运行该命令,但是只要一个队列会创建
#因为不能保证send.py先执行还是receive.py先执行,所以重复声明队列来确保其存在
channel.queue_declare(queue=‘hellolxy‘)

#第三步,定义一个回调函数,当获得消息时,Pika库调用这个回调函数来处理消息,该回调函数将消息内容打印到屏幕
def callback(ch, method, properties, body):
    print "receive.py: Received message %r" % (body,)

#第四步,告诉rabbbitMq回调函数将从queue队列接收消息
channel.basic_consume(callback,
                      queue=‘queue‘,
                      no_ack=True)

#第五步,输入一个无限循环来等待消息数据并运行回调函数
print ‘ [*] Waiting for messages. To exit press CTRL+C‘
channel.start_consuming()

现在在终端运行程序。首先,用send.py发送一条消息:

$ python send.py
send.py:send message ‘hello world‘,wait for receive.py deal with this message

生产者(producer)程序send.py每次运行后就会停止。现在运行receive.py来接收消息:

$ python receive.py
receive.py: Received message ‘hello world‘
 [*] Waiting for messages. To exit press CTRL+C

成功了!现在已经通过RabbitMQ发送了第一条消息。但是receive.py程序并没有退出,它一直在准备获取消息,可以通过ctrl-c来中断它。

二、RabbitMQ基本概念

总结一下发送接收消息的过程:

通过上面例子对RabbitMQ有一个感性认识后,现在来介绍RabbitMQ中的基本概念。

Broker:消息队列服务器实体

消息:每个消息都有一个路由键(routing key)的属性。就是一个简单的字符串。

connection:应用程序与broker的网络连接。

channel:几乎所有的操作都在channel中进行,channel是进行消息读写的通道。客户端可建立多个channel,每个channel代表一个会话任务。

交换机:接收消息,根据路由键转发消息到绑定的队列

绑定:一个绑定就是基于路由键将交换机和队列连接起来的路由规则,所以交换机不过就是一个由绑定构成的路由表。

举例:一个具有路由键“key1”的消息要发送到两个队列,queueA和queueB。要做到这点就要建立两个绑定,每个绑定连接一个交换机和一个队列。两者都是由路由键“key1”触发,这种情况,交换机会复制一份消息并把它们分别发送到两个队列中。

队列:消息的容器,也是消息的终点。一个消息可投入一个或多个队列。消息一直在队列里面,等待消费者连接到这个队列将其取走。

三、交换机

交换机用来接收消息,转发消息到绑定的队列,是rabbitMq中的核心。

交换机共有4种类型:direct,topic,headers和fanout。

为什么不创建一种交换机来处理所有类型的路由规则?因为每种规则匹配时的CPU开销是不同的,所以根据不同需求选择合适交换机。

举例:一个"topic"类型的交换机会将消息的路由键与类似“dog.*”的模式进行匹配。一个“direct”类型的交换机会将路由键与“dogs”进行比较。匹配末端通配符比直接比较消耗更多的cpu,所以如果用不到“topic”类型交换机带来的灵活性,就通过“direct”类型交换机获得更高的处理效率。

1、Direct交换机:转发消息到routingKey指定队列(完全匹配,单播)。

routingKey与队列名完全匹配,如果一个队列绑定到交换机要求路由键为“dog”,则只转发routingkey标记为dog的消息,不会转发dog.puppy,也不会转发dog.guard等。

2、Topic交换机:按规则转发消息(最灵活,组播)

Topic类型交换机通过模式匹配分配消息的routing-key属性。将路由键和某个模式进行匹配,此时队列需要绑定到一个模式上。

它将routing-key和binding-key的字符串切分成单词。这些单词之间用点隔开。它同样也会识别两个通配符:符号“#”和符号“*”。#匹配0个或多个单词,*匹配不多不少一个单词。

例如,binding key:*.stock.#匹配routing key: usd.stock和eur.stock.db,但是不匹配stock.nana。

例如,“audit.#”能够匹配到“audit.irs.corporate”,但是“audit.*”只会匹配到“audit.irs”。

3、Fanout交换机:转发消息到所有绑定队列(最快,广播)

fanout交换机不处理路由键,简单的将队列绑定到交换机上,每个发送到交换机的消息都会被转发到与该交换机绑定的所有队列上。

很像子网广播,每台子网内的主机都获得了一份复制的消息。Fanout交换机转发消息是最快的。

4、Note

  • 如果没有队列绑定在交换机上,则发送到该交换机上的消息会丢失。
  • 一个交换机可以绑定多个队列,一个队列可以被多个交换机绑定。
  • 还有一些其他类型的交换机类型,如header、failover、system等,现在在当前的RabbitMQ版本中均未实现。
  • 因为交换机是命名实体,声明一个已经存在的交换机,但是试图赋予不同类型是会导致错误。客户端需要删除这个已经存在的交换机,然后重新声明并且赋予新的类型。
  • 交换机的属性:
    • 持久性:如果启用,交换机将会在server重启前都有效。
    • 自动删除:如果启用,那么交换机将会在其绑定的队列都被删掉之后删除自身。
    • 惰性:如果没有声明交换机,那么在执行到使用的时候会导致异常,并不会主动声明。

四、队列

  • 队列的属性:

    • 持久性:如果启用,队列将在Server服务重启前都有效。
    • 自动删除:如果启用,那么队列将会在所有的消费者停止使用之后自动删除自身。
    • 惰性:如果没有声明队列,那么在执行到使用的时候会导致异常,并不会主动声明。
    • 排他性:如果启用,队列只能被声明它的消费者使用。  

深入了解可参考:

AMQP协议

RabbitMQ+Python入门经典 兔子和兔子窝

官网教程

Hello world

工作队列

上面两篇是翻译成中文的,剩下的都没有翻译,可参考英文版

RabbitMQ Tutorials

python采用pika库使用rabbitmq总结,多篇笔记和示例

时间: 2024-10-04 06:22:11

RabbitMQ基本概念和使用的相关文章

RabbitMQ 核心概念及与 Spring Boot 2 的整合

RabbitMQ 简介 RabbitMQ 是什么 RabbitMQ 是一个用 Erlang 编写的开源的消息队列中间件,它实现了 AMQP 协议(其实还实现了 MTQQ 等消息协议).和其他两个主流的消息队列中间件 Kafka 和 RocketMQ 相比,拥有更低的延迟.更高的稳定性.更完备的功能.更完善的文档支持以及较活跃的开源社区支持,但是在吞吐量上和分布式扩展能力上逊色一些. AMQP 是什么 AMQP(Advanced Message Queuing Protocol),高级消息队列协议

RabbitMQ基本概念

RabbitMQ是一种基于AMQP(Advanced Message Queuing Protocol)的消息总线开源实现,下面讲述一下其基本概念: 消息通信包括生产者.消费者.代理.生产者创建消息,并发布到代理服务器(RabbitMQ),消费者连接到代理服务器上并绑定订阅队列,接收代理服务器发来的消息. 信道:建立在"真实"TCP连接内的虚拟连接,在一条TCP连接上创建多少条信道没有限制,并且信道之间互不干扰,不仅确保私密性,并且有效节省了创建.销毁TCP连接的系统开销. 队列:是消

RabbitMQ基础概念详细介绍

你是否遇到过两个(多个)系统间需要通过定时任务来同步某些数据?你是否在为异构系统的不同进程间相互调用.通讯的问题而苦恼.挣扎?如果是,那么恭喜你,消息服务让你可以很轻松地解决这些问题. 消息服务擅长于解决多系统.异构系统间的数据交换(消息通知/通讯)问题,你也可以把它用于系统间服务的相互调用(RPC).本文将要介绍的RabbitMQ就是当前最主流的消息中间件之一. RabbitMQ简介 AMQP,即Advanced Message Queuing Protocol,高级消息队列协议,是应用层协议

rabbitmq - 基本概念

1. RabbitMQ主要有下面的概念组成: producer, channel, exchange, queue, consumer, 2. producer, 消息的发布方. 本身不是RabbitMQ的一部分而是RabbitMQ的客户端. 3. channel, channel也可以认为是connection. producer通过channel和RabbitMQ连接在一起. producer通过channel来指定其期望使用的exchange和queue. 4. exchange, 负责消

rabbitmq 基础概念介绍

[引言] 你是否遇到过两个(多个)系统间需要通过定时任务来同步某些数据?你是否在为异构系统的不同进程间相互调用.通讯的问题而苦恼.挣扎?如果是,那么恭喜你,消息服务让你可以很轻松地解决这些问题. 消息服务擅长于解决多系统.异构系统间的数据交换(消息通知/通讯)问题,你也可以把它用于系统间服务的相互调用(RPC).本文将要介绍的RabbitMQ就是当前最主流的消息中间件之一. [RabbitMQ简介] AMQP,即Advanced Message Queuing Protocol,高级消息队列协议

RabbitMQ 基础概念

Broker:消息协商器.消息队列的实体,它在TCP/IP等端口上监听AMQ消息 vHost:虚拟主机.功能上类似于web的虚拟主机,都是把数据按照功能或项目的不同划分为不同的虚拟主机:用户只被授予访问虚拟主机的权限,而没有其他比这高级的访问控制措施.客户端与Broker沟通需要先建立连接,这些连接仅限于连接用户和虚拟主机. channel:通道.客户端在连接中声明一个通道,这个通道是客户与Broker之间的一个逻辑连接:客户端的操作都是通过通道来实现的.具体的操作需要客户端声明相应的组件. 常

RabbitMQ基础概念

消息的确认 RabbitMQ需要对每一条发送的消息进行确认.消费者必须通过AMQP的basic.ack命令显式地向RabbitMQ发送一个确认,或者在订阅到队列的时候就将auto_ack参数设置为true.当auto_ack为true时,一旦消费者接收消息,RabbitMQ会自动视其确认了消息.需要注意的是消费者对消息的确认和告诉生产者消息已经被接收了这两件事毫不相关.以此,消费者通过确认命令告诉RabbitMQ它已经确认地接收到消息,同时RabbitMQ才能安全的把消息从队列中删除. 如果消费

RabbitMQ基础概念详解(一)——环境配置及模拟生产者和消费者简单消息发送

一.简介: RabbitMq 是实现了高级消息队列协议(AMQP)的开源消息代理中间件.消息队列是一种应用程序对应用程序的通行方式,应用程序通过写消息,将消息传递于队列,由另一应用程序读取 完成通信.而作为中间件的 RabbitMq 无疑是目前最流行的消息队列之一. AMQP,即Advanced Message Queuing Protocol,高级消息队列协议,是应用层协议的一个开放标准,为面向消息的中间件设计.消息中间件主要用于组件之间的解耦,消息的发送者无需知道消息使用者的存在,反之亦然.

RabbitMQ 概念

RabbitMQ快速概念入门 ??转(http://blog.csdn.net/qq_16414307/article/details/50585630) 本文适有一定消息队列基础的,但没有接触过RabbitMQ的快速理解RabbitMQ. 如果从来没接触过RabbitMQ,那么让我们来设想一个基础的消息队列是怎样的呢? //发送方,给一个队列名,就可以将消息发出发送(QueueName,msg) //接收方,给一个队列名就可以收到消息while(true)msg=接收(QueueName) 当