RabbitMQ(消息队列)集群配置与使用篇

介绍

MQ全称为Message Queue, 消息队列(MQ)是一种应用程序对应用程序的通信方法。应用程序通过读写出入队列的消息(针对应用程序的数据)来通信,而无需专用连接来链接它们。消息传递指的是程序之间通过在消息中发送数据进行通信,而不是通过直接调用彼此来通信,直接调用通常是用于诸如远程过程调用的技术。排队指的是应用程序通过 队列来通信。队列的使用除去了接收和发送应用程序同时执行的要求。其中较为成熟的MQ产品有IBM WEBSPHERE MQ等等。

MQ特点

MQ是消费-生产者模型的一个典型的代表,一端往消息队列中不断写入消息,而另一端则可以读取或者订阅队列中的消息。MQ和JMS类似,但不同的是JMS是SUN JAVA消息中间件服务的一个标准和API定义,而MQ则是遵循了AMQP协议的具体实现和产品。

使用场景

在项目中,将一些无需即时返回且耗时的操作提取出来,进行了异步处理,而这种异步处理的方式大大的节省了服务器的请求响应时间,从而提高了系统的吞吐量。

含义

RabbitMQ是流行的开源消息队列系统,用erlang语言开发。RabbitMQ是一个在AMQP基础上完成的,可复用的企业消息系统。他遵循Mozilla Public License开源协议,

RabiitMQ工作原理图

概念:

?Brocker:消息队列服务器实体。
?Exchange:消息交换机,指定消息按什么规则,路由到哪个队列。
?Queue:消息队列,每个消息都会被投入到一个或者多个队列里。
?Binding:绑定,它的作用是把exchange和queue按照路由规则binding起来。
?Routing Key:路由关键字,exchange根据这个关键字进行消息投递。
?Vhost:虚拟主机,一个broker里可以开设多个vhost,用作不用用户的权限分离。
?Producer:消息生产者,就是投递消息的程序。
?Consumer:消息消费者,就是接受消息的程序。
?Channel:消息通道,在客户端的每个连接里,可建立多个channel,每个channel代表一个会话任务。

消息队列的使用过程大概如下:

(1)客户端连接到消息队列服务器,打开一个channel。

(2)客户端声明一个exchange,并设置相关属性。

(3)客户端声明一个queue,并设置相关属性。

(4)客户端使用routing key,在exchange和queue之间建立好绑定关系。

(5)客户端投递消息到exchange。

exchange接收到消息后,就根据消息的key和已经设置的binding,进行消息路由,将消息投递到一个或多个队列里。

exchange也有几个类型,完全根据key进行投递的叫做Direct交换机,例如,绑定时设置了routing key为"abc",那么客户端提交的消息,只有设置了key为"abc"的才会投递到队列。对key进行模式匹配后进行投递的叫做Topic交换机,符号"#"匹配一个或多个词,符号""匹配正好一个词。例如"abc.#"匹配"abc.def.ghi","abc."只匹配"abc.def"。还有一种不需要key的,叫做Fanout交换机,它采取广播模式,一个消息进来时,投递到与该交换机绑定的所有队列。

RabbitMQ支持消息的持久化,也就是数据写在磁盘上,为了数据安全考虑,我想大多数用户都会选择持久化。消息队列持久化包括3个部分:

(1)exchange持久化,在声明时指定durable => 1

(2)queue持久化,在声明时指定durable => 1

(3)消息持久化,在投递时指定delivery_mode => 2(1是非持久化)

如果exchange和queue都是持久化的,那么它们之间的binding也是持久化的。如果exchange和queue两者之间有一个持久化,一个非持久化,就不允许建立绑定。
RabbitMQ的集群节点包括内存节点,磁盘节点。因此实验环境准备三台服务器,其中一台使用磁盘模式,另外两台使用内存模式。

RabbitMQ集群具体配置:

主机名 IP地址 用途 操作系统
mq01 192.168.195.147 磁盘节点 CentOS7
mq02 192.168.195.160 内存节点 CentOS7
mq03 192.168.195.159 内存节点 CentOS7

注意:这里三台服务器都连接上互联网并安装软件包。另外RabbitMQ集群节点必须在同一网段里。

RabbitMQ安装与部署,
首先我们需要配置三个节点的hosts文件,将如下的内容分别加入到三台服务器上。

vim /etc/hosts
192.168.195.147 mq01 //注意不能带”.“
192.168.195.160 mq02
192.168.195.159 mq03

并分别修改三个节点服务器的主机名

vim /etc/hostname
mq01.localdomain //另外两台分别为mq02,mq03

重启主机使主机名生效

init 6

重启之后关闭实验主机的防火墙,以及selinux功能(否则会影响实验效果)

service firewalld stop
setenforce 0

三个节点使用yum安装RabbitMQ软件

yum install -y epel-release //安装epel源

yum install -y rabbitmq-server //安装RabbitMQ软件

ln -s /usr/lib/rabbitmq/bin/* /usr/bin/ //创建链接,使系统能够识别RabbitMQ命令

rabbitmq-plugins list //查看插件安装情况

rabbitmq-plugins enable rabbitmq_management //启用rabbitmq_management服务
systemctl start rabbitmq-server.service //开启rabbitmq服务

netstat -ntap | grep 5672 //有三个端口开启 说明正常
其中15672,25672都是rabbitmq的管理端口,
5672则是和生产者,消费者通信的端口
rabbitmqctl cluster_status //检查三台的集群状态,目前相互独立,没有形成集群。


RabbitMQ的集群是依赖于erlang的集群来工作的,所以必须先构建起erlang的集群环境,在erlang的集群中,各节点是通过一个magic.cookie来实现的,这个cookie存放在/var/lib/rabbitmq/.erlang.cookie中,文件是400的权限。所以必须保证各节点cookie保持一致,否则节点之间就无法通信。
现在三个节点的rabbitmq服务都是开启的,但是每个节点的.erlang.cookie文件中的值各不相同,因此我们需要将节点的rabbitmq服务停止,将磁盘节点上的.erlang.cookie值复制下来保存到两个内存节点上的.erlang.cookie文件中,再次启动两个内存节点的rabbitmq服务,并将它们加入一个集群中。

service rabbitmq-server stop //停止三台服务器

vi /var/lib/rabbitmq/.erlang.cookie //三台值配置成一样的,复制磁盘节点内容到其他两台

磁盘节点主机mq01

内存节点mq02

内存节点mq03

开启三台节点rabbitmq服务

service rabbitmq-server start

将内存节点mq02,mq03与磁盘节点mq01连接起来
在内存节点mq02,mq03上操作,先停掉rabbitmq应用,然后调用cluster命令,组成集群,最后再启动rabbitmq应用

rabbitmqctl stop_app
rabbitmqctl join_cluster --ram [email protected] //加入到磁盘节点 --ram 以内存节点形式添加 在集群里至少有一个磁盘节点存在
rabbitmqctl start_app
rabbitmqctl cluster_status //验证集群状态


打开浏览器进入web页面管理
输入:http://192.168.195.147:15672/
默认用户名:guest 密码:guest

添加策略

Name:策略名称
Pattern:匹配的规则
Definition;使用ha-mode模式中的all,也就是同步所有匹配的队列。
Priority:优先级,默认是0,值越大优先级越大。
最后点击添加Add policy按钮,这样就多了一个策略


以下简单增加消息队列

Name:队列名称
Durability:队列是否持久化(durable 是支持)
Auto delete:自动删除
Arguments:使用的策略类型
最后点击Add queue按钮,会出现添加的队列


再新建一个bb队列。arguments项不填写。
查看队列消息

在aa和bb队列中新建消息


可以看到刚才添加的消息队列

关于rabbitmq服务web网页的管理就介绍到这里。

原文地址:http://blog.51cto.com/13728740/2306684

时间: 2024-11-07 08:28:32

RabbitMQ(消息队列)集群配置与使用篇的相关文章

RabbitMQ消息队列集群配置

RabbitMQ是什么? MQ(Message Queue,消息队列)消息中间件,一般以集群方式部署,主要提供消息的接受和发送,实现各微服务之间的消息同步. 原理介绍 rabbitmq是依据erlang的分布式特性(RabbitMQ底层是通过Erlang架构来实现的,所以rabbitmqctl会启动Erlang节点,并基于Erlang节点来使用Erlang系统连接RabbitMQ节点,在连接过程中需要正确的Erlang Cookie和节点名称,Erlang节点通过交换Erlang Cookie以

RabbitMQ消息队列集群

RabbitMQ MQ(Message Queue,消息队列)是一款消息中间件,一般以集群方式部署,主要提供消息的接受和发送,实现各微服务之间的消息异步. 集群原理 rabbitmq 是依据erlang的分布式特性(RabbitMQ底层是通过Erlang架构来实现的,所以rabbitmqctl会启动Erlang节点,并基于Erlang节点来使用Erlang系统连接RabbitMQ节点,在连接过程中需要正确的Erlang Cookie和节点名称,Erlang节点通过交换Erlang Cookie以

消息队列集群配置

原理介绍 rabbitmq是依据erlang的分布式特性(RabbitMQ底层是通过Erlang架构来实现的,所以rabbitmqctl会启动Erlang节点,并基于Erlang节点来使用Erlang系统连接RabbitMQ节点,在连接过程中需要正确的Erlang Cookie和节点名称,Erlang节点通过交换Erlang Cookie以获得认证)来实现的,所以部署rabbitmq分布式集群时要先安装erlang,并把其中一个服务的cookie复制到另外的节点 rabbitmq集群中,各个ra

RabbitMQ消息队列安装和配置以及推送消息

好久没有写了,最近项目用到RabbitMQ,找了一些资料试验,最后终于成功了,把安装配置的步骤分享给大家. 一.Erlang安装具体过程: 1.双击otp_win32_R16801.exe(不同版本可能命名字不一样),选择next 2.默认安装在C盘,建议程序安装在非系统盘比如D盘(如果安装在C盘可能会出现一些权限问题),修改好安装路径后,选next: 3.进入安装程序,选择install,即可完成安装. 配置环境变量:在系统变量下添加 变量名:ERLANG_HOME,变量值:C:\Progra

ActiveMQ消息队列集群的搭建

1.准备activemq apache-activemq-5.12.0-bin.tar 2.解压文件 3.并将文件cp一份命名为activemq1 进入conf文件进行修改 修改属性为brokerNamet他的名字可以随意修改,但是需要保证唯一 这里我们配置了动态 组播 将暂时不需 要的属性进行注释,要修改uri路径的端口号为61616,并在最后引用了组播 4.修改配置文件jetty.xml 将里面的port的端口号改为8161 5.接下来把activemq1复制两份,为activemq2,ac

高可用消息队列集群zookeeper+leveldb+activemq

正在上传中---- 预计8月底完成

(转)RabbitMQ消息队列(七):适用于云计算集群的远程调用(RPC)

在云计算环境中,很多时候需要用它其他机器的计算资源,我们有可能会在接收到Message进行处理时,会把一部分计算任务分配到其他节点来完成.那么,RabbitMQ如何使用RPC呢?在本篇文章中,我们将会通过其它节点求来斐波纳契完成示例. 1. 客户端接口 Client interface 为了展示一个RPC服务是如何使用的,我们将创建一段很简单的客户端class. 它将会向外提供名字为call的函数,这个call会发送RPC请求并且阻塞知道收到RPC运算的结果.代码如下: [python] vie

RabbitMQ消息队列(七):适用于云计算集群的远程调用(RPC) [转]

在云计算环境中,很多时候需要用它其他机器的计算资源,我们有可能会在接收到Message进行处理时,会把一部分计算任务分配到其他节点来完成.那么,RabbitMQ如何使用RPC呢?在本篇文章中,我们将会通过其它节点求来斐波纳契完成示例. 1. 客户端接口 Client interface 为了展示一个RPC服务是如何使用的,我们将创建一段很简单的客户端class. 它将会向外提供名字为call的函数,这个call会发送RPC请求并且阻塞知道收到RPC运算的结果.代码如下: [python] vie

Rabbitmq 相关介绍之单机集群配置

一.说明: 说到集群,大家应该都不陌生,为了提高性能需要配置集群,而在有的时候,我们需要在测试环境先测试然后灰度上线,所以这里介绍在一台服务器上配置rabbitmq集群 二.rabbitmq集群模式 1.普通模式:rabbitmq默认的集群模式 RabbitMQ集群中节点包括内存节点.磁盘节点.内存节点就是将所有数据放在内存,磁盘节点将数据放在磁盘上.如果在投递消息时,打开了消息的持久化,那么即使是内存节点,数据还是安全的放在磁盘.那么内存节点的性能只能体现在资源管理上,比如增加或删除队列(qu