千万PV网站架构之RabbitMQ(消息队列)安装、集群

RabbitMQ介绍:

  • MQ全称为Message Queue, 消息队列(MQ)是一种应用程序对应用程序的通信方法。应用程序通过读写出入队列的消息(针对应用程序的数据)来通信,而无需专用连接来链接它们。消息传递指的是程序之间通过在消息中发送数据进行通信,而不是通过直接调用彼此来通信,直接调用通常是用于诸如远程过程调用的技术。排队指的是应用程序通过 队列来通信。队列的使用除去了接收和发送应用程序同时执行的要求。
  • RabbitMQ是一个在AMQP基础上完成的,可复用的企业消息系统。他遵循Mozilla Public License开源协议。

RabbitMQ几个关键概念:

  • Broker:简单来说就是消息队列服务器实体。
  • Exchange:消息交换机,它指定消息按什么规则,路由到哪个队列。
  • Queue:消息队列载体,每个消息都会被投入到一个或多个队列。
  • Binding:绑定,它的作用就是把exchange和queue按照路由规则绑定起来。
  • Routing Key:路由关键字,exchange根据这个关键字进行消息投递。
  • vhost:虚拟主机,一个broker里可以开设多个vhost,用作不同用户的权限分离。
  • producer:消息生产者,就是投递消息的程序。
  • consumer:消息消费者,就是接受消息的程序。
  • channel:消息通道,在客户端的每个连接里,可建立多个channel,每个channel代表一个会话任务。
    结构示意图:

    消息队列的使用过程如下:

    1.客户端连接到消息队列服务器,打开一个channel;
    2.客户端声明一个Exchange,并设置相关属性;
    3.客户端声明一个Queue,并设置相关属性;
    4.客户端使用Routing Key,在Exchange和Queue之间建立好绑定关系;
    5.客户端投递消息到Exchange;
    6.Exchange收到消息后,就根据消息的Key和已经设置的Binding,进行消息路由,将消息投递到一个或多个队列里;

    RabbitMQ的集群节点包括内存节点,磁盘节点。RabbitMQ支持的持久化,也就是数据写在磁盘上,最合适的方案就是既有内存节点,又有磁盘节点;
    实现步骤:

  • 设计架构模式:在一个集群里,有三台服务器,其中一台使用磁盘模式,另两台使用内存模式。两台内存模式的节点无疑速度很快,因此通过客户端连接访问它们。但是客户端不可能分别连接两个内存节点,肯定是通过前端反向代理去轮询分发请求。如果担心前端反向代理服务器故障,可以通过keepalived软件做一个高可用架构。而磁盘模式的节点,由于磁盘IO相对较慢,因此仅作数据备份使用;
  • 环境准备:
主机名 操作系统 IP地址 防火墙和SELinux 用途
rabbitmq01 CentOS7 192.168.72.128 关闭 磁盘节点
rabbitmq02 CentOS7 192.168.72.150 关闭 内存节点
rabbitmq03 CentOS7 192.168.72.151 关闭 内存节点

安装RabbitMQ:

* 需要配置三个节点的hosts文件,将如下的内容分别加入到三台服务器上。
* vim /etc/hostname           //其他两台为rabbitmq02、rabbitmq03
    rabbitmq01.localdomain
* vim /etc/hosts       //添加下面三行
192.168.72.128 rabbitmq01
192.168.72.150 rabbitmq02
192.168.72.151 rabbitmq03
* init 6    //重启
* systemctl stop firewalld.service
* setenforce 0
* 三个节点都安装rabbitmq软件:
* yum install epel-release -y     //安装epel源
* yum install -y rabbitmq-server  //安装软件
* ln -s /usr/lib/rabbitmq/bin/* /usr/bin/ //创建链接,使系统能够识别RabbitMQ命令
* rabbitmq-plugins list     //查看插件安装情况
* rabbitmq-plugins enable rabbitmq_management //启用rabbitmq_management服务
* systemctl start rabbitmq-server.service   //启动rabbitmq服务
* netstat -ntap | grep 5672    //如图3个端口开启 说明正常(15672,25672都是rabbitmq的管理端口,5672则是和生产者,消费者通信的端口)
* rabbitmqctl cluster_status  //检查三台的集群状态,目前相互独立,没有形成集群。






RabbitMQ的集群是依赖于erlang的集群来工作的,所以必须先构建起erlang的集群环境,在erlang的集群中,各节点是通过一个magic.cookie来实现的,这个cookie存放在/var/lib/rabbitmq/.erlang.cookie中,文件是400的权限。所以必须保证各节点cookie保持一致,否则节点之间就无法通信。

* 构建Erlang群集:
* systemctl stop rabbitmq-server.service       //停止三台服务器
* vi /var/lib/rabbitmq/.erlang.cookie         //三台值配置成一样的,复制rabbitmq01的内容到其他两台
* systemctl start rabbitmq-server.service



* 在内存节点mq02,mq03上操作,先停掉rabbitmq应用,然后调用cluster命令,组成集群,最后再启动rabbitmq应用:
* rabbitmqctl stop_app
* rabbitmqctl join_cluster --ram [email protected]    //加入到磁盘节点
* rabbitmqctl start_app
* rabbitmqctl cluster_status //验证集群状态

打开浏览器进入web页面管理:

* 输入:http://192.168.72.128:15672/
* 默认用户名:guest 密码:guest

* **添加策略:**
* Name:策略名称
* Pattern:匹配的规则
* Definition;使用ha-mode模式中的all,也就是同步所有匹配的队列。
* Priority:优先级,默认是0,值越大优先级越大。
* 最后点击添加Add policy按钮,这样就多了一个策略

* **以下简单增加消息队列:**
* Name:队列名称
* Durability:队列是否持久化(durable 是支持)
* Auto delete:自动删除
* Arguments:使用的策略类型
* 最后点击Add queue按钮,会出现添加的队列

  • 在创建一个aaa 不填写Arguments值,查看队列消息:
* 添加队列消息:
* 2-Persistent:表示持久化,反之上面显示非持久化。
* Headers: 随便填写
* Properties:点击问号,现在一个ID号
* Payload:消息内容


再输入网页可以查看到新添加的 消息对列!

原文地址:http://blog.51cto.com/13721050/2310145

时间: 2024-09-30 00:17:04

千万PV网站架构之RabbitMQ(消息队列)安装、集群的相关文章

千万PV 网站架构之 RabbitMQ 消息列队

RabbitMQ 简介 : MQ全称为Message Queue,消息队列(MQ)是一种应用程序对应用程序的通信方法.应用程序通过读写出入队列的消息(针对应用程序的数据)来通信,而无需专用连接来链接它们.消息传递指的是程序之间通过在消息中发送数据进行通信,而不是通过直接调用彼此来通信,直接调用通常是用于诸如远程过程调用的技术.排队指的是应用程序通过 队列来通信.队列的使用除去了接收和发送应用程序同时执行的要求.其中较为成熟的MQ产品有IBM WEBSPHERE MQ等等. MQ特点 MQ是消费-

大型网站架构系列:消息队列(二)

本文是大型网站架构系列:消息队列(二),主要分享JMS消息服务,常用消息中间件(Active MQ,Rabbit MQ,Zero MQ,Kafka).[第二篇的内容大部分为网络资源的整理和汇总,供大家学习总结使用,最后有文章来源] 本次分享大纲 消息队列概述(见第一篇:大型网站架构系列:分布式消息队列(一)) 消息队列应用场景(见第一篇:大型网站架构系列:分布式消息队列(一)) 消息中间件示例(见第一篇:大型网站架构系列:分布式消息队列(一)) JMS消息服务 常用消息队列 参考(推荐)资料 本

大型网站架构系列:消息队列(二) (转)

本文是大型网站架构系列:消息队列(二),主要分享JMS消息服务,常用消息中间件(Active MQ,Rabbit MQ,Zero MQ,Kafka).[第二篇的内容大部分为网络资源的整理和汇总,供大家学习总结使用,最后有文章来源] 本次分享大纲 消息队列概述(见第一篇:大型网站架构系列:分布式消息队列(一)) 消息队列应用场景(见第一篇:大型网站架构系列:分布式消息队列(一)) 消息中间件示例(见第一篇:大型网站架构系列:分布式消息队列(一)) JMS消息服务 常用消息队列 参考(推荐)资料 本

大型网站架构系列:消息队列(二)(转)

大型网站架构系列:消息队列(二) 本文是大型网站架构系列:消息队列(二),主要分享JMS消息服务,常用消息中间件(Active MQ,Rabbit MQ,Zero MQ,Kafka).[第二篇的内容大部分为网络资源的整理和汇总,供大家学习总结使用,最后有文章来源] 本次分享大纲 消息队列概述(见第一篇:大型网站架构系列:分布式消息队列(一)) 消息队列应用场景(见第一篇:大型网站架构系列:分布式消息队列(一)) 消息中间件示例(见第一篇:大型网站架构系列:分布式消息队列(一)) JMS消息服务

13张PPT带你了解主动式消息队列处理集群

前言 偷偷和你们说,我搞了一份内部资料,该内部资料共有13张PPT,据作者透露,该PPT至少花了整整1周时间才编写完成,其内容简洁明了,内容深度足够,易于初学者理解,也给深度开发人员分享了不一样的消息队列的玩法.特别重要的是,该架构目前已大面积的稳定应用于生产环境. PPT的内容我作了脱敏处理,经作者审核后分享给大家. 特点 该消息队列的主要特点是:主动式.其架构主要由3大部分组成,分别是:消息生产者.消息处理集群.消息消费者,该架构和一般的消费队列最大的区别就是:消息生产者和消费者不直接接触消

大型网站架构系列:消息队列

出处:ITFLY8 网址:http://www.cnblogs.com/itfly8/p/5156155.html 一.消息队列概述 消息队列中间件是分布式系统中重要的组件,主要解决应用耦合,异步消息,流量削锋等问题.实现高性能,高可用,可伸缩和最终一致性架构.是大型分布式系统不可缺少的中间件. 目前在生产环境,使用较多的消息队列有ActiveMQ,RabbitMQ,ZeroMQ,Kafka,MetaMQ,RocketMQ等. 二.消息队列应用场景 以下介绍消息队列在实际应用中常用的使用场景.异

大型网站架构之分布式消息队列

以下是消息队列以下的大纲,本文主要介绍消息队列概述,消息队列应用场景和消息中间件示例(电商,日志系统). 本次分享大纲 消息队列概述 消息队列应用场景 消息中间件示例 JMS消息服务 常用消息队列 参考(推荐)资料 本次分享总结 一.消息队列概述 消息队列中间件是分布式系统中重要的组件,主要解决应用耦合,异步消息,流量削锋等问题.实现高性能,高可用,可伸缩和最终一致性架构.是大型分布式系统不可缺少的中间件. 目前在生产环境,使用较多的消息队列有ActiveMQ,RabbitMQ,ZeroMQ,K

大型网站架构之分布式消息队列【转】

以下是消息队列以下的大纲,本文主要介绍消息队列概述,消息队列应用场景和消息中间件示例(电商,日志系统). 本次分享大纲 消息队列概述 消息队列应用场景 消息中间件示例 JMS消息服务 常用消息队列 参考(推荐)资料 本次分享总结 一.消息队列概述 消息队列中间件是分布式系统中重要的组件,主要解决应用耦合,异步消息,流量削锋等问题.实现高性能,高可用,可伸缩和最终一致性架构.是大型分布式系统不可缺少的中间件. 目前在生产环境,使用较多的消息队列有ActiveMQ,RabbitMQ,ZeroMQ,K

大型网站架构之分布式消息队列(转)

以下是消息队列以下的大纲,本文主要介绍消息队列概述,消息队列应用场景和消息中间件示例(电商,日志系统). 本次分享大纲 消息队列概述 消息队列应用场景 消息中间件示例 JMS消息服务 常用消息队列 参考(推荐)资料 本次分享总结 一.消息队列概述 消息队列中间件是分布式系统中重要的组件,主要解决应用耦合,异步消息,流量削锋等问题.实现高性能,高可用,可伸缩和最终一致性架构.是大型分布式系统不可缺少的中间件. 目前在生产环境,使用较多的消息队列有ActiveMQ,RabbitMQ,ZeroMQ,K