RabbitMQ消息队列应用

RabbitMQ消息队列应用

　消息通信组件Net分布式系统的核心中间件之一，应用与系统高并发，各个组件之间解耦的依赖的场景。本框架采用消息队列中间件主要应用于两方面：一是解决部分高并发的业务处理；二是通过消息队列传输系统日志。目前业界使用较多的消息队列组件有RabbitMQ、ActiveMQ、MSMQ、kafka、zeroMQ等，本文对系统架构之MQ Component诠释，并采用RabbitMQ作为消息队列中间件。

图1- 消息队列组件示意图


一、RabbitMQ介绍

　　RabbitMQ是一款基于AMQP（消息队列协议），由Erlang开发的开源消息队列组件。是一款优秀的消息队列组件，他由两部分组成：服务端和客户端，客户端支持多种语言的驱动，如：.Net、JAVA、Erlang等。RabbitMQ与其他消息队列组件性能比较，在此不作介绍，网上有大把的资料。


二、RabbitMQ原理简介

图2- RabbitMQ结构示意图

　　RabbitMQ中间件分为服务端（RabbitMQ Server）和客户端（RabbitMQ Client），服务端可以理解为是一个消息的代理消费者，客户端又分为消息生产者（Producer）和消息消费者（Consumer）。

　　1、消息生产者（Producer）：主要生产消息并将消息基于TCP协议，通过建立Connection和Channel，将消息传输给RabbitMQ Server，对于Producer而言基本就完成了工作。

　　2、服务端（RabbitMQ Server）：主要负责处理消息路由、分发、入队列、缓存和出列。主要由三部分组成：Exchange、RoutingKey、Queue。

　　  （1）Exchange：用于接收消息生产者发送的消息，有三种类型的exchange：direct, fanout,topic，不同类型实现了不同的路由算法；

　　　　A. direct exchange：将与routing key 比配的消息，直接推入相对应的队列，创建队列时，默认就创建同名的routing key。

　　　　B. fanout exchange：是一种广播模式，忽略routingkey的规则。

　　　　C. topic exchange：应用主题，根据key进行模式匹配路由，例如：若为abc*则推入到所有abc*相对应的queue；若为abc.#则推入到abc.xx.one ,abc.yy.two对应的queue。

　　  （2）RoutingKey：是RabbitMQ实现路由分发到各个队列的规则，并结合Binging提供于Exchange使用将消息推送入队列；

　　  （3）Queue：是消息队列，可以根据需要定义多个队列，设置队列的属性，比如：消息移除、消息缓存、回调机制等设置，实现与Consumer通信；

　　3、消息消费者（Consumer）：主要负责消费Queue的消息，同样基于TCP协议，通过建立Connection和Channel与Queue传输消息，一个消息可以给多个Consumer消费；

　　4、关键名词说明：Connection、Channel、Binging等；

　　  （1）Connection：是建立客户端与服务端的连接。

　　  （2）Channel：是基于Connection之上建立通信通道，因为每次Connection建立TCP协议通信开销及性能消耗较大，所以一次建立Connection后，使用多个Channel通道通信减少开销和提高性能。

　　  （3）Binging：是一个捆绑定义，将exchange和queue捆绑，定义routingkey相关策略。


三、RabbitMQ安装部署

　　以上对RabbitMQ简介，接下来我们通过实际搭建消息队列服务实践。RabbitMQ服务端能运行于Window、Linux和Mac平台，客户端也支持多种技术的实现。本次我们将在Linux之CentOS7平台搭建。

　　1、安装Erlang运行环境

　　　　由于RabbitMQ使用Erlang技术开发，所以需要先安装Erlang运行环境后，才能安装消息队列服务。

　　　　（1）配置系统能正常访问公网，设置默认网关


1

route add default gw 192.168.1.1

　　　　（2）安装erlang


1

2

su -c ‘rpm -Uvh http://download.fedoraproject.org/pub/epel/7/x86_64/e/epel-release-7-5.noarch.rpm‘

sudo yum install erlang

　　　　（3）检查erlang是否安装成功


1

erl

　　　　（4）安装成功

　　　　

　　2、安装RabbitMQ服务端

　　　　（1）下载安装包


1

wget http://www.rabbitmq.com/releases/rabbitmq-server/v3.6.0/rabbitmq-server-3.6.0-1.noarch.rpm

　　　　（2）安装和配置RabbitMQ服务端，3.6.0版本：


1

2

rpm --import https://www.rabbitmq.com/rabbitmq-signing-key-public.asc

yum install rabbitmq-server-3.6.0-1.noarch.rpm

　　　　（3）启用web管理插件


1

rabbitmq-plugins enable rabbitmq_management

　　　　（4）启动RabbitMQ


1

2

chkconfig rabbitmq-server on

/sbin/service rabbitmq-server start

　　　　（5）防火墙开通端口


1

2

3

# firewall-cmd --permanent --zone=public --add-port=5672/tcp

# firewall-cmd --permanent --zone=public --add-port=15672/tcp

# firewall-cmd --reload

　　　　（6）rabbitmq默认会创建guest账号，只能用于localhost登录页面管理员，本机访问地址：http://localhost:15672/


1

2

rabbitmqctl add_user test test

rabbitmqctl set_user_tags test administrator<br>rabbitmqctl set_permissions -p / test ".*" ".*" ".*"

　　　　　 RabbitMQ 管理员页面。


四、RabbitMQ应用

　　本章节描述，web应用生产的日志，通过rabbitmq传输，然后日志服务接收消息队列的消息。

　　　　

图3- 功能结构示意图

　　本系统采用官方的Client，通过nuget引用。

　　

　　1、Web应用生产业务日志


1

2

3

4

5

6

7

8

9

10

[HttpPost]

        public ActionResult Create()

        {

            this.HttpContext.Session["mysession"] = DateTime.Now.ToString("yyyy-MM-dd hh:mm:ss");

            var txt = Request.Form["txtSite"].ToString();

            RabbitMQHelper helper = new RabbitMQHelper();

            helper.SendMsg(txt + ",操作日志，时间:" + DateTime.Now.ToString("yyyy-MM-dd hh:mm:ss"));

            return RedirectToAction("Index");

        }

　　页面效果图。

　　2、日志服务接收日志消息

　　　　基于window form开发一个日志处理服务，并将接收的消息打印出来。


1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

private void btnReceive_Click(object sender, EventArgs e)

        {

            isConnected = true;

            using (var channel = connection.CreateModel())

            {

                channel.QueueDeclare("MyLog", false, false, false, null);

                var consumer = new QueueingBasicConsumer(channel);

                channel.BasicConsume("MyLog", true, consumer);

                while (isConnected)

                {

                    var ea = (BasicDeliverEventArgs)consumer.Queue.Dequeue();

                    var body = ea.Body;

                    var message = Encoding.UTF8.GetString(body);

                    txtMsg.Text += message + "\r\n";

                }

            }

        }

　　

　　3、RabbitMQ页面监控情况

　　RabbitMQ自带页面监控工具，通过此工具可以监控MQ的情况：

　　       

五、总结

　　此文大概介绍RabbitMQ搭建和应用于本系统，RabbitMQ还是较为简单，还提供界面监控工具方便运维人员监控。

作者:andon 
出处：http://www.cnblogs.com/Andon_liu 
关于作者：专注于微软平台项目架构、管理。熟悉设计模式、领域驱动、架构设计、敏捷开发和项目管理。现主要从事ASP.NET MVC、WCF/Web API、SOA、MSSQL、redis方面的项目开发、架构、管理工作。 如有问题或建议，请一起学习讨论！ 
本文版权归作者和博客园共有，欢迎转载，但未经作者同意必须保留此段声明，且在文章页面明显位置给出原文连接。 
如有问题，可以邮件：[email protected] 联系我，谢谢。

分类: .Net分布式系统

时间： 2024-10-12 23:01:31

RabbitMQ消息队列应用的相关文章

(转)RabbitMQ消息队列（六）：使用主题进行消息分发

在上篇文章RabbitMQ消息队列(五):Routing 消息路由 中,我们实现了一个简单的日志系统.Consumer可以监听不同severity的log.但是,这也是它之所以叫做简单日志系统的原因,因为是仅仅能够通过severity设定.不支持更多的标准. 比如syslog unix的日志工具,它可以通过severity (info/warn/crit...) 和模块(auth/cron/kern...).这可能更是我们想要的:我们可以仅仅需要cron模块的log. 为了实现类似的功能,我们需

RabbitMQ消息队列（六）：使用主题进行消息分发

在上篇文章RabbitMQ消息队列(五):Routing 消息路由 中,我们实现了一个简单的日志系统.Consumer可以监听不同severity的log.但是,这也是它之所以叫做简单日志系统的原因,因为是仅仅能够通过severity设定.不支持更多的标准. 比如syslog unix的日志工具,它可以通过severity (info/warn/crit...) 和模块(auth/cron/kern...).这可能更是我们想要的:我们可以仅仅需要cron模块的log. 为了实现类似的功能,我们需

(转)RabbitMQ消息队列（九）：Publisher的消息确认机制

在前面的文章中提到了queue和consumer之间的消息确认机制:通过设置ack.那么Publisher能不到知道他post的Message有没有到达queue,甚至更近一步,是否被某个Consumer处理呢?毕竟对于一些非常重要的数据,可能Publisher需要确认某个消息已经被正确处理. 在我们的系统中,我们没有是实现这种确认,也就是说,不管Message是否被Consume了,Publisher不会去care.他只是将自己的状态publish给上层,由上层的逻辑去处理.如果Message

(转)RabbitMQ消息队列（七）：适用于云计算集群的远程调用(RPC)

在云计算环境中,很多时候需要用它其他机器的计算资源,我们有可能会在接收到Message进行处理时,会把一部分计算任务分配到其他节点来完成.那么,RabbitMQ如何使用RPC呢?在本篇文章中,我们将会通过其它节点求来斐波纳契完成示例. 1. 客户端接口 Client interface 为了展示一个RPC服务是如何使用的,我们将创建一段很简单的客户端class. 它将会向外提供名字为call的函数,这个call会发送RPC请求并且阻塞知道收到RPC运算的结果.代码如下: [python] vie

（转）（二）RabbitMQ消息队列-RabbitMQ消息队列架构与基本概念

http://blog.csdn.net/super_rd/article/details/70238869 没错我还是没有讲怎么安装和写一个HelloWord,不过快了,这一章我们先了解下RabbitMQ的基本概念. RabbitMQ架构 说是架构其实更像是应用场景下的架构(自己画的有点丑,勿嫌弃) 从图中可以看出RabbitMQ主要由Exchange和Queue两部分组成,然后通过RoutingKey关联起来,消息投递到Exchange然后通过Queue接收. RabbitMQ消息队列基本概

RabbitMQ消息队列（九）：Publisher的消息确认机制

在前面的文章中提到了queue和consumer之间的消息确认机制:通过设置ack.那么Publisher能不到知道他post的Message有没有到达queue,甚至更近一步,是否被某个Consumer处理呢?毕竟对于一些非常重要的数据,可能Publisher需要确认某个消息已经被正确处理. 在我们的系统中,我们没有是实现这种确认,也就是说,不管Message是否被Consume了,Publisher不会去care.他只是将自己的状态publish给上层,由上层的逻辑去处理.如果Message

RabbitMQ消息队列1: Detailed Introduction 详细介绍

1. 历史 RabbitMQ是一个由erlang开发的AMQP(Advanced Message Queue )的开源实现.AMQP 的出现其实也是应了广大人民群众的需求,虽然在同步消息通讯的世界里有很多公开标准(如 COBAR的 IIOP ,或者是 SOAP 等),但是在异步消息处理中却不是这样,只有大企业有一些商业实现(如微软的 MSMQ ,IBM 的 Websphere MQ 等),因此,在 2006 年的 6 月,Cisco .Redhat.iMatix 等联合制定了 AMQP 的公开标

rabbitmq 消息队列

rabbitmq 消息队列: 解耦:降低一个程序降低耦合性 异步: 优点:--解决排队的问题. --解决资源浪费的问题.   --讲要处理的事物,进行存放,集中处理. 缺点:--不能保证任务被及时执行 应该场景:--去哪儿网 --12306 同步: 优点:--可以保证任务被及时执行 缺点:--排队问题,占用资源,造成资源浪费 大并发: web环境: --Nginx (epoll模式)   10000-20000 --Apache(epoll模式)1000-2000 pv = page visit

OpenstackMySQL和rabbitMQ消息队列

OpenstackMySQL和rabbitMQ消息队列 教程大纲 1. 安装基础数据存储服务MySQL数据库2. 安装rabbitMQ消息队列 1.安装数据库 yum install mariadb-server MySQL-python 所以在环境中要给MySQL做高可用,或备份. 修改MySQL的配置 cp /usr/share/mysql/my-medium.cnf /etc/my.cnf cp /usr/share/mariadb/my-medium.cnf /etc/my.conf 2