Redis消息队列

一般来说,消息队列有两种场景,一种是发布者订阅者模式,一种是生产者消费者模式。利用redis这两种场景的消息队列都能够实现。

生产者消费者模式:生产者生产消息放到队列里,多个消费者同时监听队列,谁先抢到消息谁就会从队列中取走消息;即对于每个消息只能被最多一个消费者拥有;

发布者订阅者模式:发布者生产消息放到队列里,多个监听队列的消费者都会收到同一份消息;即正常情况下每个消费者收到的消息应该都是一样的;

对应的使用场景包括:A系统向队列中存放数据;B系统在队列中取数据;

1、redis队列模式:可以实现B系统不在线状态下,A系统向队列中存数据,当B系统上线后,可以手动去取队列中的数据;

2、redis订阅模式:可以实现A系统向队列中存数据,当B系统订阅了此队列并且在线时,可以自动监听此队列去取数据,但之前不在线时的数据无法获取;

一、Producer/Consumer Mode

该方法是借助redis的list结构实现的。Producer调用redis的lpush往特定key里塞入消息,Consumer调用brpop去不断监听该key。

Producer:

1 // producer code
2 String key = "demo:mq:test";
3 String msg = "hello world";
4 redisDao.lpush(key, msg);

Consumer:

1 // consumer code

2 String key = "demo:mq:test";

3 while (true) {

4 // block invoke

5 List<String> msgs = redisDao.brpop(BLOCK_TIMEOUT, listKey);

6 if (msgs == null) continue;

7 String jobMsg = msgs.get(1);

8 processMsg(jobMsg);

9 }

当有多个consumers的时候,它会按照brpop调用的顺序分派消息,并非随机。BLOCK_TIMEOUT不建议设成infinity(有些redis驱动也直接不支持inifinity),我们目前设成30(单位是秒)情况良好。

二、Pub/Sub Mode

 Redis 从 2.0.0 版本开始支持 pub/sub 指令。详情参见:http://redis.io/topics/pubsub

实现思想:Publisher调用redis的publish方法往特定的channel发送消息,Subscriber在初始化的时候要subscribe到该channel,一旦有消息就会立即接收。

比较简单的demo可参见:http://shift-alt-ctrl.iteye.com/blog/1867454

1、Redis消息的发布与订阅

Redis的Subscribe命令可以让客户端订阅任意数量的频道,每当有新信息发送到被订阅的频道时, 信息就会被发送给所有订阅指定频道的客户端。作为例子,下图展示了频道channe11, 以及订阅这个频道的三个客户端:client2、client5和client1之间的关系:

当有新消息通过 Publish命令发送给频道channe11时, 这个消息就会被发送给订阅它的三个客户端:

订阅bar频道。格式:Subscribe name1 name2

成功订阅回复,分别对应订阅类型、订阅频道、订阅数量。

127.0.0.1:6379> SUBSCRIBE bar
Reading messages... (press Ctrl-C to quit)
1) "subscribe"
2) "bar"
3) (integer) 1

重新启一发布者client,发送消息。格式:publish channelName Message

#对有一个订阅者的频道发送信息127.0.0.1:6379> publish bar val
(integer) 1#对没有订阅者的频道发送信息127.0.0.1:6379> publish bar "can any body hear me?"(integer) 0

订阅client回复,分别对应消息类型,频道,消息。

1) "message"
2) "bar"
3) "val"

详情请参见:http://www.cnblogs.com/mushroom/p/4470006.html

http://redis.readthedocs.org/en/2.4/pub_sub.html

2、键空间通知(Keyspace notifications)

在订阅频道之前,设置set notify-keyspace-events KEA参数,然后再运行Subscribe name1 name2订阅频道。

此时,当有某一指定键更新时会发送消息给订阅者

请参见:http://redis.io/topics/notifications

http://blog.csdn.net/chaijunkun/article/details/27361453

时间: 2024-11-20 22:51:33

Redis消息队列的相关文章

redis消息队列简单应用

参考 https://blog.yxccan.cn/blog/detail/3 一.什么是消息队列 是一个消息的链表,是一个异步处理的数据处理引擎. PS:可以理解为在redis的list列表中存放消息数据,然后按照排队方式先进先出(左进右出:右进左出) 二.可以使用的应用场景 主要应用一些延迟或异步操作的场景比如:发送邮件.发送短信.视频转码.图片转码.日志存储.导入数据等在发送邮件或者短信,我们不希望程序一直停留,等待发送成功才相应,而是异步进行处理,即:将待发送的邮件数据添加到消息队列中,

Redis 消息队列的实现

概述 Redis实现消息队列有两种形式: 广播订阅模式:基于Redis的 Pub/Sub 机制,一旦有客户端往某个key里面 publish一个消息,所有subscribe的客户端都会触发事件 集群订阅模式:基于Redis List双向+ 原子性 + BRPOP Redis消息队列时,当Redis宕机后,消息可能会丢失(也要看持久化的策略).如果收消息方未有重发和验证机制,Redis内的数据会出现丢失.所以,使用Redis的作为消息队列,通常是对于消息的准确性并非特别高的场景. 原理 基于Red

java redis使用之利用jedis实现redis消息队列

应用场景 对于数据库查询的IO连接数高.连接频繁的情况,可以考虑使用缓存实现. 从网上了解到redis可以对所有的内容进行二进制的存储,而java是可以对所有对象进行序列化的,序列化的方法会在下面的代码中提供实现. 序列化 这里我编写了一个java序列化的工具,主要是对对象转换成byte[],和根据byte[]数组反序列化成java对象: 主要是用到了ByteArrayOutputStream和ByteArrayInputStream: 需要注意的是每个自定义的需要序列化的对象都要实现Seria

(转)java redis使用之利用jedis实现redis消息队列

应用场景 最近在公司做项目,需要对聊天内容进行存储,考虑到数据库查询的IO连接数高.连接频繁的因素,决定利用缓存做. 从网上了解到redis可以对所有的内容进行二进制的存储,而java是可以对所有对象进行序列化的,序列化的方法会在下面的代码中提供实现. 序列化 这里我编写了一个java序列化的工具,主要是对对象转换成byte[],和根据byte[]数组反序列化成java对象: 主要是用到了ByteArrayOutputStream和ByteArrayInputStream: 需要注意的是每个自定

redis 实战教程、redis缓存教程、redis消息发布、订阅、redis消息队列教程

一:本教程使用环境: ubuntu12.x .jdk1.7 .Intellij idea.spring3.2.8 .redis服务端3.0,jedis客户端2.7.3 spring-data-redis 1.6.0 二:redis 服务端安装教程 这里不详解 三:redis 缓存特性 示例如下: spring配置: <bean id="jedisPoolConfig" class="redis.clients.jedis.JedisPoolConfig">

PHP(Mysql/Redis)消息队列的介绍及应用场景案例--转载

郑重提示:本博客转载自好友博客,个人觉得写的很牛逼所以未经同意强行转载,原博客连接 http://www.cnblogs.com/wt645631686/p/8243438.html 欢迎访问 在进行网站设计的时候,有时候会遇到给用户大量发送短信,或者订单系统有大量的日志需要记录,还有做秒杀设计的时候,服务器无法承受这种瞬间的压力,无法正常处理,咱们怎么才能保证系统正常有效的运行呢?这时候我们就要引用消息队列来实现这类的需求,这时候就需要一个中间的系统进行分流和解压.消息队列就是一个中间件,需要

Redis消息队列和KafKa优劣对比

Redis作为消息队列升级为KafKa记录项目当中运营人员发送指定匹配用户(最高用户量几十万的级别)特定的消息,所以这块是确确实实需要使用专业级别的消息队列中间件的,但是可能由于当时开发的各种历史原因导致使用了Redis的队列结构来作为消息队里lpush,blpop等命令,项目开发进展到现在,用户量不断增大,包括不同的消息继承进来,包括举报反馈,小纸条(用户间消息发送),活动奖励通知,等等一些不同的消息进来以后,Redis可能会变得不那么可靠. Redis作为消息队列Redis的pub-sub模

python 操作 redis + 消息队列使用例子

操作 redis import redis redisPool = redis.ConnectionPool(host='192.168.100.50', port=6379, db=8) redis= redis.Redis(connection_pool=redisPool) redis.set('key','values') redis.get('com') redis.append('keys','values') redis.delete('keys') print(redis.get

php redis 消息队列

redis是什么东西就不多说了,网上文章一搜一大堆. 首先来说一下我要实现的功能: 类似一个消息中转站吧,如果有人要发送消息,先将消息发到我这里来,然后我这边进行转发,为的就是有一个统一的管理和修改时方便, 而且所有的消息有优先级,也会有定时发送(如果同一时间消息过多,则会有延迟) 思路: 首先一个是将这两个分为两个队列来实现, 一个用来实现消息优先级,一个来实现定时发送 用的是redis的有序集合,用zadd添加时,将score比做是优先级,也可以用时间戳来当做score,用来表示时间 PHP