redis消息队列简单应用

参考 https://blog.yxccan.cn/blog/detail/3


一、什么是消息队列

是一个消息的链表,是一个异步处理的数据处理引擎。

PS:可以理解为在redis的list列表中存放消息数据,然后按照排队方式先进先出(左进右出;右进左出)

二、可以使用的应用场景

主要应用一些延迟或异步操作的场景
比如:发送邮件、发送短信、视频转码、图片转码、日志存储、导入数据等
在发送邮件或者短信,我们不希望程序一直停留,等待发送成功才相应,而是异步进行处理,即:将待发送的邮件数据添加到消息队列中,然后按照排队先后进行异步发送邮件。

三、优点

不仅能够提高系统的负荷,还能够改善因网络阻塞导致的数据缺失
这个可以理解为:异步处理数据,不会一次性给服务器太多压力,并且不直接操作数据库,减少了数据库的压力;并且若在网络阻塞时,若已经添加到消息队列中,那么这些数据会正常执行,不会造成丢失

四、redis实现队列方案

整体思路:
前面提到消息队列,就相当于到银行窗口排队,先到的叫号入队(加入到redis消息队列),然后排到了则根据相应的叫号出队。

redis的一些特点:
redis设计用来做缓存的,但是由于它自身的某种特性使得它可以用来做消息队列,它有几个阻塞式的API可以使用,正是这些阻塞式的API让其有能力做消息队列;另外,做消息队列的其他特性例如FIFO(先入先出)也很容易实现,只需要一个list对象从头取数据,从尾部塞数据即可;redis能做消息队列还得益于其list对象blpop brpop接口以及Pub/Sub(发布/订阅)的某些接口,它们都是阻塞版的,所以可以用来做消息队列。

方案一:

使用redis的lpush/rpop (rpush/lpop) 命令 简单实现左进右出 或 右进左出 的list列表。
然后需要开启一个线程任务或者定时任务或者轮询方式,不停的调用rpop方法查看List中是否有待处理消息。
缺点:每调用一次都会发起一次连接,这会造成不必要的浪费。
1)、如果生产者速度大于消费者消费速度,消息队列长度会一直增大,时间久了会占用大量内存空间。
2)、如果睡眠时间过长,这样不能处理一些时效性的消息,睡眠时间过短,也会在连接上造成比较大的开销。

方案二:(推荐)

将方案一中的lpop、rpop命令改为使用blpop(左出)、brpop(右出)
这个指令只有在有元素时才返回,没有则会阻塞直到超时返回null
阻塞实现:不用轮询,当队列key有数据时候,就会响应,这里读取消息不会一直循环去读取,而是一直阻塞,等到有消息过来才读取。
该指令还提供了优先级以及超时参数
实现队列优先级命令:brpop queue1 queue2 ...
这样子即可以实现当队列1有数据时,优先处理,比如银行vip窗口等
实现超时退出:redis的brpop默认不带超时参数(或者说是默认为0(s)),会一直在进程中
实现命令:brpop queue1 timeout

五、代码实现思路

以下使用方案二实现思路
例子:发送平台用户邮箱消息通知(可以多场景、如发送验证码、重置密码等等)

# 第一步 请求发送的平台用户信息进队

//...... 获取用户信息代码省略
$userInfo = [‘id‘=>1, ‘name‘=>‘张三‘, ‘email‘=>‘[email protected]‘];
$redis->lpush(‘sendEmailQueue‘, serialize($userInfo)); //serialize 序列化数组信息,转为字符串
//..... 同步处理,相应页面 发送成功等信息

# 第二步 在另一个接口类出队,并且处理消息

$userInfo = unserialize(brpop(‘sendEmailQueue‘));
//sendEmail 开始发送邮件操作

# 第三步 将第二步的实现接口添加到进程任务,并且开启进程保护
//可以使用linux下的Supervisor来做进程保护
//启动队列进程,即可实现消息队列去发送邮件了

The End.



redis消息队列简单应用

原文地址:https://blog.51cto.com/10240111/2390062

时间: 2024-08-10 15:32:47

redis消息队列简单应用的相关文章

Linux 进程间通信(posix消息队列 简单)实例

Linux 进程间通信(posix消息队列 简单)实例 详情见: http://www.linuxidc.com/Linux/2011-10/44828.htm 编译: gcc -o consumer consumer.c -lrt gcc -o producer producer.c -lrt /* * * Filename: producer.c * * Description: 生产者进程 * * Version: 1.0 * Created: 09/30/2011 04:52:23 PM

利用redis List队列简单实现秒杀 PHP代码实现

利用redis List队列简单实现秒杀 PHP代码实现 2018年05月28日 11:37:46 m_nanle_xiaobudiu 阅读数 35674更多 分类专栏: Redis 版权声明:本文为博主原创文章,遵循CC 4.0 BY-SA版权协议,转载请附上原文出处链接和本声明. 本文链接:https://blog.csdn.net/m_nanle_xiaobudiu/article/details/80479666 一 生产者producer部分 ---------------------

Redis 消息队列的实现

概述 Redis实现消息队列有两种形式: 广播订阅模式:基于Redis的 Pub/Sub 机制,一旦有客户端往某个key里面 publish一个消息,所有subscribe的客户端都会触发事件 集群订阅模式:基于Redis List双向+ 原子性 + BRPOP Redis消息队列时,当Redis宕机后,消息可能会丢失(也要看持久化的策略).如果收消息方未有重发和验证机制,Redis内的数据会出现丢失.所以,使用Redis的作为消息队列,通常是对于消息的准确性并非特别高的场景. 原理 基于Red

Redis消息队列

一般来说,消息队列有两种场景,一种是发布者订阅者模式,一种是生产者消费者模式.利用redis这两种场景的消息队列都能够实现. 生产者消费者模式:生产者生产消息放到队列里,多个消费者同时监听队列,谁先抢到消息谁就会从队列中取走消息:即对于每个消息只能被最多一个消费者拥有: 发布者订阅者模式:发布者生产消息放到队列里,多个监听队列的消费者都会收到同一份消息:即正常情况下每个消费者收到的消息应该都是一样的: 对应的使用场景包括:A系统向队列中存放数据:B系统在队列中取数据: 1.redis队列模式:可

java redis使用之利用jedis实现redis消息队列

应用场景 对于数据库查询的IO连接数高.连接频繁的情况,可以考虑使用缓存实现. 从网上了解到redis可以对所有的内容进行二进制的存储,而java是可以对所有对象进行序列化的,序列化的方法会在下面的代码中提供实现. 序列化 这里我编写了一个java序列化的工具,主要是对对象转换成byte[],和根据byte[]数组反序列化成java对象: 主要是用到了ByteArrayOutputStream和ByteArrayInputStream: 需要注意的是每个自定义的需要序列化的对象都要实现Seria

(转)java redis使用之利用jedis实现redis消息队列

应用场景 最近在公司做项目,需要对聊天内容进行存储,考虑到数据库查询的IO连接数高.连接频繁的因素,决定利用缓存做. 从网上了解到redis可以对所有的内容进行二进制的存储,而java是可以对所有对象进行序列化的,序列化的方法会在下面的代码中提供实现. 序列化 这里我编写了一个java序列化的工具,主要是对对象转换成byte[],和根据byte[]数组反序列化成java对象: 主要是用到了ByteArrayOutputStream和ByteArrayInputStream: 需要注意的是每个自定

redis 实战教程、redis缓存教程、redis消息发布、订阅、redis消息队列教程

一:本教程使用环境: ubuntu12.x .jdk1.7 .Intellij idea.spring3.2.8 .redis服务端3.0,jedis客户端2.7.3 spring-data-redis 1.6.0 二:redis 服务端安装教程 这里不详解 三:redis 缓存特性 示例如下: spring配置: <bean id="jedisPoolConfig" class="redis.clients.jedis.JedisPoolConfig">

使用java实现阿里云消息队列简单封装

一.前言 最近公司有使用阿里云消息队列的需求,为了更加方便使用,本人用了几天时间将消息队列封装成api调用方式以方便内部系统的调用,现在已经完成,特此记录其中过程和使用到的相关技术,与君共勉. 现在阿里云提供了两种消息服务:mns服务和ons服务,其中我认为mns是简化版的ons,而且mns的消息消费需要自定义轮询策略的,相比之下,ons的发布与订阅模式功能更加强大(比如相对于mns,ons提供了消息追踪.日志.监控等功能),其api使用起来更加方便,而且听闻阿里内部以后不再对mns进行新的开发

PHP(Mysql/Redis)消息队列的介绍及应用场景案例--转载

郑重提示:本博客转载自好友博客,个人觉得写的很牛逼所以未经同意强行转载,原博客连接 http://www.cnblogs.com/wt645631686/p/8243438.html 欢迎访问 在进行网站设计的时候,有时候会遇到给用户大量发送短信,或者订单系统有大量的日志需要记录,还有做秒杀设计的时候,服务器无法承受这种瞬间的压力,无法正常处理,咱们怎么才能保证系统正常有效的运行呢?这时候我们就要引用消息队列来实现这类的需求,这时候就需要一个中间的系统进行分流和解压.消息队列就是一个中间件,需要