【redis 学习系列08】Redis小功能大用处02 Pipeline、事务与Lua

3、Pipeline

3.1 Pipeline概念

Redis客户端执行一条命令分为如下四个过程:

(1)发送命令  (2)命令排队  (3)命令执行  (4)返回结果

其中(1)和(4)称为Round Trip Time(RTT,往返时间)。

Redis提供了批量操作命令( 例如mget、mset等) ,可以有效地节约RTT。但大部分命令是不支持批量操作的,例如要执行n次hgetall命令,并没有mhgetall命令存在,需要消耗n次RTT。Redis的客户端和服务端可能部署在不同的机器上。例如客户端在北京,Redis服务端在上海,两地直线距离约为1300公里,那么1次RTT时间=1300x2/ (300000x2/3) =13毫秒(光在真空中传输速度为每秒30万公里,这里假设光纤为光速的2/3),那么客户端在1秒内大约只能执行80次左右的命令,这个和Redis的高并发高吞吐特性背道而驰。

Pipeline (流水线)机制能改善上面这类问题,它能将一组Redis命令进行组装,通过一次RTT传输给Redis,再将这组Redis命令的执行结果按顺序返回给客户端,图3-5为没有使用Pipeline执行了n条命令,整个过程需要n次RTT。

                                     

图3-6为使用Pipeline 执行了n次命令,整个过程只需要1次RTT。

Pipeline 并不是什么新的技术或者机制,很多技术上都是用过。而且RTT在不同的网络环境下是有所不同的,同机房和同机器会比较快,跨机房或者跨地区会比较慢。Redis命令真正执行的时间通常都是在微秒级别的,所以才会有Redis性能瓶颈是网络这样的说法。

redis-cli的--pipe选项实际上就是使用Pipeline 机制,例如下面操作将set hello world和incr counter两条命令组装:

但是大部分开发人员更倾向于使用高级语言客户端中的Pipeline,目前大部分Redis客户端都是支持Pipeline,例如java的Redis客户端Jedis。

3.2 性能测试

表3-1给出了在不同的网络环境下非Pipeline和Pipeline执行10000次set操作的效果,可以得出如下2个结论:

  • Pipeline执行速度一般比逐条执行要快;
  • 客户端与服务端的网络延时越大,Pipeline的效果越明显。

3.3 原生批量处理命令与Pipeline对比以及注意事项

(1)比较

可以使用Pipeline模拟出批量操作的效果,但是在使用时要注意它与原生批量命令的区别,具体包含以下几点:

  • 原生批量命令是原子的,Pipeline是非原子的。
  • 原生批量命令是一个命令对应多个key, Pipeline支持多个命令。
  • 原生批量命令是Redis服务端支持实现的,而Pipeline需要服务端和客户端的共同实现。

(2)注意事项

Pipeline虽然好用,但是每次Pipeline组装的命令个数不能没有节制,否则一次组装Pipeline数据量过大,一方面会增加客户端的等待时间,另一方面会造成一定的网络阻塞,可以将一次包含大量命令的Pipeline拆分成多次较小的Pipeline来完成。

Pipeline只能操作1个Redis实例,但是即使在分布式Redis场景中,也可以作为批量操作的重要优化手段,后序博客还会对此进行介绍。

4、事务与Lua

为了保证多条命令组合的原子性,Redis提供了简单的事务功能以及集成Lua脚本来解决这个问题。

4.1 事务

所谓的事务就是一组动作,要么全部执行,要么全不执行。例如在社交网站上用户A关注了用户B,那么需要在用户A的关注表中加入用户B,并且在用户B的粉丝表中添加用户A,这两个行为要么全部执行,要么全部不执行,否则会出现数据不一致的情况。

首先这里简要说明一下Redis关于事务处理部分的4个常用命令:

  • multi:该命令用于开启一个事务;之后用户可以输入多行命令,都会被保存起来等待执行。
  • exec:执行保存起来的事务内的所有命令,该命令执行后无法回滚,因此执行速度也较快。
  • discard:该命令表示放弃事务,从当前的事务中退出。以免影响后续的语句执行。
  • watch:该命令可以为Redis事务提供check-and-set行为。被watch监视的键,如果有至少一个在执行exec前被改动,则整个事务会被取消执行。

Redis提供了简单的事务功能,将一组需要一起执行的命令放到multi和exec两个命令之间。multi命令代表事务开始,exec命令代表事务结束,它们之间的命令是原子顺序执行的,例如下面操作实现了上述用户关注问题。

可以看到sadd命令此时返回结果是QUEUED,代表命令并没有真正执行,而是暂时保存在Redis中。如果此时另一个客户端执行sismember user:a:follow user:b 返回结果为0。(即判断value是否在key的集合中)

当执行exec后,用户A关注用户B的行为才算是完成,如下所示返回的两个结果对应sadd命令。

如果要停止事务的执行,可以使用discard命令替代exec命令即可。

原文地址:https://www.cnblogs.com/xuelisheng/p/10805695.html

时间: 2024-10-01 04:25:17

【redis 学习系列08】Redis小功能大用处02 Pipeline、事务与Lua的相关文章

3.小功能大用处

标题 : 3.小功能大用处 目录 : Redis 序号 : 3 10) "students" 127.0.0.1:6379> ? ? ### GEOshell 添加地址位置信息 127.0.0.1:6379> geoadd cities:locations 116.28 39.55 beijing (integer) 1 添加已经存在的key,返回0 127.0.0.1:6379> geoadd cities:locations 116.28 39.55 beijin

【redis 学习系列07】Redis小功能大用处01 慢查询分析以及Redis Shell

Redis提供了5种数据结构已经足够强大,但除此之外,Redis还提供了诸如慢查询分析.功能强大的Redis Shell.Pipeline.事务与Lua脚本.Bitmaps.HyperLogLog.发布订阅.GEO等附加功能,这些功能可以在某些场景发挥重要作用. 慢查询分析:通过慢查询分析,找出有问题的命令进行优化: Redis Shell:功能强大的Redis Shell会有意想不到的使用功能: Pipeline:通过Pipeline(管道或者流水线)机制有效提高客户端性能: 事务与Lua:制

小功能大用处 ---- 一键检测各服务器是否存活

工作中会遇到判断服务器是否存活的场景,比如:批量重启服务器后,各宿主机或虚拟机是否启动成功. 检测服务器是否存活的原理很简单:先检查服务器是否通(ping):如果不通则检查服务器上的服务是否通,如果服务也不通,则说明这台服务器没有开启.可以使用的工具有:ping.telnet.nmap或者tcping等. nmap功能强大,用处广泛:tcping可以在服务器禁ping的情况下检查机器是否存活(比如windows机器默认就是禁ping的).在这里,我用的是ping和telnet组合. 关于ping

分布式缓存技术redis学习系列(四)——redis高级应用(集群搭建、集群分区原理、集群操作)

本文是redis学习系列的第四篇,前面我们学习了redis的数据结构和一些高级特性,点击下面链接可回看 <详细讲解redis数据结构(内存模型)以及常用命令> <redis高级应用(主从.事务与锁.持久化)> 本文我们继续学习redis的高级特性--集群.本文主要内容包括集群搭建.集群分区原理和集群操作的学习. Redis集群简介 Redis 集群是3.0之后才引入的,在3.0之前,使用哨兵(sentinel)机制(本文将不做介绍,大家可另行查阅)来监控各个节点之间的状态.Redi

C# Redis学习系列三:Redis配置主从

Redis配置主从 主IP :端口      192.168.0.103 6666 从IP:端口       192.168.0.108 3333 配置从库 (1)安装服务: redis-server --service-install --service-name redisService6666 --port 6666 (2)启动进程: redis-server --service-start --service-name redisService6666 (3)连接redis:redis-

redis学习系列

redis学习系列 基本看完 最近在看redis的代码,简单记录下自己认为重要的点,自己写比较费时间的,我会把查到的资料贴出来方便查看 淘宝的redis内存分析 http://www.searchtb.com/2011/05/redis-storage.html 淘宝关于zipmap和skiplist的分析 http://rdc.taobao.com/blog/cs/?tag=redis redis各个点的分析,值得一看!!! http://www.petermao.com/category/r

分布式缓存技术redis学习系列(二)——详细讲解redis数据结构(内存模型)以及常用命令

Redis数据类型 与Memcached仅支持简单的key-value结构的数据记录不同,Redis支持的数据类型要丰富得多,常用的数据类型主要有五种:String.List.Hash.Set和Sorted Set. Redis数据类型内存结构分析 Redis内部使用一个redisObject对象来表示所有的key和value.redisObject主要的信息包括数据类型(type).编码方式(encoding).数据指针(ptr).虚拟内存(vm)等.type代表一个value对象具体是何种数

Redis学习系列二之.Net开发环境搭建及基础数据结构String字符串

一.简介 Redis有5种基本数据结构,分别是string.list(列表).hash(字典).set(集合).zset(有序集合),这是必须掌握的5种基本数据结构.注意Redis作为一个键值对缓存系统,其所有的数据结构,都以唯一的key(字符串)作为名称,然后通过key来获取对应的数据. 二..Net开发环境搭建 这个版本,暂时不考虑并发问题,后续的文章会说!第一步:安装StackExchange.Redis包,我用的是2.0.519版本的. 第二步:编写代码,采用扩展方法的链式编程模式+as

分布式缓存技术redis学习系列(三)——redis高级应用(主从、事务与锁、持久化)

上文<详细讲解redis数据结构(内存模型)以及常用命令>介绍了redis的数据类型以及常用命令,本文我们来学习下redis的一些高级特性. 回到顶部 安全性设置 设置客户端操作秘密 redis安装好后,默认情况下登陆客户端和使用命令操作时不需要密码的.某些情况下,为了安全起见,我们可以设置在客户端连接后进行任何操作之前都要进行密码验证.修改redis.conf进行配置. [[email protected] ~]# vi /usr/local/redis/etc/redis.conf ###