集群环境中使用Redis实现分布式锁两种方式

一、介绍

互联网的应用场景中,为了支持高并发的请求,服务都是执行的分布式部署,相同的任务可以在集群中不同的服务器上执行,并且现在的服务容器都是支持多线程,相同的任务也可能会被同一个容器多次执行,都要求执行结果都满足幂等性的设计原则。

分布式锁,就是为了确保在分布式的环境下,相同任务只会执行成功的执行一次,后续的执行不会对这些已经产生了变化的业务再次产生影响。

分布式锁的实现有不少的方式,如:

  1. 使用RDBMS数据库本身的表锁或行锁特性;
  2. 使用Redis做为分布式锁;
  3. 使用Zookeeper做为分布式锁;

使用RDBMS数据库做为锁不是笔者要讨论的范畴,因为其本身的特性,不太符合在高并发下锁的应用场景,这里以Redis作为分布式锁做为介绍。

二、Redis

Redis本身有一些命令组支持原子性的操作,如getset、setns,这些命令可以用于分布式锁的场景中。

1、使用getset作为分布式锁控制实现

getSet本身是支持原子性的,在写入新值的同时会返回旧的值,用这个写入新值并获取旧值做为分布式锁的控制实现,如果返回的值不为空,那就说明前面已经有其它线程(这里的其它线程可以指当前容器中当前服务的其它线程,也指由部署在其它服务器上的应用中的线程)修改了该值,则可以认为已经有线程在对该请求正在处理,因而可以放弃后面的处理逻辑。

可以将当前系统的时间作为分布式锁key的值,后续其它线程的请求时,将其请求的时间与获取到的锁对应的key的旧值进行比较,比较是否已经超过了一定的时间控制阀值,如果超过了则可以认为(这里存在误判的可能性,因为后续逻辑的数据处理,恰好超过了这个时间比较阀值,就会导致重复执行,因而这里时间控制阀值要设置的比较合理,另外也需要合适的熔断机制用于保证)前面的交易处理失败(如服务恰好在设置了用于分布式锁的key后,立即就挂了,没有执行到后面的删除操作)导致用于分布式锁的key没有被删除掉,可以继续处理该请求的后续交易逻辑。

这个是非常轻量级的事务控制,不会对Redis产生外部事务(应用与Redis之间的交互事务),只是需要对Redis多进一次getset操作,流程图如下:

?

其中蓝色部分表示获取锁的逻辑。

Java代码实现如下:

@Resource
private RedisTemplate<String, String> redisTemplate;
// 超时时间,以毫秒为单位
private final long timeout = 2000;

@Test
public void testLock() {
    // 用于判断交易唯一性和合法性的Token,在交易执行之前先保存在服务端,
    // 并且下发给客户端,客户端会在执行交易之前把Token带上,没带Token的
    // 请求、Token不存在的服务端的请求、Token不正确的请求都视为非法请求
    String token = "...";
    String key = MD5Util.md5Of32(token);
    String lockKey = new StringBuilder(key).append("_lock").toString();
    boolean isGetKey = getLock(lockKey);
    if (!isGetKey) {
        log.warn("当前交易正在被处理中");
    }
    boolean handleSuccess = false;
    try {
        log.info("处理交易开始");
        String storedToken = redisTemplate.opsForValue().get(key);
        // 判断Token是否存在且合法
        if (!token.equals(storedToken)) {
            log.warn("指定的Token不存在.");
            return;
        }
        handleSuccess = true;
        log.info("处理交易结束");
    } catch (Exception e) {
        log.info("处理发生异常", e);
    } finally {
        if (handleSuccess) {
            // 限制了单个Token只能够执行一笔记交易,因而执行成功后将其删除
            List<String> keys = new ArrayList<String>();
            keys.add(key);// 限制了单个Token只能够执行一笔记交易,因而执行成功后将其删除
            keys.add(lockKey);// 用于表示锁的key删除,表示释放掉锁
            redisTemplate.delete(keys);
        } else {
            // 删除用于锁定的key
            redisTemplate.delete(lockKey);
        }
    }
}

/**
 * 原理是从redis中获取到的lockKey的值是不是存在,如果不存在表示写入的是当前值,表示锁获取成功;
 * 如果获取到的值存在,再判断是否已经超过了指定的期限,如果超过了指定的期限,则认为锁获取成功,否则认为锁获取失败;
 *
 * @param lockKey 用于获取锁定的key
 * @return true表示获取到锁,false表示未获取到锁
 */
public boolean getLock(String lockKey) {
    long now = System.currentTimeMillis();
    // Redis的GetSet返回的值必须是字符串,否则会抛异常,因而将其转换为字符串
    String nowTime = String.valueOf(now);
    String oldTime = null;
    // 判断用于锁定的key是否已经被设置了值,如果被设置了值,则用于控制后续的处理逻辑不再进行
    if ((oldTime = redisTemplate.opsForValue().getAndSet(lockKey, nowTime)) != null) {
        // 检查锁lockKey的值是不是超过了设定的时间,如2秒钟,没有超过则返回,不继续处理后续的任务;
        // 注:这个逻辑有个问题,就是客户端在2秒钟之内不停的重试,就永远不会进入到后面的处理环节。
        // 不过针对正常的业务请求这个是可以约定的,针对非正常的请求,被拦截也很正常,所以这个问题不是问题。
        if (now - Long.parseLong(oldTime) < timeout) {
            return false;
        }
        return true;
    }
    return true;
}

2、使用setnx作为分布式锁控制实现

setnx和getset的执行逻辑不同,getset是设置新值并返回旧值,setnx如果存在旧值时可以通过参数控制不设置值并返回0,不存在旧值时才设值并返回1。

二者处理流程上都是相同的,不同之处在于获取锁的实现,setnx的实现逻辑如下:

?

其中绿色部分为setnx获取锁的逻辑,这个和getset是不同的实现逻辑。

setnx获取锁的Java代码实现如下:

/**
 * 根据setnx的命令的特性,如果写入数据成功,可以用于当示锁获取成功,写入失败表示未获取到锁
 *
 * @param lockKey
 * @param value
 * @param expire
 * @return true表示获取到锁,false表示未获取到锁
 */
public boolean getLock(String lockKey) {
    long now = System.currentTimeMillis();
    // Redis的GetSet返回的值必须是字符串,否则会抛异常,因而将其转换为字符串
    String nowTime = String.valueOf(now);
    RedisConnection connection = redisTemplate.getConnectionFactory().getConnection();
    JedisCommands commands = (JedisCommands) connection.getNativeConnection();
    boolean con = false;
    do {
        con = false;
        // 返回1表示锁获取成功,返回0表示锁取失败
        String result = commands.set(lockKey, nowTime, "NX", "PX", expire);
        if ("1".equals(result)) {
            return true;
        } else {
            String oldTime = redisTemplate.opsForValue().get(lockKey);
            // 检查锁lockKey的值是不是超过了设定的时间,如2秒钟,如果超过了则继续尝试获取锁,直到获取到锁,或者数据未超期时退出;
            // 循环判断可以解决死锁的问题
            if (now - Long.parseLong(oldTime) >= expire) {// 数据已经过期了
                con = true;
            }
        }
    } while (con);
    return false;
}

原文地址:https://www.cnblogs.com/fenglibing/p/11020472.html

时间: 2025-01-13 17:12:07

集群环境中使用Redis实现分布式锁两种方式的相关文章

集群环境中使用 EhCache 缓存系统

EhCache 缓存系统 : 本章节将要介绍EhCache及EhCache实现分布式的一些解决方案.并针对于这些解决性方案做一个实现,后续将出一个提供项目模块化.服务化.插件化的VieMall快速开发平台,同时集成Dubbo服务化.Zookeeper(分布式调度/分布式配置管理服务).Redis分布式缓存技术及Memcache/Ehcache 二级缓存切换.FastDFS分布式文件系统.ActiveMQ异步消息中间件.Solr搜索.Nginx负载均衡等分布式及读写分离.如果有时间可以深入分表分库

EhCache缓存在集群环境中同步问题

由于 EhCache 是进程中的缓存系统,一旦将应用部署在集群环境中,当每一个节点维护各自的缓存数据,某个节点对缓存数据进行更新,这些更新的数据无法在其它节点中共享,这不仅会降低节点运行的效率,而且会导致数据不同步的情况发生.例如某个网站采用 A.B 两个节点作为集群部署,当 A 节点的缓存更新后,而 B 节点缓存尚未更新就可能出现用户在浏览页面的时候,一会是更新后的数据,一会是尚未更新的数据,尽管我们也可以通过 Session Sticky 技术来将用户锁定在某个节点上,但对于一些交互性比较强

深入探讨在集群环境中使用 EhCache 缓存系统

EhCache 缓存系统简介 EhCache 是一个纯 Java 的进程内缓存框架,具有快速.精干等特点,是 Hibernate 中默认的 CacheProvider. 下图是 EhCache 在应用程序中的位置: 图 1. EhCache 应用架构图 EhCache 的主要特性有: 快速: 简单: 多种缓存策略: 缓存数据有两级:内存和磁盘,因此无需担心容量问题: 缓存数据会在虚拟机重启的过程中写入磁盘: 可以通过 RMI.可插入 API 等方式进行分布式缓存: 具有缓存和缓存管理器的侦听接口

Oracle rac集群环境中的特殊问题

备注:本文摘抄于张晓明<大话Oracle RAC:集群 高可用性 备份与恢复> 因为集群环境需要多个计算机协同工作,要达到理想状态,必须要考虑在集群环境下面临的新挑战. 1.并发控制 在集群环境中,关键数据通常是并发存放的,比如放在共享磁盘上.而集群内各个成员的生身份是对等的,所有节点对数据有相同的访问权利.这时就必须有某种机制能够控制节点对数据的访问. 在Oracle rac中,是利用DLM (Distribute Look Management)机制来进行多个实例间的并发控制. 2.健忘症

C语言中存储多个字符串的两种方式

C语言中存储多个字符串的两种方式 方式一    二维字符串数组 声明: char name[4][10] = { "Justinian", "Momo", "Becky", "Bush" }; 在内存中的存储: J u s t i n i a n \0 M o m o \0 \0 \0 \0 \0 \0 B e c k y \0 \0 \0 \0 \0 B u s h \0 \0 \0 \0 \0 \0 这种方式会造成内存空间

在基于MVC的Web项目中使用Web API和直接连接两种方式混合式接入

在我之前介绍的混合式开发框架中,其界面是基于Winform的实现方式,后台使用Web API.WCF服务以及直接连接数据库的几种方式混合式接入,在Web项目中我们也可以采用这种方式实现混合式的接入方式,虽然Web API或者WCF方式的调用,相对直接连接数据库方式,响应效率上略差一些,不过扩展性强,也可以调动更多的设备接入,包括移动应用接入,网站接入,Winfrom客户端接入,这样可以使得服务逻辑相对独立,负责提供接口即可.这种方式中最有代表性的就是当前Web API的广泛应用,促进了各个接入端

java中读取配置文件ResourceBundle和Properties两种方式比较

今天在开发的时候,需要把一些信息放到配置文件中,方便后续的修改,注意到用的是ResourceBundle读取配置文件的方式,记得之前也见过使用Properties的方式,就比较好奇这两种方式的区别,网上查了一下和查了一下Java API手册,简单总结记录一下: ResourceBundle和Properties的一个主要区别就是ResourceBundle支持语言国际化,当程序需要特定于语言环境的对象时,它使用 getBundle 方法加载 ResourceBundle 类: Locale lo

web集群环境中的session同步几种方法

在做了web集群后,你肯定会首先考虑session同步问题,因为通过负载均衡后,同一个IP访问同一个页面会被分配到不同的服务器上,如果 session不同步的话,一个登录用户,一会是登录状态,一会又不是登录状态.所以本文就根据这种情况给出三种不同的方法来解决这个问题: 一,利用数据库同步session 1,用一个低端电脑建个数据库专门存放web服务器的session,或者,把这个专门的数据库建在文件服务器上,用户访问web服务器时,会去这个专门的数据库check一下session的情况,以达到s

通过Rex控制多个集群环境中的tomcat和weblogic(待完善)

Rex控制台:操作系统(centos7.1) weblogic集群操作系统:centos6.6 tomcat集群操作系统:centos6.6 nginx代理操作系统:centos6.6 远程方式:ssh公钥认证: Rex最新版本是1.3.2 该模块功能也很强大,支持各种操作,比较轻量.基本上能满足我的所有需求.Rex的安装,使用以及配置请参perldoc或者官网: 代码如下: use Rex -feature => ['1.3']; use strict; use warnings; use D