高并发场景下锁

如何确保一个方法,或者一块代码在高并发情况下,同一时间只能被一个线程执行,单体应用可以使用并发处理相关的 API 进行控制,但单体应用架构演变为分布式微服务架构后,跨进程的实例部署,显然就没办法通过应用层锁的机制来控制并发了。那么锁都有哪些类型,为什么要使用锁,锁的使用场景有哪些?今天我们来聊一聊高并发场景下锁的使用技巧。

锁类别

  不同的应用场景对锁的要求各不相同,我们先来看下锁都有哪些类别,这些锁之间有什么区别。

  • 悲观锁(synchronize)

    • Java 中的重量级锁 synchronize
    • 数据库行锁
  • 乐观锁
    • Java 中的轻量级锁 volatile 和 CAS
    • 数据库版本号
  • 分布式锁(Redis锁)

乐观锁

  就好比说是你是一个生活态度乐观积极向上的人,总是往最好的情况去想,比如你每次去获取共享数据的时候会认为别人不会修改,所以不会上锁,但是在更新的时候你会判断这期间有没有人去更新这个数据。

  乐观锁使用在前,判断在后。我们看下伪代码:

reduce()
{
    select total_amount from table_1
    if(total_amount < amount ){
          return failed.
    }
    //其他业务逻辑
    update total_amount = total_amount - amount where total_amount > amount; }

  • 数据库的版本号属于乐观锁;
  • 通过CAS算法实现的类属于乐观锁。

悲观锁

  悲观锁是怎么理解呢?相对乐观锁刚好反过来,总是假设最坏的情况,假设你每次拿数据的时候会被其他人修改,所以你在每次共享数据的时候会对他加一把锁,等你使用完了再释放锁,再给别人使用数据。

  悲观锁判断在前,使用在后。我们也看下伪代码:

reduce()
{
    //其他业务逻辑
    int num = update total_amount = total_amount - amount where total_amount > amount;
   if(num ==1 ){
          //业务逻辑.
    }
}

  • Java中的的synchronize是重量级锁 ,属于悲观锁;
  • 数据库行锁属于悲观锁;

扣减操作案例

  这里举一个非常常见的例子,在高并发情况下余额扣减,或者类似商品库存扣减,也可以是资金账户的余额扣减。扣减操作会发生什么问题呢?很容易可以看到,可能会发生的问题是扣减导致的超卖,也就是扣减成了负数。

  举个例子,比如我的库存数据只有100个。并发情况下第1笔请求卖出100个,第2批卖出100元,导致当前的库存数量为负数。遇到这种场景应该如何破解呢?这里列举四种方案。

方案1:同步排它锁

  这时候很容易想到最简单的方案:同步排它锁(synchronize)。但是排他锁的缺点很明显:

  • 其中一个缺点是,线程串行导致的性能问题,性能消耗比较大。
  • 另一个缺点是无法解决分布式部署情况下跨进程问题;

方案2:数据库行锁

  第二我们可能会想到,那用数据库行锁来锁住这条数据,这种方案相比排它锁解决了跨进程的问题,但是依然有缺点。

  • 其中一个缺点就是性能问题,在数据库层面会一直阻塞,直到事务提交,这里也是串行执行;
  • 第二个需要注意设置事务的隔离级别是Read Committed,否则并发情况下,另外的事务无法看到提交的数据,依然会导致超卖问题;
  • 缺点三是容易打满数据库连接,如果事务中有第三方接口交互(存在超时的可能性),会导致这个事务的连接一直阻塞,打满数据库连接。
  • 最后一个缺点,容易产生交叉死锁,如果多个业务的加锁控制不好,就会发生AB两条记录的交叉死锁。

方案3:redis分布式锁

  前面的方案本质上是把数据库当作分布式锁来使用,所以同样的道理,redis,zookeeper都相当于数据库的一种锁,其实当遇到加锁问题,代码本身无论是synchronize或者各种lock使用起来都比较复杂,所以思路是把代码处理一致性的问难题交给一个能够帮助你处理一致性的问题的专业组件,比如数据库,比如redis,比如zookeeper等。

  这里我们分析下分布式锁的优缺点:

  • 优点:

    • 可以避免大量对数据库排他锁的征用,提高系统的响应能力
  • 缺点:
    • 设置锁和设置超时时间的原子性;
    • 不设置超时时间的缺点;
    • 服务宕机或线程阻塞超时的情况;
    • 超时时间设置不合理的情况;

加锁和过期设置的原子性

  redis加锁的命令setnx,设置锁的过期时间是expire,解锁的命令是del,但是2.6.12之前的版本中,加锁和设置锁过期命令是两个操作,不具备原子性。如果setnx设置完key-value之后,还没有来得及使用expire来设置过期时间,当前线程挂掉了或者线程阻塞,会导致当前线程设置的key一直有效,后续的线程无法正常使用setnx获取锁,导致死锁。

  针对这个问题,redis2.6.12以上的版本增加了可选的参数,可以在加锁的同时设置key的过期时间,保证了加锁和过期操作原子性的。

  但是,即使解决了原子性的问题,业务上同样会遇到一些极端的问题,比如分布式环境下,A获取到了锁之后,因为线程A的业务代码耗时过长,导致锁的超时时间,锁自动失效。后续线程B就意外的持有了锁,之后线程A再次恢复执行,直接用del命令释放锁,这样就错误的将线程B同样Key的锁误删除了。代码耗时过长还是比较常见的场景,假如你的代码中有外部通讯接口调用,就容易产生这样的场景。

设置合理的时长

  刚才讲到的线程超时阻塞的情况,那么如果不设置时长呢,当然也不行,如果线程持有锁的过程中突然服务宕机了,这样锁就永远无法失效了。同样的也存在锁超时时间设置是否合理的问题,如果设置所持有时间过长会影响性能,如果设置时间过短,有可能业务阻塞没有处理完成,是否可以合理的设置锁的时间?

续命锁

  这是一个很不容易解决的问题,不过有一个办法能解决这个问题,那就是续命锁,我们可以先给锁设置一个超时时间,然后启动一个守护线程,让守护线程在一段时间之后重新去设置这个锁的超时时间,续命锁的实现过程就是写一个守护线程,然后去判断对象锁的情况,快失效的时候,再次进行重新加锁,但是一定要判断锁的对象是同一个,不能乱续。

  同样,主线程业务执行完了,守护线程也需要销毁,避免资源浪费,使用续命锁的方案相对比较而言更复杂,所以如果业务比较简单,可以根据经验类比,合理的设置锁的超时时间就行。

方案4:数据库乐观锁

  数据库乐观锁加锁的一个原则就是尽量想办法减少锁的范围。锁的范围越大,性能越差,数据库的锁就是把锁的范围减小到了最小。我们看下面的伪代码

reduce()
{
    select total_amount from table_1
    if(total_amount < amount ){
          return failed.
    }
    //其他业务逻辑
    update total_amount = total_amount - amount;
}

  我们可以看到修改前的代码是没有where条件的。修改后,再加where条件判断:总库存大于将被扣减的库存。

update total_amount = total_amount - amount where total_amount > amount

  如果更新条数返回0,说明在执行过程中被其他线程抢先执行扣减,并且避免了扣减为负数。

  但是这种方案还会涉及一个问题,如果在之前的update代码中,以及其他的业务逻辑中还有一些其他的数据库写操作的话,那这部分数据如何回滚呢?

  我的建议是这样的,你可以选择下面这两种写法:

  • 利用事务回滚写法:

  我们先给业务方法增加事务,方法在扣减库存影响条数为零的时候扔出一个异常,这样对他之前的业务代码也会回滚。

reduce()
{
    select total_amount from table_1
    if(total_amount < amount ){
          return failed.
    }
    //其他业务逻辑
    int num = update total_amount = total_amount - amount where total_amount > amount;   if(num==0) throw Exception;}

  • 第二种写法

reduce()
{
    //其他业务逻辑
    int num = update total_amount = total_amount - amount where total_amount > amount;    if(num ==1 ){
          //业务逻辑.
    }  else{    throw Exception;  }
}

  首先执行update业务逻辑,如果执行成功了再去执行逻辑操作,这种方案是我相对比较建议的方案。在并发情况下对共享资源扣减操作可以使用这种方法,但是这里需要引出一个问题,比如说万一其他业务逻辑中的业务,因为特殊原因失败了该怎么办呢?比如说在扣减过程中服务OOM了怎么办?

  我只能说这些非常极端的情况,比如突然宕机中间数据都丢了,这种极少数的情况下只能人工介入,如果所有的极端情况都考虑到,也不现实。我们讨论的重点是并发情况下,共享资源的操作如何加锁的问题。

总结

  最后我来给你总结一下,如果你可以非常熟练的解决这类问题,第一时间肯定想到的是:数据库版本号解决方案或者分布式锁的解决方案;但是如果你是一个初学者,相信你一定会第一时间考虑到Java中提供的同步锁或者数据库行锁。

原文地址:https://www.cnblogs.com/Leo_wl/p/12393867.html

时间: 2024-08-03 02:51:07

高并发场景下锁的相关文章

高并发场景下秒杀项目静态锁的使用疑问

题:高并发场景下秒杀项目静态锁的使用疑问场景:我们有一个秒杀平台,可以提供所有接入公司创建的秒杀活动,简单描述如下:1.秒杀10袋洗衣粉,开始时间12:00(项目ID:A001)2.秒杀iPhone5,开始时间12:00(项目ID:A002)3.秒杀水杯,开始时间12:00(项目ID:A003)... ...(项目ID:A004-A009)10.秒杀ThinkPad,开始时间12:00(项目ID:A010) 例如上面,同时有十个秒杀,都是12:00整开始,每个秒杀之间没有任何关系. 按照我之前的

缓存在高并发场景下的常见问题

缓存一致性问题 当数据时效性要求很高时,需要保证缓存中的数据与数据库中的保持一致,而且需要保证缓存节点和副本中的数据也保持一致,不能出现差异现象.这就比较依赖缓存的过期和更新策略.一般会在数据发生更改的时,主动更新缓存中的数据或者移除对应的缓存. 缓存并发问题 缓存过期后将尝试从后端数据库获取数据,这是一个看似合理的流程.但是,在高并发场景下,有可能多个请求并发的去从数据库获取数据,对后端数据库造成极大的冲击,甚至导致 “雪崩”现象.此外,当某个缓存key在被更新时,同时也可能被大量请求在获取,

高并发场景下的缓存有哪些常见的问题?

一.缓存一致性问题 当数据时效性要求很高时,需要保证缓存中的数据与数据库中的保持一致,而且需要保证缓存节点和副本中的数据也保持一致,不能出现差异现象. 这就比较依赖缓存的过期和更新策略.一般会在数据发生更改的时,主动更新缓存中的数据或者移除对应的缓存. 二.缓存并发问题 缓存过期后将尝试从后端数据库获取数据,这是一个看似合理的流程.但是,在高并发场景下,有可能多个请求并发的去从数据库获取数据,对后端数据库造成极大的冲击,甚至导致 "雪崩"现象. 此外,当某个缓存key在被更新时,同时也

高并发场景下使用缓存需要注意那些问题?

一.缓存一致性问题 当数据时效性要求很高时,需要保证缓存中的数据与数据库中的保持一致,而且需要保证缓存节点和副本中的数据也保持一致,不能出现差异现象.这就比较依赖缓存的过期和更新策略.一般会在数据发生更改的时,主动更新缓存中的数据或者移除对应的缓存. 二.缓存并发问题 缓存过期后将尝试从后端数据库获取数据,这是一个看似合理的流程.但是,在高并发场景下,有可能多个请求并发的去从数据库获取数据,对后端数据库造成极大的冲击,甚至导致 "雪崩"现象.此外,当某个缓存key在被更新时,同时也可能

Tomcat 9.0.26 高并发场景下DeadLock问题排查与修复

本文首发于 vivo互联网技术 微信公众号? 链接:https://mp.weixin.qq.com/s/-OcCDI4L5GR8vVXSYhXJ7w 作者:黄卫兵.陈锦霞 一.Tomcat容器 9.0.26 版本 Deadlock 问题 1.1 问题现象 1.1.1? 发生 Deadlock 的背景 某接口/get.do压测,3分钟后,成功事务数TPS由1W骤降至0. 1.1.2? Tomcat服务器出现大量的CLOSE_WAIT 被压测服务器,出现TCP CLOSE_WAIT状态个数在200

【转】记录PHP、MySQL在高并发场景下产生的一次事故

看了一篇网友日志,感觉工作中值得借鉴,原文如下: 事故描述 在一次项目中,上线了一新功能之后,陆陆续续的有客服向我们反应,有用户的个别道具数量高达42亿,但是当时一直没有到证据表示这是,确实存在,并且直觉告诉我们,这是不可能的,就一直没有在意,直到后来真的发现了一个用户确实是42亿,当时我们整个公司都震惊了,如果有大量用户是这样的情况,公司要亏损几十万,我们的老大告诉我们,肯定是什么地方数据溢出的,最后我们一帮人,疯了似的查代码,发现…… 如果按照正常的程序逻辑走下去,代码是完全没问题,但是我发

高并发场景下System.currentTimeMillis()的性能问题的优化

前言 System.currentTimeMillis()的调用比new一个普通对象要耗时的多(具体耗时高出多少我也不知道,不过听说在100倍左右),然而该方法又是一个常用方法,有时不得不使用,比如生成wokerId.打印日志什么的,在高并发情形下肯定存在性能问题的,但怎么做才好呢? System.currentTimeMillis()之所以慢是因为去跟系统打了一次交道.那什么快?内存!如果该方法从内存直接取数,那不就美滋滋了. 代码实现 package com.nyvi.support.uti

高并发场景下System.currentTimeMillis()的性能问题的优化 以及SnowFlakeIdWorker高性能ID生成器

package xxx; import java.sql.Timestamp; import java.util.concurrent.*; import java.util.concurrent.atomic.AtomicLong; /** * 高并发场景下System.currentTimeMillis()的性能问题的优化 * <p><p> * System.currentTimeMillis()的调用比new一个普通对象要耗时的多(具体耗时高出多少我还没测试过,有人说是100

高并发场景下请求合并的实践

前言 项目中一般会请求第三方的接口,也会对外提供接口,可能是RPC,也可能是HTTP等方式.在对外提供接口时,有必要提供相应的批量接口,好的批量实现能够提升性能. 高并发场景中,调用批量接口相比调用非批量接口有更大的性能优势.但有时候,请求更多的是单个接口,不能够直接调用批量接口,如果这个接口是高频接口,对其做请求合并就很有必要了.比如电影网站的获取电影详情接口,APP的一次请求是单个接口调用,用户量少的时候请求也不多,完全没问题:但同一时刻往往有大量用户访问电影详情,是个高并发的高频接口,如果