[转载] Redis实现分布式锁

转载自http://zhidao.baidu.com/link?url=m56mmWYwRgCymsaLZ2tx-GWDy5FYmUWGovEtuApjTpktHS3bhofrCS-QVGiLoWeS0P-9xeS3p1n8eDqZv-D9KlHXGFYT-1BjC1xmKTnHNkG和http://blog.csdn.net/java2000_wl/article/details/8740911

Redis有一系列的命令,特点是以NX结尾,NX是Not eXists的缩写,如SETNX命令就应该理解为:SET if Not eXists。这系列的命令非常有用,这里讲使用SETNX来实现分布式锁。

用SETNX实现分布式锁

利用SETNX非常简单地实现分布式锁。例如:某客户端要获得一个名字foo的锁,客户端使用下面的命令进行获取:

SETNX lock.foo <current Unix time + lock timeout + 1>

 如返回1,则该客户端获得锁,把lock.foo的键值设置为时间值表示该键已被锁定,该客户端最后可以通过DEL lock.foo来释放该锁。 如返回0,表明该锁已被其他客户端取得,这时我们可以先返回或进行重试等对方完成或等待锁超时。解决死锁

上面的锁定逻辑有一个问题:如果一个持有锁的客户端失败或崩溃了不能释放锁,该怎么解决?我们可以通过锁的键对应的时间戳来判断这种情况是否发生了,如果当前的时间已经大于lock.foo的值,说明该锁已失效,可以被重新使用。

发生这种情况时,可不能简单的通过DEL来删除锁,然后再SETNX一次,当多个客户端检测到锁超时后都会尝试去释放它,这里就可能出现一个竞态条件,让我们模拟一下这个场景:

 C0操作超时了,但它还持有着锁,C1和C2读取lock.foo检查时间戳,先后发现超时了。 C1 发送DEL lock.foo C1 发送SETNX lock.foo 并且成功了。 C2 发送DEL lock.foo C2 发送SETNX lock.foo 并且成功了。这样一来,C1,C2都拿到了锁!问题大了!

幸好这种问题是可以避免D,让我们来看看C3这个客户端是怎样做的:

C3发送SETNX lock.foo 想要获得锁,由于C0还持有锁,所以Redis返回给C3一个0C3发送GET lock.foo 以检查锁是否超时了,如果没超时,则等待或重试。反之,如果已超时,C3通过下面的操作来尝试获得锁:GETSET lock.foo <current Unix time + lock timeout + 1>通过GETSET,C3拿到的时间戳如果仍然是超时的,那就说明,C3如愿以偿拿到锁了。如果在C3之前,有个叫C4的客户端比C3快一步执行了上面的操作,那么C3拿到的时间戳是个未超时的值,这时,C3没有如期获得锁,需要再次等待或重试。留意一下,尽管C3没拿到锁,但它改写了C4设置的锁的超时值,不过这一点非常微小的误差带来的影响可以忽略不计。注意:为了让分布式锁的算法更稳键些,持有锁的客户端在解锁之前应该再检查一次自己的锁是否已经超时,再去做DEL操作,因为可能客户端因为某个耗时的操作而挂起,操作完的时候锁因为超时已经被别人获得,这时就不必解锁了。

示例伪代码

根据上面的代码,我写了一小段Fake代码来描述使用分布式锁的全过程:

# get locklock = 0while lock != 1:    timestamp = current Unix time + lock timeout + 1    lock = SETNX lock.foo timestamp    if lock == 1 or (now() > (GET lock.foo) and now() > (GETSET lock.foo timestamp)):        break;    else:        sleep(10ms)

# do your jobdo_job()

# releaseif now() < GET lock.foo:    DEL lock.foo是的,要想这段逻辑可以重用,使用python的你马上就想到了Decorator,而用Java的你是不是也想到了那谁?AOP + annotation?行,怎样舒服怎样用吧,别重复代码就行。

----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------
  1. /**
  2. * @author http://blog.csdn.net/java2000_wl
  3. * @version <b>1.0.0</b>
  4. */
  5. public class RedisBillLockHandler implements IBatchBillLockHandler {
  6. private static final Logger LOGGER = LoggerFactory.getLogger(RedisBillLockHandler.class);
  7. private static final int DEFAULT_SINGLE_EXPIRE_TIME = 3;
  8. private static final int DEFAULT_BATCH_EXPIRE_TIME = 6;
  9. private final JedisPool jedisPool;
  10. /**
  11. * 构造
  12. * @author http://blog.csdn.net/java2000_wl
  13. */
  14. public RedisBillLockHandler(JedisPool jedisPool) {
  15. this.jedisPool = jedisPool;
  16. }
  17. /**
  18. * 获取锁  如果锁可用   立即返回true,  否则返回false
  19. * @author http://blog.csdn.net/java2000_wl
  20. * @param billIdentify
  21. * @return
  22. */
  23. public boolean tryLock(IBillIdentify billIdentify) {
  24. return tryLock(billIdentify, 0L, null);
  25. }
  26. /**
  27. * 锁在给定的等待时间内空闲,则获取锁成功 返回true, 否则返回false
  28. * @author http://blog.csdn.net/java2000_wl
  29. * @param billIdentify
  30. * @param timeout
  31. * @param unit
  32. * @return
  33. */
  34. public boolean tryLock(IBillIdentify billIdentify, long timeout, TimeUnit unit) {
  35. String key = (String) billIdentify.uniqueIdentify();
  36. Jedis jedis = null;
  37. try {
  38. jedis = getResource();
  39. long nano = System.nanoTime();
  40. do {
  41. LOGGER.debug("try lock key: " + key);
  42. Long i = jedis.setnx(key, key);
  43. if (i == 1) {
  44. jedis.expire(key, DEFAULT_SINGLE_EXPIRE_TIME);
  45. LOGGER.debug("get lock, key: " + key + " , expire in " + DEFAULT_SINGLE_EXPIRE_TIME + " seconds.");
  46. return Boolean.TRUE;
  47. } else { // 存在锁
  48. if (LOGGER.isDebugEnabled()) {
  49. String desc = jedis.get(key);
  50. LOGGER.debug("key: " + key + " locked by another business:" + desc);
  51. }
  52. }
  53. if (timeout == 0) {
  54. break;
  55. }
  56. Thread.sleep(300);
  57. } while ((System.nanoTime() - nano) < unit.toNanos(timeout));
  58. return Boolean.FALSE;
  59. } catch (JedisConnectionException je) {
  60. LOGGER.error(je.getMessage(), je);
  61. returnBrokenResource(jedis);
  62. } catch (Exception e) {
  63. LOGGER.error(e.getMessage(), e);
  64. } finally {
  65. returnResource(jedis);
  66. }
  67. return Boolean.FALSE;
  68. }
  69. /**
  70. * 如果锁空闲立即返回   获取失败 一直等待
  71. * @author http://blog.csdn.net/java2000_wl
  72. * @param billIdentify
  73. */
  74. public void lock(IBillIdentify billIdentify) {
  75. String key = (String) billIdentify.uniqueIdentify();
  76. Jedis jedis = null;
  77. try {
  78. jedis = getResource();
  79. do {
  80. LOGGER.debug("lock key: " + key);
  81. Long i = jedis.setnx(key, key);
  82. if (i == 1) {
  83. jedis.expire(key, DEFAULT_SINGLE_EXPIRE_TIME);
  84. LOGGER.debug("get lock, key: " + key + " , expire in " + DEFAULT_SINGLE_EXPIRE_TIME + " seconds.");
  85. return;
  86. } else {
  87. if (LOGGER.isDebugEnabled()) {
  88. String desc = jedis.get(key);
  89. LOGGER.debug("key: " + key + " locked by another business:" + desc);
  90. }
  91. }
  92. Thread.sleep(300);
  93. } while (true);
  94. } catch (JedisConnectionException je) {
  95. LOGGER.error(je.getMessage(), je);
  96. returnBrokenResource(jedis);
  97. } catch (Exception e) {
  98. LOGGER.error(e.getMessage(), e);
  99. } finally {
  100. returnResource(jedis);
  101. }
  102. }
  103. /**
  104. * 释放锁
  105. * @author http://blog.csdn.net/java2000_wl
  106. * @param billIdentify
  107. */
  108. public void unLock(IBillIdentify billIdentify) {
  109. List<IBillIdentify> list = new ArrayList<IBillIdentify>();
  110. list.add(billIdentify);
  111. unLock(list);
  112. }
  113. /**
  114. * 批量获取锁  如果全部获取   立即返回true, 部分获取失败 返回false
  115. * @author http://blog.csdn.net/java2000_wl
  116. * @date 2013-7-22 下午10:27:44
  117. * @param billIdentifyList
  118. * @return
  119. */
  120. public boolean tryLock(List<IBillIdentify> billIdentifyList) {
  121. return tryLock(billIdentifyList, 0L, null);
  122. }
  123. /**
  124. * 锁在给定的等待时间内空闲,则获取锁成功 返回true, 否则返回false
  125. * @author http://blog.csdn.net/java2000_wl
  126. * @param billIdentifyList
  127. * @param timeout
  128. * @param unit
  129. * @return
  130. */
  131. public boolean tryLock(List<IBillIdentify> billIdentifyList, long timeout, TimeUnit unit) {
  132. Jedis jedis = null;
  133. try {
  134. List<String> needLocking = new CopyOnWriteArrayList<String>();
  135. List<String> locked = new CopyOnWriteArrayList<String>();
  136. jedis = getResource();
  137. long nano = System.nanoTime();
  138. do {
  139. // 构建pipeline,批量提交
  140. Pipeline pipeline = jedis.pipelined();
  141. for (IBillIdentify identify : billIdentifyList) {
  142. String key = (String) identify.uniqueIdentify();
  143. needLocking.add(key);
  144. pipeline.setnx(key, key);
  145. }
  146. LOGGER.debug("try lock keys: " + needLocking);
  147. // 提交redis执行计数
  148. List<Object> results = pipeline.syncAndReturnAll();
  149. for (int i = 0; i < results.size(); ++i) {
  150. Long result = (Long) results.get(i);
  151. String key = needLocking.get(i);
  152. if (result == 1) {  // setnx成功,获得锁
  153. jedis.expire(key, DEFAULT_BATCH_EXPIRE_TIME);
  154. locked.add(key);
  155. }
  156. }
  157. needLocking.removeAll(locked);  // 已锁定资源去除
  158. if (CollectionUtils.isEmpty(needLocking)) {
  159. return true;
  160. } else {
  161. // 部分资源未能锁住
  162. LOGGER.debug("keys: " + needLocking + " locked by another business:");
  163. }
  164. if (timeout == 0) {
  165. break;
  166. }
  167. Thread.sleep(500);
  168. } while ((System.nanoTime() - nano) < unit.toNanos(timeout));
  169. // 得不到锁,释放锁定的部分对象,并返回失败
  170. if (!CollectionUtils.isEmpty(locked)) {
  171. jedis.del(locked.toArray(new String[0]));
  172. }
  173. return false;
  174. } catch (JedisConnectionException je) {
  175. LOGGER.error(je.getMessage(), je);
  176. returnBrokenResource(jedis);
  177. } catch (Exception e) {
  178. LOGGER.error(e.getMessage(), e);
  179. } finally {
  180. returnResource(jedis);
  181. }
  182. return true;
  183. }
  184. /**
  185. * 批量释放锁
  186. * @author http://blog.csdn.net/java2000_wl
  187. * @param billIdentifyList
  188. */
  189. public void unLock(List<IBillIdentify> billIdentifyList) {
  190. List<String> keys = new CopyOnWriteArrayList<String>();
  191. for (IBillIdentify identify : billIdentifyList) {
  192. String key = (String) identify.uniqueIdentify();
  193. keys.add(key);
  194. }
  195. Jedis jedis = null;
  196. try {
  197. jedis = getResource();
  198. jedis.del(keys.toArray(new String[0]));
  199. LOGGER.debug("release lock, keys :" + keys);
  200. } catch (JedisConnectionException je) {
  201. LOGGER.error(je.getMessage(), je);
  202. returnBrokenResource(jedis);
  203. } catch (Exception e) {
  204. LOGGER.error(e.getMessage(), e);
  205. } finally {
  206. returnResource(jedis);
  207. }
  208. }
  209. /**
  210. * @author http://blog.csdn.net/java2000_wl
  211. * @date 2013-7-22 下午9:33:45
  212. * @return
  213. */
  214. private Jedis getResource() {
  215. return jedisPool.getResource();
  216. }
  217. /**
  218. * 销毁连接
  219. * @author http://blog.csdn.net/java2000_wl
  220. * @param jedis
  221. */
  222. private void returnBrokenResource(Jedis jedis) {
  223. if (jedis == null) {
  224. return;
  225. }
  226. try {
  227. //容错
  228. jedisPool.returnBrokenResource(jedis);
  229. } catch (Exception e) {
  230. LOGGER.error(e.getMessage(), e);
  231. }
  232. }
  233. /**
  234. * @author http://blog.csdn.net/java2000_wl
  235. * @param jedis
  236. */
  237. private void returnResource(Jedis jedis) {
  238. if (jedis == null) {
  239. return;
  240. }
  241. try {
  242. jedisPool.returnResource(jedis);
  243. } catch (Exception e) {
  244. LOGGER.error(e.getMessage(), e);
  245. }
  246. }
时间: 2024-11-05 17:19:09

[转载] Redis实现分布式锁的相关文章

转载:基于Redis实现分布式锁

转载:基于Redis实现分布式锁  ,出处: http://blog.csdn.net/ugg/article/details/41894947 背景在很多互联网产品应用中,有些场景需要加锁处理,比如:秒杀,全局递增ID,楼层生成等等.大部分的解决方案是基于DB实现的,Redis为单进程单线程模式,采用队列模式将并发访问变成串行访问,且多客户端对Redis的连接并不存在竞争关系.其次Redis提供一些命令SETNX,GETSET,可以方便实现分布式锁机制. Redis命令介绍使用Redis实现分

基于Redis实现分布式锁(转载)

原文地址:http://blog.csdn.net/ugg/article/details/41894947 Redis命令介绍使用Redis实现分布式锁,有两个重要函数需要介绍 SETNX命令(SET if Not eXists)语法:SETNX key value功能:当且仅当 key 不存在,将 key 的值设为 value ,并返回1:若给定的 key 已经存在,则 SETNX 不做任何动作,并返回0. GETSET命令语法:GETSET key value功能:将给定 key 的值设为

Redis实现分布式锁--简单

Redis实现分布式锁原创kongmin_123 最后发布于2018-08-26 16:03:43 阅读数 13454 收藏展开在多线程并发的情况下,我们可以使用锁来保证一个代码块在同一时间内只能由一个线程访问.比如Java的synchronized关键字和Reentrantlock类等等. 这样子可以保证在同一个JVM进程内的多个线程同步执行. 如果在分布式的集群环境中,如何保证不同节点的线程同步执行呢? 怎么才能在分布式系统中,实现不同线程对代码和资源的同步访问? 对于单进程的并发场景,我们

基于Redis的分布式锁到底安全吗(上)?

网上有关Redis分布式锁的文章可谓多如牛毛了,不信的话你可以拿关键词"Redis 分布式锁"随便到哪个搜索引擎上去搜索一下就知道了.这些文章的思路大体相近,给出的实现算法也看似合乎逻辑,但当我们着手去实现它们的时候,却发现如果你越是仔细推敲,疑虑也就越来越多. 实际上,大概在一年以前,关于Redis分布式锁的安全性问题,在分布式系统专家Martin Kleppmann和Redis的作者antirez之间就发生过一场争论.由于对这个问题一直以来比较关注,所以我前些日子仔细阅读了与这场争

利用多写Redis实现分布式锁原理与实现分析

在我写这篇文章的时候,其实我还是挺纠结的,因为我这个方案本身也是雕虫小技拿出来显眼肯定会被贻笑大方,但是我最终还是拿出来与大家分享,我本着学习的态度和精神,希望大家能够给与我指导和改进方案. 一.关于分布式锁 关于分布式锁,可能绝大部分人都会或多或少涉及到. 我举二个例子: 场景一:从前端界面发起一笔支付请求,如果前端没有做防重处理,那么可能在某一个时刻会有二笔一样的单子同时到达系统后台. 场景二:在App中下订单的时候,点击确认之后,没反应,就又点击了几次.在这种情况下,如果无法保证该接口的幂

Redis实现分布式锁

http://redis.io/topics/distlock 在不同进程需要互斥地访问共享资源时,分布式锁是一种非常有用的技术手段. 有很多三方库和文章描述如何用Redis实现一个分布式锁管理器,但是这些库实现的方式差别很大,而且很多简单的实现其实只需采用稍微增加一点复杂的设计就可以获得更好的可靠性. 这篇文章的目的就是尝试提出一种官方权威的用Redis实现分布式锁管理器的算法,我们把这个算法称为RedLock,我们相信这个算法会比一般的普通方法更加安全可靠.我们也希望社区能一起分析这个算法,

基于redis的分布式锁

<?php /** * 基于redis的分布式锁 * * 参考开源代码: * http://nleach.com/post/31299575840/redis-mutex-in-php * * https://gist.github.com/nickyleach/3694555 */ pc_base::load_sys_class('cache_redis', '', 0); class dist_key_redis { //锁的超时时间 const TIMEOUT = 20; const SL

基于Redis实现分布式锁

http://blog.csdn.net/ugg/article/details/41894947 背景在很多互联网产品应用中,有些场景需要加锁处理,比如:秒杀,全局递增ID,楼层生成等等.大部分的解决方案是基于DB实现的,Redis为单进程单线程模式,采用队列模式将并发访问变成串行访问,且多客户端对Redis的连接并不存在竞争关系.其次Redis提供一些命令SETNX,GETSET,可以方便实现分布式锁机制. Redis命令介绍使用Redis实现分布式锁,有两个重要函数需要介绍 SETNX命令

基于Redis实现分布式锁-Redisson使用及源码分析

在分布式场景下,有很多种情况都需要实现最终一致性.在设计远程上下文的领域事件的时候,为了保证最终一致性,在通过领域事件进行通讯的方式中,可以共享存储(领域模型和消息的持久化数据源),或者做全局XA事务(两阶段提交,数据源可分开),也可以借助消息中间件(消费者处理需要能幂等).通过Observer模式来发布领域事件可以提供很好的高并发性能,并且事件存储也能追溯更小粒度的事件数据,使各个应用系统拥有更好的自治性. 本文主要探讨另外一种实现分布式最终一致性的解决方案--采用分布式锁.基于分布式锁的解决