Redis 利用锁机制来防止缓存过期产生的惊群现象-转载自 http://my.oschina.net/u/1156660/blog/360552

首先,所谓的缓存过期引起的“惊群”现象是指,在大并发情况下,我们通常会用缓存来给数据库分压,但是会有这么一种情况发生,那就是在一定时间 内生成大量的缓存,然后当缓存到期之后又有大量的缓存失效,导致后端数据库的压力突然增大,这种现象就可以称为“缓存过期产生的惊群现象”!

以下代码的思路,就是利用“锁机制”来防止惊群现象。先看代码:

class KomaRedis{
  private $redis; //redis对象
  private static $_instance = null;
  private function __construct($config = array())
  {
    if (empty($config)) {
      return false;
    }
    $this->redis = new Redis();
    $this->redis->connect($config[‘server‘], $config[‘port‘]);
    return $this->redis;
  }
  /**
   * @param array $config
   * @return redis操作类对象
   */
  public static function getInstance($config = array())
  {
    if (!(self::$_instance instanceof self)) {
      self::$_instance = new self ($config);
    }
    return self::$_instance;
  }
  /**
   * 获取缓存
   * @param $key string $name
   * @return array,object,number,string,boolean
   * @desc 此方法使用了锁机制来防止防止缓存过期时所产生的惊群现象,保证只有一个进程不获取数据,可以更新,其他进程仍然获取过期数据
   */
  public function getByLock($key)
  {
    $sth = $this->redis->get($key);
    if ($sth === false) {
      return $sth;
    } else {
      $sth = json_decode($sth, TRUE);
      if (intval($sth[‘expire‘]) <= time()) {
        $lock = $this->redis->incr($key . ".lock");
        if ($lock === 1) {
          return false;
        } else {
          return $sth[‘data‘];
        }
      } else {
        return $sth[‘data‘];
      }
    }
  }
  /**
   * 设置缓存
   * @param $key string $name 缓存键
   * @param $value $string ,array,object,number,boolean $value 缓存值
   * @param null $ttl $string ,number $ttl 过期时间,如果不设置,则使用默认时间,如果为 infinity 则为永久保存
   * @return bool
   * @desc 此方法存储的数据会自动加入一些其他数据来避免惊群现象,如需保存原始数据,请使用 set
   */
  public function setByLock($key, $value, $ttl = null)
  {
    if (is_numeric($ttl) && intval($ttl) > 0) {
      $ttl = intval($ttl);
      $exp = time() + $ttl;
      $arg = array("data" => $value, "expire" => $exp);
    } else {
      $ttl = 300;
      $exp = time() + $ttl;
    }
    empty($ttl) OR $ttl += 300; //增加redis缓存时间,使程序有足够的时间生成缓存
    $arg = array("data" => $value, "expire" => $exp);
    $rs = $this->redis->setex($key, $ttl, json_encode($arg, TRUE));
    $this->redis->del($key . ".lock");
    return $rs;
  }
  /**
   * 返回redis对象
   * redis有非常多的操作方法,我们只封装了一部分
   * 拿着这个对象就可以直接调用redis自身方法
   */
  public function redis()
  {
    return $this->redis;
  }
}

原理就是:

首先,在存储数据的时候,设置数据的过期时间比实际设置的过期时间多300秒,然后存储的数据中,通过一个数组来存储数据,数组中一个键用来存放真实的数据,另外一个键用来存放数据的真实过期时间,这个留到后期获取数据的时候做校验,然后把对应这个数据的“锁”删除掉。

这里这么做的原因和读取数据的做法相关!

然后,在读取数据的时候,依然像平时一样直接读取,如果数据已经超过了有效期(注意:这里的有效期并非设置的有效期,而是更该之后的有效期), 那么就只能去读后端数据库。如果数据依然有效,则需要去判断,判断数据“在真正的有效期内是否失效”,如果没有失效,则直接返回数据!

重点是,假如数据“在伪造的有效期内没有失效,而在真正的有效期内已经失效”,那么这时就需要去判断“数据的锁”!

通过代码“$lock = $this->redis->incr($key . ".lock");”可以获取数据的锁,“$lock === 1”表示数据没有锁,那么这一次请求需要发送到后端数据库去读取最新的数据,否则的话表示该数据已经加了锁,也就是已经有一个线程去后端读取数据了,那么 后来的线程也就没有权限再去后端取数据,需要等到前面的那个线程执行结束,但是这次读取就只能读取“旧的数据”了!

通过上面的解释也就明白,为什么在存储数据的时候需要“删除数据的锁”!因为一旦数据被重新存储,那么说明已经有一个线程去后端得到了最新的数据,那么该数据的锁就可以释放,然后下一个线程在获取数据的时候就可以得到这个锁,然后有权限进入到后端去读取新数据!

时间: 2024-12-17 21:19:55

Redis 利用锁机制来防止缓存过期产生的惊群现象-转载自 http://my.oschina.net/u/1156660/blog/360552的相关文章

高并发情况利用锁机制处理缓存未命中

关于缓存的使用,个人经验还是比较欠缺,对于缓存在应用系统中的使用也只是前几个月在公司实习的时候,简单的使用过,且使用的都是人家把框架搭建好的,至于缓存在并发情况下会产生的一系列问题都已经被框架处理好了,我所做的只是set和get,至于使用时缓存在并发情况下到底会出现什么样的问题,该如何去解决和避免这些问题,没有去深究. 秉着"学而时习之"的态度(T_T自己太懒,厚着脸皮),这两天在鼓捣redis,至于redis的基本使用还是挺简单的,今天要说的是我在这个过程中看到网上博客一直提的关于缓

利用锁机制解决商品表和库存表并发问题

锁机制 问题:当一个脚本被一个客户端访问都正常,但当多个客户端同时并发访问时,这个脚本的结果会出现不正确,这个问题需要使用锁机制来解决.在我们这个网站中需要用到锁的地方就是高并发下定单时减少商品库存量时. 比如例子1: 有一个A 表里面一个ID数字: 现在写一个脚本操作这个A表,每次访问把ID减少: 这个脚使用AB模拟10个用户并发访问时会发现减少的数量并不是10: . 例子2:在高并发下定单时如果要减少库存量,那么库存就会出问题: 加锁之前: 加锁之后: 现在有两种锁机制:MYSQL中的表锁和

Redis学习笔记~Redis并发锁机制

回到目录 redis客户端驱动有很多,如ServiceStack.Redis,StackExchange.Redis等等,下面我使用ServiceStack.Redis为例,介绍一下在redis驱动中实现并发锁的方式,并发就是多线程同时访问和操作同一个资源,而对于redis来说,如果你多个线程共同修改一个key的value,这时就会出现并发,为了保证数据完整性,这时需要使用并发锁,在各大语言中,都有自己的实现方法,无论的C,C#,java还是sqlserver都有这个概念! using (IRe

Nginx源码分析—过期事件和惊群事件的处理

过期事件:每个事件的date域都是一个结构体ngx_connection_t结构体,表示对应的连接.对于一个结构体struct epoll_event 中的data.ptr成员存储的是ngx_connection_t连接,这里使用Instance标志位来标识,下面就配合ngx_epoll_process_events方法说明他的用法. Data.ptr (void* )((uintptr_t) c  |  ev->instance); 这事添加事件的使用对ptr进行的初始化. 那么在检查的时候怎

Redis分布式锁解决抢购问题

首先分享一个业务场景-抢购.一个典型的高并发问题,所需的最关键字段就是库存,在高并发的情况下每次都去数据库查询显然是不合适的,因此把库存信息存入Redis中,利用redis的锁机制来控制并发访问,是一个不错的解决方案. 首先是一段业务代码: @Transactional public void orderProductMockDiffUser(String productId){ //1.查库存 int stockNum = stock.get(productId); if(stocknum =

Java开源生鲜电商平台-OMS订单系统中并发问题和锁机制的探讨与解决方案(源码可下载)

Java开源生鲜电商平台-OMS订单系统中并发问题和锁机制的探讨与解决方案(源码可下载) 说明:Java开源生鲜电商中OMS订单系统中并发问题和锁机制的探讨与解决方案: 问题由来     假设在一个订单系统中(以火车票订单系统为例),用户A,用户B都要预定从成都到北京的火车票,A.B在不同的售票窗口均同时查询到了某车厢卧铺中.下铺位有空位.用户A正在犹豫订中铺还是下铺,这时用户B果断订购了下铺.当用户A决定订下铺时,系统提示下铺已经被预订,请重新选择铺位.在这个系统场景中,我们来探讨一下,火车票

PHP实现Redis分布式锁

 锁在我们的日常开发可谓用得比较多.通常用来解决资源并发的问题.特别是多机集群情况下,资源争抢的问题.但是,很多新手在锁的处理上常常会犯一些问题.今天我们来深入理解锁. 一.Redis 锁错误使用之一我曾经见过有的项目把查询结果存储到 Redis 当中时的伪代码如下: $redis    = new \Redis('127.0.0.1', 6379); $cacheKey = 'query_cache'; $result   = $redis->get($cacheKey); if ($resu

redis分布式锁(转)

add by zhj: 如果不考虑键的删除,而是让他过期后自动失效,那用set就可以实现锁了 原文:http://www.cnblogs.com/yjf512/archive/2017/03/22/6597814.html 解锁redis锁的正确姿势 redis是php的好朋友,在php写业务过程中,有时候会使用到锁的概念,同时只能有一个人可以操作某个行为.这个时候我们就要用到锁.锁的方式有好几种,php不能在内存中用锁,不能使用zookeeper加锁,使用数据库做锁又消耗比较大,这个时候我们一

论火车票订单系统中并发问题和锁机制的探讨

问题由来 假设在一个订单系统中(以火车票订单系统为例),用户A,用户B都要预定从成都到北京的火车票,A.B在不同的售票窗口均同时查询到了某车厢卧铺中.下铺 位有空位.用户A正在犹豫订中铺还是下铺,这时用户B果断订购了下铺.当用户A决定订下铺时,系统提示下铺已经被预订,请重新选择铺位.在这个系统场景 中,我们来探讨一下,火车票系统是怎样处理并发事件以及怎么利用锁机制来避免重复订票的. 设想的方案 方案1: 为了避免重复订票,大部分人会想到在做订票操作前,去数据库查询该铺位是否已经被预订,假设“铺位