浅谈缓存写法(一):缓存的雪崩和穿透

基本写法

为了方便演示,这里使用Runtime.Cache做缓存容器,并定义个简单操作类。如下:

<pre class="brush:csharp;gutter:true;"
         style="margin: 0px;
         padding: 0px;
         white-space: pre-wrap;
         overflow-wrap: break-word;">
public class CacheHelper
    {
        public static object Get(string cacheKey)
        {
    return HttpRuntime.Cache[cacheKey];
}
public static void Add(string cacheKey, object obj, int cacheMinute)
        {
    HttpRuntime.Cache.Insert(cacheKey, obj, null, DateTime.Now.AddMinutes(cacheMinute),
                        Cache.NoSlidingExpiration, CacheItemPriority.Normal, null);
}
}
</pre>

?简单读取:

<pre class="brush:csharp;
    gutter:true;
    " style="margin:0px;
    padding:0px;
    white-space:pre-wrap;
    overflow-wrap:break-word;
    ">
public object GetMemberSigninDays1() {
    const int cacheTime = 5;
    const string cacheKey = "mushroomsir";
    var cacheValue = CacheHelper.Get(cacheKey);
    if (cacheValue != null)
                    return cacheValue;
    cacheValue = "395";
    //这里一般是 sql查询数据。 例:395 签到天数
    CacheHelper.Add(cacheKey,cacheValue,cacheTime);
    return cacheValue;
}
</pre>

在项目中,有不少这样写法,这样写并没有错,但在并发量上来后就容易出问题。

?缓存雪崩

缓存雪崩是由于缓存失效(过期),新缓存未到期间。

这个中间时间内,所有请求都去查询数据库,而对数据库CPU和内存造成巨大压力,前端连接数不够、查询阻塞。

这个中间时间并没有那么短,比如sql查询1秒,加上传输解析0.5秒。 ?就是说1.5秒内所有用户查询,都是直接查询数据库的。

碰到这种情况,使用最多的解决方案就是加锁排队。

全局锁,实例锁

<pre style="margin:0px;
    padding:0px;
    white-space:pre-wrap;
    overflow-wrap:break-word;
    font-family:&quot;
    Courier New&quot;
    !important;
    font-size:12px !important;
    ">
public static object obj1 = new object();
    public object GetMemberSigninDays2() {
    const int cacheTime = 5;
    const string cacheKey = "mushroomsir";
    var cacheValue = CacheHelper.Get(cacheKey);
    if (cacheValue != null) return cacheValue;
    //lock (obj1) //全局锁 // {
    // cacheValue = CacheHelper.Get(cacheKey);
    // if (cacheValue != null) // return cacheValue;
    // cacheValue = "395";
    //这里一般是 sql查询数据。 例:395 签到天数 // CacheHelper.Add(cacheKey,cacheValue,cacheTime);
    //
}
lock (this) {
    cacheValue = CacheHelper.Get(cacheKey);
    if (cacheValue != null) return cacheValue;
    cacheValue = "395";
    //这里一般是 sql查询数据。 例:395 签到天数
        CacheHelper.Add(cacheKey,cacheValue,cacheTime);
}
return cacheValue;}</pre>

第一种:lock (obj1)??是全局锁可以满足,但要为每个函数都声明一个obj,不然在A、B函数都锁obj1时,必然会让其中一个阻塞。

第二种:lock (this) ?这个锁当前实例,对其他实例无效,那这个锁就没什么效果了,当然使用单例模式的对象可以锁。

?在当前实例中:A函数锁当前实例,其他也锁当前实例的函数的读写,也被阻塞,这种做法也不可取。

字符串锁

既然锁对象不行,利用字符串的特性,直接锁缓存的key呢

<pre style="margin:0px;
    padding:0px;
    white-space:pre-wrap;
    overflow-wrap:break-word;
    font-family:&quot;
    Courier New&quot;
    !important;
    font-size:12px !important;
    ">
public object GetMemberSigninDays3() {
    const int cacheTime = 5;
    const string cacheKey = "mushroomsir";
    var cacheValue = CacheHelper.Get(cacheKey);
    if (cacheValue != null) return cacheValue;
    const string lockKey = cacheKey + "n(*≧▽≦*)n";
    //lock (cacheKey) // {
    // cacheValue = CacheHelper.Get(cacheKey);
    // if (cacheValue != null) // return cacheValue;
    // cacheValue = "395";
    //这里一般是 sql查询数据。 例:395 签到天数 // CacheHelper.Add(cacheKey,cacheValue,cacheTime);
    //
}
lock (lockKey) {
    cacheValue = CacheHelper.Get(cacheKey);
    if (cacheValue != null) return cacheValue;
    cacheValue = "395";
    //这里一般是 sql查询数据。 例:395 签到天数
        CacheHelper.Add(cacheKey,cacheValue,cacheTime);
}
return cacheValue;}
</pre>

第一种:lock (cacheName)??有问题,因为字符串也是共享的,会阻塞其他使用这个字符串的操作行为。 ?

因为字符串被公共语言运行库 (CLR)暂留,这意味着整个程序中任何给定字符串都只有一个实例,所以才会用下面第二种方法。

第二种:lock (lockKey) ?可以满足。其目的就是为了保证锁的粒度最小并且全局唯一性,只锁当前缓存的查询行为。

缓存穿透

先举个简单例子:一般网站经常会缓存用户搜索的结果,如果数据库查询不到,是不会做缓存的。但如果频繁查这个空关键字,会导致每次请求都直接查询数据库了

例子就是缓存穿透,请求绕过缓存直接查数据库,这也是经常提的缓存命中率问题。

<pre style="margin:0px;
    padding:0px;
    white-space:pre-wrap;
    overflow-wrap:break-word;
    font-family:&quot;
    Courier New&quot;
    !important;
    font-size:12px !important;
    ">
public object GetMemberSigninDays4() {
    const int cacheTime = 5;
    const string cacheKey = "mushroomsir";
    var cacheValue = CacheHelper.Get(cacheKey);
    if (cacheValue != null) return cacheValue;
    const string lockKey = cacheKey + "n(*≧▽≦*)n";
    lock (lockKey) {
    cacheValue = CacheHelper.Get(cacheKey);
    if (cacheValue != null) return cacheValue;
    cacheValue = null;
    //数据库查询不到,为空。 //if (cacheValue2 == null) // {
    // return null;
    //一般为空,不做缓存 //
}
if (cacheValue == null) {
    cacheValue = string.Empty;
    //如果发现为空,我设置个默认值,也缓存起来。
}
CacheHelper.Add(cacheKey,cacheValue,cacheTime);}return cacheValue;}</pre>

如果把查询不到的空结果,也给缓存起来,这样下次同样的请求就可以直接返回null了,即可以避免当查询的值为空时引起的缓存穿透。

可以单独设置个缓存区域存储空值,对要查询的key进行预先校验,然后再放行给后面的正常缓存处理逻辑。

再谈缓存雪崩

前面不是用加锁排队方式就解决了吗?其实加锁排队只是为了减轻数据库的压力,本质上并没有提高系统吞吐量。

假设在高并发下,缓存重建期间key是锁着的,这是过来1000个请求999个都在阻塞的。导致的结果是用户等待超时,这是非常不优化的体验。

这种行为本质上是把多线程的Web服务器,在此时给变成单线程处理了,会导致大量的阻塞。对于系统资源也是一种浪费,因缓存重建而阻塞的线程本可以处理更多请求的。

这里提出一种解决方案是:

<pre style="margin:0px;
    padding:0px;
    white-space:pre-wrap;
    overflow-wrap:break-word;
    font-family:&quot;
    Courier New&quot;
    !important;
    font-size:12px !important;
    ">
public object GetMemberSigninDays5() {
    const int cacheTime = 5;
    const string cacheKey = "mushroomsir";
    //缓存标记。
    const string cacheSign = cacheKey + "_Sign";
    var sign = CacheHelper.Get(cacheSign);
    //获取缓存值
    var cacheValue = CacheHelper.Get(cacheKey);
    if (sign != null) return cacheValue;
    //未过期,直接返回。
    lock (cacheSign) {
    sign = CacheHelper.Get(cacheSign);
    if (sign != null) return cacheValue;
    CacheHelper.Add(cacheSign,"1",cacheTime);
    ThreadPool.QueueUserWorkItem((arg) => {
    cacheValue = "395";
    //这里一般是 sql查询数据。 例:395 签到天数
        CacheHelper.Add(cacheKey,cacheValue,cacheTime*2);
    //日期设缓存时间的2倍,用于脏读。
}
);}return cacheValue;}
</pre>

从代码中看出,我们多使用了一个缓存标记key,并使用双检锁校验保证后面逻辑不会多次执行。

缓存标记key: 缓存标记key只是一个记录实际key过期时间的标记,它的缓存值可以是任意值,比如1。 它主要用来在实际key过期后,触发通知另外的线程在后台去更新实际key的缓存。

实际key: ?它的过期时间会延长1倍,例:本来5分钟,现在设置为10分钟。 这样做的目的是,当缓存标记key过期后,实际缓存还能以脏数据返回给调用端,直到另外的线程在后台更新完成后,才会返回新缓存。

关于实际key的过期时间延长1倍,还是2、3倍都是可以的。只要大于正常缓存过期时间,并且能保证在延长的时间内足够拉取数据即可。

还一个好处就是,如果突然db挂了,脏数据的存在可以保证前端系统不会拿不到数据。

这样做后,就可以一定程度上提高系统吞吐量。

总结

文中说的阻塞其他函数指的是,并发情况下锁同一对象,比如一个函数锁A对象,另外的函数就必须等待A对象的锁释放后才能再次进锁。

关于更新缓存,可以单开一个线程去专门跑缓存更新,图方便的话扔线程池里面即可。

实际项目中,缓存层框架的封装往往要复杂的多,如果并发量比较小,这样写反而会增加代码的复杂度,具体要根据实际情况来取舍。

原文地址:https://blog.51cto.com/14230003/2386305

时间: 2024-11-09 03:01:41

浅谈缓存写法(一):缓存的雪崩和穿透的相关文章

浅谈浏览器http的缓存机制

针对浏览器的http缓存的分析也算是老生常谈了,每隔一段时间就会冒出一篇不错的文章,其原理也是各大公司面试时几乎必考的问题. 之所以还写一篇这样的文章,是因为近期都在搞新技术,想"回归"下基础,也希望尽量总结的更详尽些. 那么你是否还需要阅读本篇文章呢?可以试着回答下面这个问题: 我们在访问百度首页的时候,会发现不管怎么刷新页面,静态资源基本都是返回 200(from cache): 随便点开一个静态资源是酱的: 哎哟有Response报头数据呢,看来服务器也正常返回了etag什么鬼的

浅谈浏览器的缓存机制

浏览器的缓存可分为HTTP缓存和离线缓存,下面将分别介绍 HTTP缓存 只有GET请求能被缓存,POST不能被缓存.Modified Time/ETag/Expires/Cache都是HTTP协议的缓存策略 先来一个例子 当我们第二次访问百度首页,在Chrome的Network面板中打开一个静态文件时会发现响应的status是:200 OK (from disk cache),不是应该返回304 Not Modified吗?如果你知道答案,那就可以忽略本文了. Cache-Control 简介

浅谈mysql innodb缓存策略

浅谈mysql innodb缓存策略: The InnoDB Buffer Pool Innodb 持有一个存储区域叫做buffer pool是为了在内存中缓存数据和索引,知道innodb bufferpool怎么工作,和利用它读取频繁访问的数据,是mysql优化重要的方面. 理想状况下,把bufferpool的大小调整到足够大,留下足够的内存空间给其他该服务器上的进程(使其无缺页即可).bufferpool越大,innodb 月表现为内存型数据库,从硬盘上一次读取数据,之后并成了从内存中读取数

浅谈PHP缓存技术之一

近来做了一阵子程序性能的优化工作,有个比较有意思的想法,想提出来和大家交流一下. Cache是"以空间换时间"策略的典型应用模式,是提高系统性能的一种重要方法.缓存的使用在大访问量的情况下能够极大的减少对数据库操作的次 数,明显降低系统负荷提高系统性能.相比页面的缓存,结果集是一种"原始数据"不包含格式信息,数据量相对较小,而且可以再进行格式化,所以显得相当灵 活.由于php是"一边编译一边执行"的脚本语言,某种程度上也提供了一种相当方便的结果集

Spring缓存框架原理浅谈

运维在上线,无聊写博客.最近看了下Spring的缓存框架,这里写一下 1.Spring 缓存框架 原理浅谈 2.Spring 缓存框架 注解使用说明 3.Spring 缓存配置 + Ehcache(默认) 4.Spring 缓存配置 + Ehcache(自己实现) 5.Spring 缓存配置 + Memcache 6.Ehcache和Memcache的资料收集 Spring提供的缓存注解,通过对CacheManager管理Cache,实现对缓存的操作.Spring提供的CacheManager和

浅谈MVC缓存

缓存是将信息放在内存中以避免频繁访问数据库从数据库中提取数据,在系统优化过程中,缓存是比较普遍的优化做法和见效比较快的做法. 对于MVC有Control缓存和Action缓存. 一.Control缓存 Control缓存即是把缓存应用到整个Control上,该Control下的所有Action都会被缓存起来. 我们来看一下例子: [OutputCache(Duration = 10)] public class HomeController : Controller { // GET: Home

&lt;转&gt;浅谈缓存击穿、缓存并发和缓存失效

原文地址:缓存穿透.缓存并发.缓存失效之思路变迁 我们在用缓存的时候,不管是Redis或者Memcached,基本上会通用遇到以下三个问题: 缓存穿透 缓存并发 缓存失效 一.缓存穿透 注:上面三个图会有什么问题呢? 我们在项目中使用缓存通常都是先检查缓存中是否存在,如果存在直接返回缓存内容,如果不存在就直接查询数据库然后再缓存查询结果返回. 这个时候如果我们查询的某一个数据在缓存中一直不存在,就会造成每一次请求都查询DB,这样缓存就失去了意义,在流量大时,可能DB就挂掉了. 那这种问题有什么好

【ASP.NET 系列】浅谈缓存技术在ASP.NET中的运用

本篇文章虽不谈架构,但是Cache又是架构中不可或缺的部分,因此,在讲解Cache的同时,将会提及到部分架构知识,关于架构部分,读者可以不用理解,或者直接跳过涉及架构部分的内容, 你只需关心Cache即可,具体的架构,会在后续文章中与大家分享,如果你感兴趣,只需关注即可. 一   为什么要在ASP.NET 项目中引入缓存 1. 我们先来考虑一个问题,通常,面临高并发问题时,我们应该怎么处理? 下图为常规的处理思路和方法 2.为什么引入Cache呢? 我们知道,造成高并发的根本原因是大量读写的问题

浅谈数据库、JVM、缓存、SQL等性能调优方法和原则

性能优化基本是BAT等一线互联网公司程序员必备的技能,以下为大家完整揭晓性能完整的优化方案和方法:包含web网站调优.数据库.JVM调优.架构调优等方案. 第一:Web网站调优 1.尽可能减少HTTP请求:图片合并 (css sprites),Js脚本文件合并.css文件合并. 2.减少DNS查询 3.将css放在页面最上面,将js放在页面最下面 4.压缩js和css 减少文件体积,去除不必要的空白符.格式符.注释(即对代码进行格式化) 5.把js和css提取出来放在外部文件中 这一条要灵活运用

浅谈缓存系统的三个问题

一.无处不在的缓存缓存在计算机系统是无处不在,在CPU层面有L1-L3的Cache,在Linux中有TLB加速虚拟地址和物理地址的转换,在应用层有Redis等内存数据库缓存.在浏览器有本地缓存.手机有本地文件缓存等等.可见,缓存在计算机系统中有非常重要的地位,主要作用就是提高响应速度.减少磁盘读取等,本文主要讨论在高并发系统中的缓存系统.一句话概括缓存系统在高并发系统中的地位的话,就是: 如果高并发系统是烤羊肉串,那么缓存系统就是那一撮孜然...... 二.高并发系统中的缓存 缓存系统的作用 缓