你需要知道的缓存击穿/穿透/雪崩

缓存击穿/穿透/雪崩

Intro

使用缓存需要了解几个缓存问题,缓存击穿、缓存穿透以及缓存雪崩,需要了解它们产生的原因以及怎么避免,尤其是当你打算设计自己的缓存框架的时候需要考虑如何处理这些问题。

缓存击穿

一般的缓存系统,都是按照 key 去缓存查询,如果不存在对应的 value ,就应该去后端系统查找(比如数据库)。如果 key 对应的 value 是一定不存在的,并且对该 key 并发请求量很大,就会对后端系统就会造成很大的压力。

在高并发下,多线程同时查询同一个资源,如果缓存中没有这个资源,那么这些线程都会去后端服务或数据库查找,对数据库造成极大压力,缓存也就失去存在的意义。

缓存击穿解决方案

导致缓存击穿的问题在于高并发多线程情景下,许多请求一下子都到后端服务和数据库,导致后端服务与数据库的压力骤增。

处理这个问题,在多线程请求同一个 key 的时候,进行排队,这样第一次请求后端服务和数据库之后更新缓存的值,下一个请求从缓存中取数据的时候就会拿到缓存数据,不会再请求后端服务和数据库。

缓存穿透

缓存穿透是指用户查询数据,在数据库没有,自然在缓存中也不会有。这样就导致用户查询的时候,在缓存中找不到,每次都要去数据库中查询,从而失去了缓存的意义而且相比直接查询数据库还增加了每次都去查缓存。

缓存穿透解决方案

导致问题出现的原因在于请求一个不存在的数据从而使得缓存始终不存在进而导致后端系统(主要是数据库)要承受很大的压力,所以想要解决这个问题,就势必就在缓存这里拦截住大量的请求,使得最终走到后端系统,查询数据库的请求尽可能的少。

一般处理这个问题,缓存不存在的时候会在缓存中设置一个时间较短的内容为空的缓存,从而减少实际请求到后端和进行数据库查询的次数。

复杂一些的解决方案有 布隆过滤器,基本原理是设置一个 list,查询缓存的时候从 list 里进行判断,这里不做多介绍。

布隆过滤器(Bloom Filter)是1970年由布隆提出的。它实际上是一个很长的二进制向量和一系列随机映射函数。布隆过滤器可以用于检索一个元素是否在一个集合中。它的优点是空间效率和查询时间都远远超过一般的算法,缺点是有一定的误识别率和删除困难
如果想要判断一个元素是不是在一个集合里,一般想到的是将所有元素保存起来,然后通过比较确定。链表,树等等数据结构都是这种思路. 但是随着集合中元素的增加,我们需要的存储空间越来越大,检索速度也越来越慢(O(n),O(logn))。不过世界上还有一种叫作散列表(又叫哈希表,Hash table)的数据结构。它可以通过一个Hash函数将一个元素映射成一个位阵列(Bit array)中的一个点。这样一来,我们只要看看这个点是不是1就可以知道集合中有没有它了。这就是布隆过滤器的基本思想。

缓存雪崩

当缓存服务器重启或者大量缓存集中在某一个时间失效,这样在失效的时候,也会给后端系统和数据库带来很大压力.

缓存雪崩解决方案

导致出现缓存雪崩的根本原因在于缓存大量失效,从而导致大量请求没有命中缓存,大量请求走到后端服务和数据库,造成压力。

如果系统启动就依赖很多缓存,那可以通过其它服务进行缓存预热,提前把需要的数据放到缓存中,避免系统启动大量请求直接请求到后端服务和数据库。

既然是由于同一时间缓存大量失效,我们也可以着手从缓存的失效时间上,做一些优化,让缓存不要在同一时间点失效。
具体的实施办法,你可以在设置失效时间的时候随机加几秒过期时间,避免同一时间点缓存大量失效。

Reference

Contact

Contact me: [email protected]

原文地址:https://www.cnblogs.com/weihanli/p/9515302.html

时间: 2024-08-06 06:01:20

你需要知道的缓存击穿/穿透/雪崩的相关文章

阿里面试Redis最常见的三个问题:缓存击穿、雪崩、穿透(带答案)

点赞再看,养成习惯,微信搜索[三太子敖丙]我所有文章都在这里,本文 GitHub https://github.com/JavaFamily 已收录,有一线大厂面试完整考点,文末有福利. 正文 上一期吊打系列我们提到了Redis的基础知识,还没看的小伙伴可以回顾一下 <吊打面试官>系列-Redis基础 那提到Redis我相信各位在面试,或者实际开发过程中对缓存雪崩,穿透,击穿也不陌生吧,就算没遇到过但是你肯定听过,那三者到底有什么区别,我们又应该怎么去防止这样的情况发生呢,我们有请下一位受害者

redis击穿,穿透,雪崩,分布式锁,api(jedis,luttuce)

击穿:(redis做缓存用,肯定发生了高并发,到达数据库查询)设置key 的过期时间,过期后没有这个key,找不到了,就穿过了(其中一个key过期导致并发访问数据库)LRU (LRU,即:最近最少使用淘汰算法(Least Recently Used).LRU是淘汰最长时间没有被使用的页面.)LFU (LFU,即:最不经常使用淘汰算法(Least Frequently Used).LFU是淘汰一段时间内,使用次数最少的页面) 1.key为null 2.setnx 如果key存在,则什么都不做 在

缓存击穿 缓存雪崩

1.关于redis的缓存击穿和雪崩 缓存击穿:redis缓存系统是根据key来查询value的值,当value不存在的时候,就会去访问数据库(DB),如果大量的请求进来找不到与之对应的value时,会对数据库造成巨大压力,以至于导致数据库瘫痪,这就叫缓存击穿. 解决方案:1.使用布隆过滤器 2.不管查询的value是null还是不存在都将值缓存下来,对于这          样的key设置的过期时间比较短. 缓存雪崩:当缓存服务器重启或者某一时间段缓存大量失效,这样失效的时 候会导致大数据量访问

缓存穿透,缓存击穿,缓存雪崩解决方案分析

本文转自:http://blog.csdn.net/zeb_perfect/article/details/54135506 前言 设计一个缓存系统,不得不要考虑的问题就是:缓存穿透.缓存击穿与失效时的雪崩效应. 缓存穿透 缓存穿透是指查询一个一定不存在的数据,由于缓存是不命中时被动写的,并且出于容错考虑,如果从存储层查不到数据则不写入缓存,这将导致这个不存在的数据每次请求都要到存储层去查询,失去了缓存的意义.在流量大时,可能DB就挂掉了,要是有人利用不存在的key频繁攻击我们的应用,这就是漏洞

缓存穿透 &amp; 缓存雪崩 &amp; 缓存击穿

一 缓存穿透 1. 行为 查询一个一定不存在的数据.存储层(姑且认为是db,下面都用db指代)查不到数据则不写入缓存,那么下次请求这个不存在的数据同样会到db层查询,失去了缓存的意义.流量大或人为恶意攻击可能会使db宕掉. 2. 解决方案 (1) 布隆过滤器.将全量可能存在的数据哈希到一个足够大的bitmap中,布隆可能误报,但绝不会漏报,那么一定不存在的数据会被拦截掉,从而缓解了对db的压力 (2) 空结果也进入缓存.如果查询返回的结果为空 (数据不存在 | 服务不可用), 仍将数据-空结果进

缓存穿透、缓存击穿、缓存雪崩概念及解决方案

缓存穿透 概念 访问一个不存在的key,缓存不起作用,请求会穿透到DB,流量大时DB会挂掉. 解决方案 采用布隆过滤器,使用一个足够大的bitmap,用于存储可能访问的key,不存在的key直接被过滤: 访问key未在DB查询到值,也将空值写进缓存,但可以设置较短过期时间. 缓存雪崩 概念 大量的key设置了相同的过期时间,导致在缓存在同一时刻全部失效,造成瞬时DB请求量大.压力骤增,引起雪崩. 解决方案 可以给缓存设置过期时间时加上一个随机值时间,使得每个key的过期时间分布开来,不会集中在同

缓存击穿、缓存穿透、缓存雪崩

参考文章:缓存穿透.缓存击穿.缓存雪崩概念及解决方案 一. 缓存击穿 1. 概念 缓存击穿指的是高并发情况下在缓存中查询时该资源不存在,导致缓存无法命中,所有请求击穿到后端数据库系统进行查询,使数据库压力过大,甚至使数据库服务被压死. 2. 解决方案 直接加锁:当缓存未命中,则从数据库获取数据并更新到缓存中: 定时任务:定时刷新缓存: 多级缓存:一级缓存失效时间短,二级缓存失效时间长,一级缓存未命中时对 key 加锁,从数据库获取到数据更新到缓存并释放锁,后面线程从二级缓存获取数据: 二. 缓存

缓存击穿、缓存穿透和缓存雪崩

缓存击穿 定义: 缓存中的key一般设有过期时间,如果某个key过期了,恰在这个时候,有大量的并发请求访问这个key,则这些请求都会到达DB,导致DB瞬间压力过大,压垮DB. 解决方案: 1.设置互斥锁,mutex.当缓存失效时不时立即去访问数据库,而是使用缓存工具的操作成功带返回值的操作,比如redis的setnx(set if not exit),memcache的add,利用setnx实现锁的效果. 缺点:可能造成死锁,或线程池阻塞 2.提前使用互斥锁 redist的超时时间是timeou

缓存穿透、缓存击穿、缓存雪崩及其解决方案

1.缓存穿透 缓存穿透是指查询一个一定不存在的数据,因为缓存中也无该数据的信息,则会直接去数据库层进行查询,从系统层面来看像是穿透了缓存层直接达到DB,从而称为缓存穿透,没有了缓存层的保护,这种查询一定不存在的数据对系统来说可能是一种危险,如果有人恶意用这种一定不存在的数据来频繁请求系统(准确的说是攻击系统),请求都会到达数据库层导致DB瘫痪从而引起系统故障. 解决方案 缓存穿透业内的解决方案已经比较成熟,主要常用的有以下几种: bloom filter:类似于哈希表的一种算法,用所有可能的查询