《缓存 - 穿透/击穿相关》

一:什么是缓存穿透?

  - 定义

    - 正常情况下,我们在理想的条件下去查询缓存数据都是存在的。

    - 那么请求去查询一条数据库中不存在的数据,也就是缓存和数据库都查询不到这条数据。

    - 所以请求每次都会打到数据库上面去,这种查询不存在数据的现象我们称为缓存穿透。

  - 问题

    - 在大量的恶意请求会直接打到数据库上,会造成数据库的压力过大。影响正常业务,同时可能造成数据库宕机。

  - 解决方案

    - 缓存空值

      - 发生穿透的大部分情况,都是因为缓存中没有存储这些空数据的key。从而导致每次查询数据库。

      - name我们就可以把这些对应的空值缓存,在查询,则直接返回缓存的null。

      - 设置空值时候不要忘记设置过期时间。

    - BloomFilter(布隆过滤器)

      - 详细请看 《算法 - 布隆过滤器》

      - 由于布隆过滤器的特性,适合去重或者过滤不经常删除的数据。

      - 也可以当数据量大时,作为前置过滤器使用。

    - 方案选择

      - 在对于穿透的方案选择中,更应该对穿透的键做进一步的分析。

      - 针对于一些恶意攻击,攻击带过来的大量key 是不存在的

        - 那么我们采用第一种方案就不太合适,因为会缓存大量不存在key的数据。

        - 针对这种key异常多、请求重复率比较低的数据,我们就没有必要进行缓存,使用第二种方案直接过滤掉。

      - 而对于空数据的key有限的,重复率比较高的,我们则可以采用第一种方式进行缓存。

二:什么是缓存击穿?

  - 定义

    - 在业务场景中,大量的请求同时查询一个 key 时,而这个key此时刚好失效。

    - 就会导致大量的请求都(击穿)打到数据库上面去。

    - 这种现象我们称为缓存击穿。

  - 问题

    - 在瞬间大量的查询会直接打到数据库上,会造成数据库的压力过大。影响正常业务,同时可能造成数据库宕机。

  - 解决方案

    - 定期刷新 Redis 过期时间

      - 定期监控键的过期时间,在将要过期的 key 重刷 ,使得 key缓存一直存在。

    - 锁

      - 在key失效导致需要去查询数据库时,对第一个查询加 互斥锁,其余查询等待锁释放。

      - 在做完缓存后,释放锁资源。

      - 缺点是在做缓存的时候,导致等待。

三:缓存雪崩

  - 定义

    - 某时刻发生大规模缓存失效,会有大量的请求访问DB,导致数据库宕机。

  - 缓存雪崩的解决方案

    - 事前 (为防止缓存雪崩)

      -  Redis,可以使用 主从+哨兵 ,Redis Cluster 来避免 Redis 全盘崩溃的情况。

      - 尽量保证服务的高可用

    - 事中 (避免大规模访问DB)

      - 启动自身的限流&降级处理方法, 避免MySQL被打死.

    - 事后 (尽快的恢复缓存服务)

      - Redis持久化机制,尽快恢复缓存集群

    - 偷图

      - 

四:热点数据集中失效问题

  - 定义

    - 在设置缓存的时候,一般会给缓存设置一个失效时间,对于一些热点的数据来说,当缓存失效以后会存在大量的请求过来,然后打到数据库去,从而可能导致数据库崩溃的情况。

  

  - 解决方案

    - 设置不同的失效时间

      - 为了避免这些热点的数据集中失效,那么我们在设置缓存过期时间的时候,我们让他们失效的时间错开。

      - 比如在一个基础的时间上加上或者减去一个范围内的随机值。

    - 互斥锁

      - 结合上面的击穿的情况,在第一个请求去查询数据库的时候对他加一个互斥锁,其余的查询请求都会被阻塞住,直到锁被释放,从而保护数据库。

      - 但是也是由于它会阻塞其他的线程,此时系统吞吐量会下降。需要结合实际的业务去考虑是否要这么做。

 

原文地址:https://www.cnblogs.com/25-lH/p/10757670.html

时间: 2024-10-11 20:49:12

《缓存 - 穿透/击穿相关》的相关文章

CI框架源码阅读笔记3 全局函数Common.php

从本篇开始,将深入CI框架的内部,一步步去探索这个框架的实现.结构和设计. Common.php文件定义了一系列的全局函数(一般来说,全局函数具有最高的加载优先权,因此大多数的框架中BootStrap引导文件都会最先引入全局函数,以便于之后的处理工作). 打开Common.php中,第一行代码就非常诡异: if ( ! defined('BASEPATH')) exit('No direct script access allowed'); 上一篇(CI框架源码阅读笔记2 一切的入口 index

IOS测试框架之:athrun的InstrumentDriver源码阅读笔记

athrun的InstrumentDriver源码阅读笔记 作者:唯一 athrun是淘宝的开源测试项目,InstrumentDriver是ios端的实现,之前在公司项目中用过这个框架,没有深入了解,现在回来记录下. 官方介绍:http://code.taobao.org/p/athrun/wiki/instrumentDriver/ 优点:这个框架是对UIAutomation的java实现,在代码提示.用例维护方面比UIAutomation强多了,借junit4的光,我们可以通过junit4的

Yii源码阅读笔记 - 日志组件

?使用 Yii框架为开发者提供两个静态方法进行日志记录: Yii::log($message, $level, $category);Yii::trace($message, $category); 两者的区别在于后者依赖于应用开启调试模式,即定义常量YII_DEBUG: defined('YII_DEBUG') or define('YII_DEBUG', true); Yii::log方法的调用需要指定message的level和category.category是格式为“xxx.yyy.z

源码阅读笔记 - 1 MSVC2015中的std::sort

大约寒假开始的时候我就已经把std::sort的源码阅读完毕并理解其中的做法了,到了寒假结尾,姑且把它写出来 这是我的第一篇源码阅读笔记,以后会发更多的,包括算法和库实现,源码会按照我自己的代码风格格式化,去掉或者展开用于条件编译或者debug检查的宏,依重要程度重新排序函数,但是不会改变命名方式(虽然MSVC的STL命名实在是我不能接受的那种),对于代码块的解释会在代码块前(上面)用注释标明. template<class _RanIt, class _Diff, class _Pr> in

CI框架源码阅读笔记5 基准测试 BenchMark.php

上一篇博客(CI框架源码阅读笔记4 引导文件CodeIgniter.php)中,我们已经看到:CI中核心流程的核心功能都是由不同的组件来完成的.这些组件类似于一个一个单独的模块,不同的模块完成不同的功能,各模块之间可以相互调用,共同构成了CI的核心骨架. 从本篇开始,将进一步去分析各组件的实现细节,深入CI核心的黑盒内部(研究之后,其实就应该是白盒了,仅仅对于应用来说,它应该算是黑盒),从而更好的去认识.把握这个框架. 按照惯例,在开始之前,我们贴上CI中不完全的核心组件图: 由于BenchMa

CI框架源码阅读笔记2 一切的入口 index.php

上一节(CI框架源码阅读笔记1 - 环境准备.基本术语和框架流程)中,我们提到了CI框架的基本流程,这里这次贴出流程图,以备参考: 作为CI框架的入口文件,源码阅读,自然由此开始.在源码阅读的过程中,我们并不会逐行进行解释,而只解释核心的功能和实现. 1.       设置应用程序环境 define('ENVIRONMENT', 'development'); 这里的development可以是任何你喜欢的环境名称(比如dev,再如test),相对应的,你要在下面的switch case代码块中

Apache Storm源码阅读笔记

欢迎转载,转载请注明出处. 楔子 自从建了Spark交流的QQ群之后,热情加入的同学不少,大家不仅对Spark很热衷对于Storm也是充满好奇.大家都提到一个问题就是有关storm内部实现机理的资料比较少,理解起来非常费劲. 尽管自己也陆续对storm的源码走读发表了一些博文,当时写的时候比较匆忙,有时候衔接的不是太好,此番做了一些整理,主要是针对TridentTopology部分,修改过的内容采用pdf格式发布,方便打印. 文章中有些内容的理解得益于徐明明和fxjwind两位的指点,非常感谢.

CI框架源码阅读笔记4 引导文件CodeIgniter.php

到了这里,终于进入CI框架的核心了.既然是"引导"文件,那么就是对用户的请求.参数等做相应的导向,让用户请求和数据流按照正确的线路各就各位.例如,用户的请求url: http://you.host.com/usr/reg 经过引导文件,实际上会交给Application中的UsrController控制器的reg方法去处理. 这之中,CodeIgniter.php做了哪些工作?我们一步步来看. 1.    导入预定义常量.框架环境初始化 之前的一篇博客(CI框架源码阅读笔记2 一切的入

jdk源码阅读笔记之java集合框架(二)(ArrayList)

关于ArrayList的分析,会从且仅从其添加(add)与删除(remove)方法入手. ArrayList类定义: p.p1 { margin: 0.0px 0.0px 0.0px 0.0px; font: 18.0px Monaco } span.s1 { color: #931a68 } public class ArrayList<E> extends AbstractList<E> implements List<E> ArrayList基本属性: /** *

dubbo源码阅读笔记--服务调用时序

上接dubbo源码阅读笔记--暴露服务时序,继续梳理服务调用时序,下图右面红线流程. 整理了调用时序图 分为3步,connect,decode,invoke. 连接 AllChannelHandler.connected(Channel) line: 38 HeartbeatHandler.connected(Channel) line: 47 MultiMessageHandler(AbstractChannelHandlerDelegate).connected(Channel) line: