redis击穿,穿透,雪崩,分布式锁,api(jedis,luttuce)

击穿:(redis做缓存用,肯定发生了高并发,到达数据库查询)
设置key 的过期时间,过期后没有这个key,找不到了,就穿过了(其中一个key过期导致并发访问数据库)
LRU (LRU,即:最近最少使用淘汰算法(Least Recently Used)。LRU是淘汰最长时间没有被使用的页面。)
LFU (LFU,即:最不经常使用淘汰算法(Least Frequently Used)。LFU是淘汰一段时间内,使用次数最少的页面)
1.key为null
2.setnx
如果key存在,则什么都不做
在 Redis 里,所谓 SETNX,是「SET if Not eXists」的缩写,也就是只有不存在的时候才设置,可以利用它来实现锁的效果,不过很多人没有意识到 SETNX 有陷阱!
比如说:某个查询数据库的接口,因为调用量比较大,所以加了缓存,并设定缓存过期后刷新,问题是当并发量比较大的时候,如果没有锁机制,那么缓存过期的瞬间,大量并发请求会穿透缓存直接查询数据库,造成雪崩效应,如果有锁机制,那么就可以控制只有一个请求去更新缓存,其它的请求视情况要么等待,要么使用过期的缓存。
3.只有获得锁的去访问DB

并发有了:阻止并发到达DB,redis又没有key
鉴于redis是单进程实例,如果所有请求都没找到这个key的话就由第二轮的第一个请求创建一个key作为锁
setnx()->锁
1.get key
2.setnx
3.1 ok表示获取到锁,去DB
3.2 false表示未获取到锁,sleep ->1
问题:如果第一个人挂了?
可以设置锁的过期时间
问题:没挂,但是锁超时了?
用多线程解决
一个线程获取DB
一个线程监控是否取回来,更新锁时间

穿透:(redis做缓存用,从业务接收查询的是你redis根本不存在的数据,到达数据库查询)
解决方案:
用布隆过滤器
1.client客户端包含
2.客户端包含算法,bitmap->redis
3.redis集成布隆
布隆过滤器只能增加不能删除,所以可以用布谷鸟过滤器替代
空key,查的是空就返回
扩展:
布隆过滤器:
它实际上是一个很长的二进制向量和一系列随机映射函数。布隆过滤器可以用于检索一个元素是否在一个集合中。它的优点是空间效率和查询时间都远远超过一般的算法,缺点是有一定的误识别率和删除困难。
tips:看完这个我们可以知道是一个叫布隆的人提出的一个用来检索一个元素是否在一个集合中的算法,效率高,性能好。
布谷鸟过滤器:
布谷鸟过滤器源于布谷鸟Hash算法,布谷鸟Hash表有两张,分别两个Hash函数,当有新的数据插入的时候,它会计算出这个数据在两张表中对应的两个位置,这个数据一定会被存在这两个位置之一(表1或表2)。一旦发现其中一张表的位置被占,就将改位置原来的数据踢出,被踢出的数据就去另一张表找对应的位置。通过不断的踢出数据,最终所有数据都找到了自己的归宿。
但仍会有数据不断的踢出,最终形成循环,总有一个数据一直没办法找到落脚的位置,这代表布谷Hash表走到了极限,需要将Hash算法优化或Hash表扩容。
布谷鸟过滤器只会存储元素的指纹信息(几个bit,类似于布隆过滤器),由于不是存储了数据的全部信息,会有误判的可能。
由于布谷鸟过滤器在踢出数据时,需要再次计算原数据在另一种表的Hash值,因此作者设计Hash算法时将两个Hash函数变成了一个Hash函数,第一张表的备选位置是Hash(x),第二张表的备选位置是Hash(x)⊕hash(fingerprint(x)),即第一张表的位置与存储的指纹的Hash值做异或运算。这样可以直接用指纹的值 异或 原来位置的Hash值来计算出其另一张表的位置。

雪崩:(redis做缓存用,大量的key同时失效,大量数据到达数据库)
随机过期时间
1.时间性无关
2.零点 业务层加判断,零点延时()-->零点(双11折扣,过了零点开始抢购)-->强依赖击穿方案

分布式锁:
分布式锁是控制分布式系统或不同系统之间共同访问共享资源的一种锁实现,如果不同的系统或同一个系统的不同主机之间共享了某个资源时,往往需要互斥来防止彼此干扰来保证一致性。
1.setnx
2.过期时间
3.多线程(守护线程) 延长过期
redisson
zookeeper 做分布式锁

API
<dependency>
<groupId>org.springframework.boot</groupId>
<artifactId>spring-boot-starter-data-redis</artifactId>
</dependency>
<dependency>
<groupId>org.springframework.boot</groupId>
<artifactId>spring-boot-starter-json</artifactId>
</dependency>

@Componentpublic class TestRedis {    @Autowired    RedisTemplate redisTemplate;    @Autowired    @Qualifier("ooxx")    StringRedisTemplate stringRedisTemplate;

    @Autowired    ObjectMapper objectMapper;

    public void testRedis(){//        redisTemplate.opsForValue().set("hello", "hello koukay");        //高级api       /* stringRedisTemplate.opsForValue().set("hello02", "hello koukay");        System.out.println(stringRedisTemplate.opsForValue().get("hello02"));*/       //低级api        RedisConnection connection = redisTemplate.getConnectionFactory().getConnection();        connection.set("hello03".getBytes(), "123".getBytes());        System.out.println(new String(connection.get("hello03".getBytes())));

       /* HashOperations<String, Object, Object> hash = stringRedisTemplate.opsForHash();        hash.put("sean", "name", "
koukay
");        hash.put("sean", "age", "18");        System.out.println(hash.entries("sean"));*/

        Person p = new Person();        p.setName("jack");        p.setAge(18);

        /*Jackson2HashMapper jm = new Jackson2HashMapper(objectMapper, false);        redisTemplate.opsForHash().putAll("sean01" , jm.toHash(p));        Map map = redisTemplate.opsForHash().entries("sean01");        Person person = objectMapper.convertValue(map, Person.class);        System.out.println(person);        System.out.println(person.getName()+"<==>"+p.getAge());*///序列化hash值字符串//        stringRedisTemplate.setHashValueSerializer(new Jackson2JsonRedisSerializer<Object>(Object.class));        Jackson2HashMapper jm = new Jackson2HashMapper(objectMapper, false);        stringRedisTemplate.opsForHash().putAll("sean02" , jm.toHash(p));        Map map = stringRedisTemplate.opsForHash().entries("sean02");        Person person = objectMapper.convertValue(map, Person.class);        System.out.println(person);        System.out.println(person.getName()+"<==>"+p.getAge());

        //获得连接        RedisConnection cc = stringRedisTemplate.getConnectionFactory().getConnection();        //订阅消息        cc.subscribe(new MessageListener() {            @Override            public void onMessage(Message message, byte[] bytes) {                byte[] body = message.getBody();                System.out.println(new String(body));            }        }, "ooxx".getBytes());        while (true){            //发送消息            stringRedisTemplate.convertAndSend("ooxx", "hello");            try {                Thread.sleep(3000);            } catch (InterruptedException e) {                e.printStackTrace();            }        }    }

}
@Configurationpublic class MyTemplate {    @Bean    public StringRedisTemplate ooxx(RedisConnectionFactory fc){        StringRedisTemplate tp = new StringRedisTemplate(fc);        tp.setHashValueSerializer(new Jackson2JsonRedisSerializer<Object>(Object.class));        return tp;    }}
@SpringBootApplicationpublic class SpringbootStudyApplication {

   public static void main(String[] args) {      ConfigurableApplicationContext ctx = SpringApplication.run(SpringbootStudyApplication.class, args);      TestRedis redis = ctx.getBean(TestRedis.class);      redis.testRedis();

   }

}

原文地址:https://www.cnblogs.com/hikoukay/p/12110226.html

时间: 2024-10-08 06:02:25

redis击穿,穿透,雪崩,分布式锁,api(jedis,luttuce)的相关文章

你需要知道的缓存击穿/穿透/雪崩

缓存击穿/穿透/雪崩 Intro 使用缓存需要了解几个缓存问题,缓存击穿.缓存穿透以及缓存雪崩,需要了解它们产生的原因以及怎么避免,尤其是当你打算设计自己的缓存框架的时候需要考虑如何处理这些问题. 缓存击穿 一般的缓存系统,都是按照 key 去缓存查询,如果不存在对应的 value ,就应该去后端系统查找(比如数据库).如果 key 对应的 value 是一定不存在的,并且对该 key 并发请求量很大,就会对后端系统就会造成很大的压力. 在高并发下,多线程同时查询同一个资源,如果缓存中没有这个资

使用Redis SETNX 命令实现分布式锁

转自:http://blog.csdn.net/lihao21/article/details/49104695 使用Redis的 SETNX 命令可以实现分布式锁,下文介绍其实现方法. SETNX命令简介 命令格式 SETNX key value 将 key 的值设为 value,当且仅当 key 不存在. 若给定的 key 已经存在,则 SETNX 不做任何动作. SETNX 是SET if Not eXists的简写. 返回值 返回整数,具体为 - 1,当 key 的值被设置 - 0,当

基于redis的一种分布式锁

前言:本文介绍了一种基于redis的分布式锁,利用jedis实现应用(本文应用于多客户端+一个redis的架构,并未考虑在redis为主从架构时的情况) 文章理论来源部分引自:https://i.cnblogs.com/EditPosts.aspx?opt=1 一.基本原理 1.用一个状态值表示锁,对锁的占用和释放通过状态值来标识. 2.redis采用单进程单线程模式,采用队列模式将并发访问变成串行访问,多客户端对Redis的连接并不存在竞争关系. 二.基本命令 1.setNX(SET if N

【连载】redis库存操作,分布式锁的四种实现方式[三]--基于Redis watch机制实现分布式锁

一.redis的事务介绍 1. Redis保证一个事务中的所有命令要么都执行,要么都不执行.如果在发送EXEC命令前客户端断线了,则Redis会清空事务队列,事务中的所有命令都不会执行.而一旦客户端发送了EXEC命令,所有的命令就都会被执行,即使此后客户端断线也没关系,因为Redis中已经记录了所有要执行的命令. 2. 除此之外,Redis的事务还能保证一个事务内的命令依次执行而不被其他命令插入.试想客户端A需要执行几条命令,同时客户端B发送了一条命令,如果不使用事务,则客户端B的命令可能会插入

Redis事务与可分布式锁

1    Redis事务 1.1   Redis事务介绍 l  Redis的事务是通过MULTI,EXEC,DISCARD和WATCH这四个命令来完成的. l  Redis的单个命令都是原子性的,所以这里确保事务性的对象是命令集合. l  Redis将命令集合序列化并确保处于同一事务的命令集合连续且不被打断的执行 l  Redis不支持回滚操作 1.2   相关命令 l  MULTI 用于标记事务块的开始. Redis会将后续的命令逐个放入队列中,然后使用EXEC命令原子化地执行这个命令序列.

深入Redis(一)分布式锁

分布式锁 由于分布式应用在逻辑处理时存在并发问题,比方修改数据,要先读取到内存,在内存中修改后再保存回去,这两个操作是单独的,如果同时进行,就会出现并发问题. 此时就要用到分布式锁来限制程序的并发执行. 本质 本质就是在Redis内占一个位置,若别的进程也想占用该位置,发现有进程在使用该位置,就放弃或等待. 在Redis中实现依靠setnx(set if not exists)指令,用完了再调用del指令来释放位置. 在1中,如果逻辑执行到中间出现异常,可能导致del未调用,这就陷入死锁,锁永远

基于redis和zookeeper的分布式锁实现方式

先来说说什么是分布式锁,简单来说,分布式锁就是在分布式并发场景中,能够实现多节点的代码同步的一种机制.从实现角度来看,主要有两种方式:基于redis的方式和基于zookeeper的方式,下面分别简单介绍下这两种方式: 一.基于redis的分布式锁实现 1.获取锁 redis是一种key-value形式的NOSQL数据库,常用于作服务器的缓存.从redis v2.6.12开始,set命令开始变成如下格式: SET key value [EX seconds] [PX milliseconds] [

基于Redis实现分布式锁-Redisson使用及源码分析

在分布式场景下,有很多种情况都需要实现最终一致性.在设计远程上下文的领域事件的时候,为了保证最终一致性,在通过领域事件进行通讯的方式中,可以共享存储(领域模型和消息的持久化数据源),或者做全局XA事务(两阶段提交,数据源可分开),也可以借助消息中间件(消费者处理需要能幂等).通过Observer模式来发布领域事件可以提供很好的高并发性能,并且事件存储也能追溯更小粒度的事件数据,使各个应用系统拥有更好的自治性. 本文主要探讨另外一种实现分布式最终一致性的解决方案--采用分布式锁.基于分布式锁的解决

spring boot 利用redisson实现redis的分布式锁

原文:http://liaoke0123.iteye.com/blog/2375469 利用redis实现分布式锁,网上搜索的大部分是使用java jedis实现的. redis官方推荐的分布式锁实现为redisson http://ifeve.com/redis-lock/ 以下为spring boot实现分布式锁的步骤 项目pom中需要添加官方依赖 我是1.8JDK固为 Pom代码   <!-- redisson --> <dependency> <groupId>