java应用中的本地缓存

java中的本地缓存,工作后陆续用到,一直想写,一直无从下手,最近又涉及到这方面的问题了,梳理了一下。自己构造单例、guava、ehcache基本上涵盖了目前的大多数行为了。

为什么要有本地缓存?在 系统中,有些数据,数据量小,但是访问十分频繁(例如国家标准行政区域数据),针对这种场景,需要将数据搞到应用的本地缓存中,以提升系统的访问效率,减 少无谓的数据库访问(数据库访问占用数据库连接,同时网络消耗比较大),但是有一点需要注意,就是缓存的占用空间以及缓存的失效策略。

所谓的本地混存是相对于网络而言的(包括集群,数据库访问等)

为什么是本地缓存,而不是分布式的集群缓存? 目前的数据,大多是业务无关的小数据缓存,没有必要搞分布式的集群缓存,目前涉及到订单和商品的数据,会直接走DB进行请求,再加上分布式缓存的构建,集群维护成本比较高,不太适合紧急的业务项目。这里介绍一下缓存使用的三个阶段(摘自info架构师文档)

本地缓存在那个区域?  目前考虑的是占用了JVM的heap区域,再细化一点的就是heap中的old区,目前的数据量来看,都是一些小数据,加起来没有几百兆,放在heap区 域最快最方便。后期如果需要放置在本地缓存的数据大的时候,可以考虑在off-heap区域,但是off-heap区域的话,需要考虑对象的序列化(因为 off-heap区域存储的是二进制的数据),另外一个的话就是off-heap的GC问题。其实,如果真的数据量比较大,那其实就可以考虑搞一个集中式 的缓存系统,可以是单机,也可以是集群,来承担缓存的作用。

搞一个单例模式,里面有个Map的变量来放置数据非常典型的代码如下:

public class SingletonMap {
    //一个本地的缓存Map
    private Map<String,Object> localCacheStore = new HashMap<String,Object>(); 
 
    //一个私有的对象,非懒汉模式
    private static SingletonMap singletonMap = new SingletonMap(); 
 
    //私有构造方法,外部不可以new一个对象
    private SingletonMap(){
    }  
 
    //静态方法,外部获得实例对象
    public static SingletonMap getInstance(){
        return singletonMap;
    }
 
    //获得缓存中的数据
    public Object getValueByKey(String key){
        return localCacheStore.get(key);
    }
    //向缓存中添加数据
    public void putValue(String key , Object value){
        localCacheStore.put(key, value);
    }
}

这种能不能用?可以用,但是非常局限:

但是这种的就是本地缓存了吗?答案显然不是,为啥呢?
1、  没有缓存大小的设置,无法限定缓存体的大小以及存储数据的限制(max size limit);
2、  没有缓存的失效策略(eviction policies);
3、  没有弱键引用,在内存占用吃紧的情况下,JVM是无法回收的(weak rererences keys);
4、  没有监控统计(statistics);
5、  持久性存储(persistent store);
所以,这种就直接废掉了。。。

当然,Cache的配置信息,可以通过配置文件制定了。。。

优点:功能强大,有失效策略、最大数量设置等,缓存的持久化只有企业版才有,组件的缓存同步,可以通过jgroup来实现

缺点:功能强大的同时,也使其更加复杂

引入guava的cacheBuilder来构建缓存

这个非常强大、简单,通过一个CacheBuilder类就可以满足需求。

缺点就是如果要组件同步的话,需要自己实现这个功能。

典型的代码如下:

public class GuavaCacheBuilderTest {    
    public static void main(String[] args) throws Exception{
        GuavaCacheBuilderTest cache = new GuavaCacheBuilderTest();
        cache.getNameLoadingCache("bixiao");
    }
    public void getNameLoadingCache(String name) throws Exception{
        LoadingCache<String, String> cache = CacheBuilder.newBuilder()       
            .maximumSize(20)//设置大小,条目数        
            .expireAfterWrite(20, TimeUnit.SECONDS)//设置失效时间,创建时间      
            .expireAfterAccess(20, TimeUnit.HOURS) //设置时效时间,最后一次被访问       
            .removalListener(new RemovalListener<String, String>() { //移除缓存的监听器
                public void onRemoval(RemovalNotification<String, String> notification) {
                    System.out.println("有缓存数据被移除了");
                }})
            .build(new CacheLoader<String, String>(){ //通过回调加载缓存
                @Override
                public String load(String name) throws Exception {
                    return name + "-" + "iamzhongyong";
                }
        });
        System.out.println(cache.get(name));
        //cache.invalidateAll();
    }
}

缓存预热怎么搞?

A、全量预热,固定的时间段移除所有,然后再全量预热

适用场景:

1、数据更新不频繁,例如每天晚上3点更新即可的需求;

2、数据基本没有变化,例如全国区域性数据;

B、增量预热(缓存查询,没有,则查询数据库,有则放入缓存)

适用场景:

1、  数据更新要求缓存中同步更新的场景

集群内部,缓存的一致性如何保证?

如果采用ehcache的话,可以使用框架本身的JGroup来实现组内机器之间的缓存同步。

如果是采用google的cacheBuilder的话,需要自己实现缓存的同步。

A、非实时生效数据:数据的更新不会时时发生,应用启动的时候更新即可,然后定时程序定时去清理缓存;

B、需要实时生效数据:启动时可预热也可不预热,但是缓存数据变更后,集群之间需要同步

java应用中的本地缓存

时间: 2024-10-09 17:49:41

java应用中的本地缓存的相关文章

关于java中的本地缓存-总结概述

java中的本地缓存,工作后陆续用到,一直想写,一直无从下手,最近又涉及到这方面的问题了,梳理了一下.自己构造单例.guava.ehcache基本上涵盖了目前的大多数行为了.   为什么要有本地缓存? 在 系统中,有些数据,数据量小,但是访问十分频繁(例如国家标准行政区域数据),针对这种场景,需要将数据搞到应用的本地缓存中,以提升系统的访问效率,减 少无谓的数据库访问(数据库访问占用数据库连接,同时网络消耗比较大),但是有一点需要注意,就是缓存的占用空间以及缓存的失效策略. 为什么是本地缓存,而

java项目中,针对缓存问题的处理方式【接口中的处理方式】

1.在service包中,分别建立了关于缓存的一系列的接口.类等,封装到一个工具包中: 临时缓存的接口(代码部分): package com.tools; import java.util.Date; public interface CacheTemplet { //设置添加永久缓存,(缓存唯一索引,缓存数据) public void addCache(Object key,Object value); //设置添加缓存,不过需要有一个过期的时间毫秒数限制 public void addCac

Java包装类中的缓存机制

本文将介绍Java中Integer的缓存相关知识.这是在Java 5中引入的一个有助于节省内存,提高性能的功能.首先看一个使用Integer的示例代码,从中学习其缓存行为.接着我们将为为什么这么实现以及他到底是如何实现的.你能猜出下面的的Java程序的输出结果吗.如果你的结果和真正结果不一样,那么你就要好好看看本文了. package com.javapapers.java; public class JavaIntegerCache { public static void main(Stri

redis订阅发布消息操作本地缓存

Redis 本地缓存+远程缓存方案 使用纯java的ehcache作为本地缓存 Reids 作为远程分布式缓存 解决redis缓存压力过大,提高缓存速度,以及缓存性能. Redis和ehcache缓存的区别 如果是单个应用或者对缓存访问要求很高的应用,用ehcache.如果是大型系统,存在缓存共享.分布式部署.缓存内容很大的,建议用redis. 缓存更新策略 1.广播更新策略 使用redis的发布与订阅来实现缓存更新广播,本地缓存存放更新频率低,但请求量很高的数据,对于更新频率很高的数据应该由r

分布式本地缓存(JVM缓存)

适用本地(JVM)缓存的场景: 1.对性能有非常高的要求. 2.不经常变化. 3.占用内存不大. 4.有访问整个集合的需求. 需要特别注意的地方: 1.如果是缓存查不到,再查DB.切记一定要加上锁,不然如果多个线程同时去查缓存,然后查不到,然后又同时去查DB,线程足够多,有可能出现穿透DB的情况. 2.如果某个节点存在多个实例(集群),那么每个实例中的本地缓存有可能出现不一致(每个缓存刷新的时间点不可能完全一致).如果是公共的缓存,比如库存等,应该放到redis中. 3.每个实例刷缓存的线程,尽

Java学习之ConcurrentHashMap实现一个本地缓存

ConcurrentHashMap融合了Hashtable和HashMap二者的优势. Hashtable是做了线程同步,HashMap未考虑同步.所以HashMap在单线程下效率较高,Hashtable在多线程下同步操作能保证程序的正确性.  但是Hashtable每次执行同步操作都需要锁住整个结构. ConcurrentHashMap的出现就是为了解决Hashtable同步lock整个数据结构的问题.ConcurrentHashMap锁的方式是细颗粒度. ConcurrentHashMap将

Java本地缓存解决方案其一(使用Google的CacheBuilder)

前不久,业务实现上需要用到本地缓存来解决一些数据量相对较小但是频繁访问的数据,通过查找各种资料,找到了一种可以实现的方案--采用的是Google的CacheBuilder.下面是代码实现过程:1.首先在maven中引入下面的包: <dependency> <groupId>com.google.guava</groupId> <artifactId>guava</artifactId> <version>19.0</versio

解析Java分布式系统中的缓存架构(上)

作者 陈彩华 文章转载交流请联系 [email protected] 本文主要介绍大型分布式系统中缓存的相关理论,常见的缓存组件以及应用场景. 1 缓存概述 2 缓存的分类 缓存主要分为以下四类 2.1 CDN缓存 基本介绍 CDN(Content Delivery Network 内容分发网络)的基本原理是广泛采用各种缓存服务器,将这些缓存服务器分布到用户访问相对集中的地区或网络中,在用户访问网站时,利用全局负载技术将用户的访问指向距离最近的工作正常的缓存服务器上,由缓存服务器直接响应用户请求

内容和图片在从网络上获取到之后都会存入到本地缓存中

内容和图片在从网络上获取到之后都会存入到本地缓存中,因此即使手机在没有网络的情况下依然能够加载出以前浏览过的新闻.而使用的缓存技术不用多说,自然是DiskLruCache了,那么首先第一个问题,这些数据都被缓存在了手机的什么位置呢? 其实DiskLruCache并没有限制数据的缓存位置,可以自由地进行设定,但是通常情况下多数应用程序都会将缓存的位置选择为 /sdcard/Android/data/<application package>/cache 这个路径.选择在这个位置有两点好处:第一,