jcs开源缓存框架介绍

JCS是Jakarta的项目Turbine的子项目。它是一个复合式的缓冲工具。可以将对象缓冲到内存、硬盘。具有缓冲对象时间过期设定。还可以通过JCS构建具有缓冲的分布式构架,以实现高性能的应用。对于一些需要频繁访问而每访问一次都非常消耗资源的对象,可以临时存放在缓冲区中,这样可以提高服务的性能。而JCS正是一个很好的缓冲工具。缓冲工具对于读操作远远多于写操作的应用性能提高非常显著。

JCS除了简单的将对象缓冲在内存中以外,还具有几个特性,以适应企业级缓冲系统的需要。这些特性包括时间过期、索引式硬盘缓冲、并行式的分布缓冲等。

内存缓冲

JCS现在支持两种内存缓冲算法LRU和MRU。通常都是使用LRU算法。

org.apache.stratum.jcs.engine.memory.lru.LRUMemoryCache

使用内存缓冲区需要定义缓冲区大小,当超过缓冲区限制时,会将缓冲内容抛弃掉。如果有配硬盘缓冲,则将挤出来的缓冲内容写入硬盘缓冲区。

时间过期

JCS对于缓冲的对象,可以设定缓冲过期时间,一个对象在缓冲区中停留的时间超过这个时间,就会被认为是“不新鲜”而被放弃。

索引式硬盘缓冲

  一方面,为了避免缓冲区过大,撑爆虚拟机的内存,另一方面又希望能够缓冲更多的对象,JCS可以将超出缓冲区大小的对象缓存到硬盘上。配置上也比较方便,只需要指定缓冲临时文件的存放目录位置。硬盘缓冲将缓冲对象的内容写到文件上,但是将访问索引保存在内存中,因此也能够达到尽可能高的访问效率。

并行式的分布缓冲(Lateral)

  通常,将对象缓冲在内存中,一方面提高了应用的性能,而另一方面却使得应用不可以分布式发布。因为假设一个应用配置在两台服务器上并行运行,而两台服务器单独缓冲,则很容易导致两个缓冲区内容出现版本上的不一致而出错。一个机器上修改了数据,这个动作会影响到本地内存缓冲区和数据库服务器,但是却不会通知到另一台服务器,导致另一台上缓冲的数据实际上已经无效了。

  并行式的分布缓冲就是解决这个问题。可以通过配置,将几台服务器配成一个缓冲组,组内每台服务器上有数据更新,会横向将更新的内容通过TCP/IP协议传输到其他服务器的缓冲层,这样就可以保证不会出现上述情况。这个的缺点是如果组内的并行的服务器数量增大后,组内的数据传输量将会迅速上升。这种方案适合并行服务器的数量比较少的情况。

Client/Server式的缓冲(Remote)

  客户/服务端式的缓冲集群。这种方式支持一个主服务器和最高达到256个客户端。客户端的缓冲层会尝试连接主服务器,如果连接成功,就会在主服务器上注册。每个客户端有数据更新,就会通知到主服务器,主服务器会将更新通知到除消息来源的客户端以外的所有的客户端。

  每个客户端可以配置超过一个服务器,第一个服务器是主服务器,如果与第一个服务器连接失败,客户端会尝试与备用的服务器连接,如果连接成功,就会通过备用服务器与其他客户端对话,同时会定期继续尝试与主服务器取得连接。如果备用服务器也连接失败,就会按照配置顺序尝试与下一个备用服务器连接。

  这种方式下,更新通知是一种轻量级的,一个机器上的数据更新,不会把整个数据传输出去,而只是通知一个ID,当远程的其他机器收到更新通知后,就会把对应ID的缓冲对象从本地的内存缓冲区中移除,以保证不会在缓冲区内出现错误数据。

  这种构造需要分别配置客户端和服务器,配置比较麻烦。

配置方法

  JCS的好处之一,就是应用在开发的时候,可以不用去构思底层的缓冲配置构架。同一个应用,只需要修改配置,就可以改变缓冲构架,不需要修改应用的源代码。配置方法也比较简单,就是修改配置文件cache.ccf。这个文件放置在WEB-INF/classes目录下。配置格式类似log4j的配置文件格式。下面介绍一下使用各种缓冲结构的配置方法。

内存缓冲

#WEB-INF/classes/cache.ccf(以下内容不要换行)  
  
jcs.default=  
  
jcs.default.cacheattributes=org.apache.jcs.engine.CompositeCacheAttributes  
  
jcs.default.cacheattributes.MaxObjects=1000  
  
jcs.default.cacheattributes.MemoryCacheName=org.apache.jcs.engine.memory.lru.LRUMemoryCache

  上面配置了默认缓冲属性。一个应用中,由于对象类型的不同,可能会使用多个缓冲区,每个缓冲区都会有一个名字,如果在配置文件中没有指明特定的缓冲区的属性,所有的缓冲区都会根据默认属性来构建。上面的内容,指明缓冲区的大小为存放1000个对象,内存缓冲器使用LRUMemoryCache对象。可选的还有MRUMemoryCache,应该可以自定义新的内存缓冲区。1000个缓冲对象这个容量,是指每个缓冲区都缓冲1000个,而不是指所有缓冲区总容量。以上配置,就可以让应用运行起来。

时间过期

  如果需要引入时间过期机制,则需要加上

  jcs.default.cacheattributes.cacheattributes.UseMemoryShrinker=true

  jcs.default.cacheattributes.cacheattributes.MaxMemoryIdleTimeSeconds=3600

  jcs.default.cacheattributes.cacheattributes.ShrinkerIntervalSeconds=60

  这里指明对象超过3600秒则过期,每隔60秒检查一次。

索引式硬盘缓冲

  索引式硬盘缓冲是辅助缓冲的一种,使用时需要做以下事情

#定义一个硬盘缓冲区产生器(Factory),取名为DC  
  
jcs.auxiliary.DC=org.apache.stratum.jcs.auxiliary.disk.indexed.IndexedDiskCacheFactory  
  
jcs.auxiliary.DC.attributes=org.apache.stratum.jcs.auxiliary.disk.indexed.IndexedDiskCacheAttributes  
  
jcs.auxiliary.DC.attributes.DiskPath=g:/dev/jakarta-turbine-stratum/raf  
  
#这里其实就是指明了缓冲文件存放到那里去。  
  
#然后,做以下修改  
  
jcs.default=DC  
  
#这样,所有未特别指定属性的缓冲区都会自己使用一个硬盘缓冲区,缓冲文件会以缓冲区的名字来命名。存放在指定的目录下。  
  
#横向式的并行缓冲  
  
#并行式的配置如下  
  
jcs.auxiliary.LTCP=org.apache.jcs.auxiliary.lateral.LateralCacheFactory  
  
jcs.auxiliary.LTCP.attributes=org.apache.jcs.auxiliary.lateral.LateralCacheAttributes  
  
jcs.auxiliary.LTCP.attributes.TransmissionTypeName=TCP  
  
jcs.auxiliary.LTCP.attributes.TcpServers=192.168.10.129:1121,192.168.10.222:1121  
  
jcs.auxiliary.LTCP.attributes.TcpListenerPort=1121  
  
jcs.auxiliary.LTCP.attributes.PutOnlyMode=false

  这里的配置是在41,129,221三台机器上实现并行缓冲的。

  大家都在1121端口上监听,同时与另外两台机器连接。如果连接失败,就会等待一个时间后再连接一次,直到连接成功为止。三台机器中任意一台的缓冲区发生更新,比如put和remove动作,就会把更新传递给另外两台。

单独指明某个缓冲区的属性

  如果,针对某个缓冲区,比如叫做TestCache1,需要单独配置属性,可以如下配置。

jcs.region.testCache1=DC,LTCP  
  
jcs.region.testCache1.cacheattributes=org.apache.stratum.jcs.engine.CompositeCacheAttributes  
  
jcs.region.testCache1.cacheattributes.MaxObjects=1000  
  
jcs.region.testCache1.cacheattributes.MemoryCacheName=org.apache.stratum.jcs.engine.memory.lru.LRUMemoryCache  
  
jcs.region.testCache1.cacheattributes.UseMemoryShrinker=true  
  
jcs.region.testCache1.cacheattributes.MaxMemoryIdleTimeSeconds=3600  
  
jcs.region.testCache1.cacheattributes.ShrinkerIntervalSeconds=60  
  
system.GroupIdCache  
  
#这个概念我也不是很清楚。不过JCS文档中指出配置以下内容会比较好。  
  
jcs.system.groupIdCache=DC  
  
jcs.system.groupIdCache.cacheattributes=org.apache.stratum.jcs.engine.CompositeCacheAttributes  
  
jcs.system.groupIdCache.cacheattributes.MaxObjects=10000  
  
jcs.system.groupIdCache.cacheattributes.MemoryCacheName=org.apache.stratum.jcs.engine.memory.lru.LRUMemoryCache  
  
#这可能是JCS自己的组管理体系上的缓冲区。

Client/Server式的缓冲(Remote)

  这种构架需要单独配置客户端和服务端,如果要研究,可以查看http://jakarta.apache.org/turbine/jcs/RemoteAuxCache.html

这里给出一个之前系统配置的例子:cache.cff配置

# DEFAULT CACHE REGION  
  
# sets the default aux value for any non configured caches  
jcs.default=DC  
jcs.default.cacheattributes=org.apache.jcs.engine.CompositeCacheAttributes  
jcs.default.cacheattributes.MaxObjects=1  
jcs.default.cacheattributes.MemoryCacheName=org.apache.jcs.engine.memory.lru.LRUMemoryCache  
jcs.default.elementattributes.IsEternal=true  
jcs.default.elementattributes.MaxLifeSeconds=360000  
jcs.default.elementattributes.IdleTime=1800  
jcs.default.elementattributes.IsSpool=true  
jcs.default.elementattributes.IsRemote=true  
jcs.default.elementattributes.IsLateral=true  
  
# CACHE REGIONS AVAILABLE  
  
# AUXILIARY CACHES AVAILABLE  
  
# Primary Disk Cache -- faster than the rest because of memory key storage  
jcs.auxiliary.DC=org.apache.jcs.auxiliary.disk.indexed.IndexedDiskCacheFactory  
jcs.auxiliary.DC.attributes=org.apache.jcs.auxiliary.disk.indexed.IndexedDiskCacheAttributes  
jcs.auxiliary.DC.attributes.DiskPath=./kpicache  
jcs.auxiliary.DC.attributes.MaxPurgatorySize=100000000  
jcs.auxiliary.DC.attributes.MaxKeySize=10000000  
jcs.auxiliary.DC.attributes.OptimizeAtRemoveCount=300000  
jcs.auxiliary.DC.attributes.MaxRecycleBinSize=7500

一些方法的操作:

package com.zyujie.util;  
  
import org.apache.jcs.JCS;  
  
public class JCSManagerDTO {  
    private static JCSManagerDTO instance;  
    private static int checkedOut = 0;  
    public static JCS ObjCache;  
  
    private JCSManagerDTO() {  
        try {  
            ObjCache = JCS.getInstance("ObjCache");  
        } catch (Exception e) {  
            e.printStackTrace();  
        }  
    }  
  
    public static JCSManagerDTO getInstance() {  
        synchronized (JCSManagerDTO.class) {  
            if (instance == null) {  
                instance = new JCSManagerDTO();  
            }  
  
        }  
        synchronized (instance) {  
            instance.checkedOut++;  
        }  
        return instance;  
    }  
  
    public Object getObj(Object key) {  
        Object obj = null;  
        obj = (Object) ObjCache.get(key);  
        return obj;  
    }  
  
    public void storeObject(Object key, Object obj) {  
        try {  
            if (!key.equals("")) {  
                // ObjCache.remove(key);  
            }  
            ObjCache.put(key, obj);  
  
        } catch (Exception e) {  
        }  
    }  
  
    public void clearObject(Object key) {  
        try {  
            ObjCache.remove(key);  
        } catch (Exception e) {  
        }  
    }  
  
    public void clear() {  
        try {  
            ObjCache.clear();  
        } catch (Exception e) {  
        }  
    }  
  
    public void clearMatchObject(String key) {  
  
        // CacheAccess access1=CacheAccess.getAccess("DC");  
        // java.util.Map map=access1.get.getMatchingCacheElements(key);  
    }  
  
    public static void main(String[] args) {  
        JCSManagerDTO dto = JCSManagerDTO.getInstance();  
        dto.storeObject("test1", "111");  
        dto.storeObject("test2", "222");  
        dto.storeObject("test3", "333");  
        dto.storeObject("test4", "444");  
  
        System.out.println("test1 is  " + dto.getObj("test1"));  
        System.out.println("test2 is  " + dto.getObj("test2"));  
        System.out.println("test3 is  " + dto.getObj("test3"));  
        System.out.println("test4 is  " + dto.getObj("test4"));  
    }  
  
}

依赖jar包

jcs-1.3.jar

commons-lang-2.3.jar

commons-collections-2.1.1.jar

concurrent-1.3.4.jar

补充说明:

1.     使用jcs的一般步骤

使用jcs的一般步骤包括:jcs包下载、获得需要的jar包、配置jcs的配置文件、进行jcs的编程。详见(http://commons.apache.org/jcs/getting_started/intro.html

Jcs包的下载,官网上有连接,在下载不下来时,以下地址是备选网址:

http://olex.openlogic.com/packages/jcs

jcs运行需要的Jar包,官网上有详细的解说。以下是手动编译时,本人遇到的找不到符号问题的解决方法:

http://blog.csdn.net/shuilan0066/article/details/5627179

2.     Jcs配置文件

Jcs的配置文件官网上的例子讲的很详细,结合上面的组织架构就会明白。

以下地址是对一些元配置信息作用的理解:

http://bokix.com/archives/29.html

http://shoko.iteye.com/blog/1758235

3.     jcs编程

Jcs源代码采用Class.getResourceAsStream(/cache.ccf)的方式来加载配置文件,所以项目的cache.ccf要放在字节码文件所在的根目录下面,在web项目中,则要放在classes文件夹下。

具体例子详见http://commons.apache.org/jcs/UsingJCSBasicWeb.html

其它参考资料如下:

http://www.ibm.com/developerworks/cn/java/j-jcs.html

http://wenku.baidu.com/view/a47220232f60ddccda38a026.html###

http://www.360doc.com/content/09/1019/17/397210_7519829.shtml

jcs缓存系统api

http://commons.apache.org/jcs/apidocs/index.html

时间: 2024-08-11 16:33:47

jcs开源缓存框架介绍的相关文章

ASimpleCache(ACache)源码分析(android轻量级开源缓存框架)

转载请注明出处:http://blog.csdn.net/zhoubin1992/article/details/46379055 ASimpleCache框架源码链接 https://github.com/yangfuhai/ASimpleCache 杨神作品,大家最熟悉他的应该是afinal框架吧 官方介绍 ASimpleCache 是一个为android制定的 轻量级的 开源缓存框架.轻量到只有一个java文件(由十几个类精简而来). 1.它可以缓存什么东西? 普通的字符串.JsonObj

ACache【轻量级的开源缓存框架】

版权声明:本文为博主原创文章,未经博主允许不得转载. 前言 官方介绍 ASimpleCache 是一个为android制定的 轻量级的 开源缓存框架.轻量到只有一个java文件(由十几个类精简而来). 1.它可以缓存什么东西? 普通的字符串.JsonObject.JsonArray.Bitmap.Drawable.序列化的java对象,和 byte数据. 2.它有什么特色? 特色主要是: 1:轻,轻到只有一个JAVA文件. 2:可配置,可以配置缓存路径,缓存大小,缓存数量等. 3:可以设置缓存超

OSCache缓存框架介绍

OSCache是一种开放性的JSP定制标记应用,由OpenSymphony设计,提供了在现有JSP页面之内实现快速内存缓冲的功能. OSCache是个一个广泛采用的高性能的J2EE缓存框架,OSCache能用于任何Java应用程序的普通的缓存解决方案.OSCache有以下特点:缓存任何对象,你可以不受限制的缓存部分jsp页面或HTTP请求,任何java对象都可以缓存.拥有全面的API--OSCache API给你全面的程序来控制所有的OSCache特性.永久缓存--缓存能随意的写入硬盘,因此允许

Android轻量级的开源缓存框架ASimpleCache

点击查看原文 先上方法调用,写最经常使用的.其它不一一写 保存数据: ACache mACache=ACache.get(this); mACache.put("数据名称", json, ACache.TIME_HOUR);//数据名称最为标记,Json数组,缓存时间 读取数据: JSONObject cache = mACache.getAsJSONObject("数据名称"); 其它方法: mACache.size()//缓存数据大小 mACache.clear

几个著名的Java开源缓存框架

OSCache OSCache是个一个广泛采用的高性能的J2EE缓存框架,OSCache能用于任何Java应用程序的普通的缓存解决方案. OSCache有以下特点:缓存任何对象,你可以不受限制的缓存部分jsp页面或HTTP请求,任何java对象都可以缓 存.拥有全面的API--OSCache API给你全面的程序来控制所有的OSCache特性.永久缓存--缓存能随意的写入硬盘,因此允许昂贵的创建(expensive-to- create)数据来保持缓存,甚至能让应用重启.支持集群--集群缓存数据

java 开源缓存框架--转载

原文地址:http://www.open-open.com/13.htm JBossCache/TreeCache JBossCache是一个复制的事务处理缓存,它允许你缓存企业级应用数据来更好的改善性能.缓存数据被自动复制,让你轻松进行Jboss服务器之间的集群工作.JBossCache能够通过Jboss应用服务或其他J2EE容器来运行一个Mbean服务,当然,它也能独立运行. JBossCache包括两个模块:TreeCache和TreeCacheAOP. TreeCache --是一个树形

Ehcache Java开源缓存框架

一.ehcache.xml 配置详解 单机配置: <ehcache xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:noNamespaceSchemaLocation="../config/ehcache.xsd"> <diskStore path="D:/mycache"/> <!-- Mandatory Default Cache configu

.NET缓存框架CacheManager在混合式开发框架中的应用(1)-CacheManager的介绍和使用

在我们开发的很多分布式项目里面(如基于WCF服务.Web API服务方式),由于数据提供涉及到数据库的相关操作,如果客户端的并发数量超过一定的数量,那么数据库的请求处理则以爆发式增长,如果数据库服务器无法快速处理这些并发请求,那么将会增加客户端的请求时间,严重者可能导致数据库服务或者应用服务直接瘫痪.缓存方案就是为这个而诞生,随着缓存的引入,可以把数据库的IO耗时操作,转换为内存数据的快速响应操作,或者把整个页面缓存到缓存系统里面.缓存框架在各个平台里面都有很多的实现,基本上多数是采用分布式缓存

.NET缓存框架CacheManager---1、CacheManager的介绍

在我们开发的很多分布式项目里面(如基于WCF服务.Web API服务方式),由于数据提供涉及到数据库的相关操作,如果客户端的并发数量超过一定的数量,那么数据库的请求处理则以爆发式增长,如果数据库服务器无法快速处理这些并发请求,那么将会增加客户端的请求时间,严重者可能导致数据库服务或者应用服务直接瘫痪.缓存方案就是为这个而诞生,随着缓存的引入,可以把数据库的IO耗时操作,转换为内存数据的快速响应操作,或者把整个页面缓存到缓存系统里面.缓存框架在各个平台里面都有很多的实现,基本上多数是采用分布式缓存