润乾集算报表提升性能之可控缓存

使用缓存可以提升报表性能是不争的事实,一般高端报表工具都会提供报表缓存的功能,用于将整个报表计算结果缓存到文件系统中,以便用户在下次访问同参数报表时可以快速读取缓存结果进行报表展现,集算报表也具有这种常规缓存功能。但是,有些情况下报表开发人员希望能够控制缓存的内容,比如有时希望缓存的不是整个报表结果而是其中的部分,有时缓存内容可被其它报表或程序复用,有时希望对不同的缓存结果设置不同的超时时间,以应对数据量和实时性方面的不同情况。这时,一般的报表缓存就无法满足需求了。

集算报表内置了可编程的数据计算引擎,允许开发人员灵活控制缓存内容。这里我们将开发人员在使用集算报表开发中可以控制的缓存内容称为可控缓存。可按缓存可以带来更大的灵活性和好处,下面就前述提到的三点展开来说。

缓存部分结果

在报表开发中,有时并不希望将所有报表结果进行缓存,这样可以避免耗费过高的缓存成本(磁盘空间和应用服务器资源开销)。另外,当报表中的部分数据实时性要求很高,需要实时与数据库交互进行数据查询,那么这部分数据就不适合进行缓存,这时通过集算报表的可控缓存就可以将变化不太频繁的中间结果缓存起来。报表再次请求时,实时性要求高的数据仍然实时从数据库中读取,并结合缓存中的数据进行报表计算,得到最终报表结果集。常规缓存方案没有这种缓存部分结果的功能,只能设置整个报表是否进行缓存,这样在报表涉及各部分数据的时效性不同时就会发生矛盾;而集算报表在这方面更加灵活,效率更高。

缓存结果复用

集算报表中可控缓存是可以复用的,一个报表的缓存结果(部分或全部)可以被其他报表或程序读取并使用,而不必再次缓存同样的结果(常规报表缓存方案则会重复),这会大幅度提供整体缓存的效率。与缓存部分结果适应实时性要求的情况类似,当其他报表或程序使用某个报表的缓存结果时,只需要从缓存中(一般是磁盘文件)读取,并与报表中其他数据来源(可能是DB、文件,或是另一个报表的缓存)进行混合运算最终得到报表结果集。常规的报表缓存则是以报表模板为单位单立的,彼此无法复用,会造成一定的资源浪费以及增加一定的性能开销,而集算报表在这方面更加灵活,效率更高。

设置不同超时时间

我们都熟知的缓存一定会有超时时间,超时时间外缓存会被清除,报表访问时重新生成缓存文件。一般的报表工具的缓存超时时间会在配置文件中设置,如3600s或7200s,这种设置对应用中的报表在所有参数情况甚至所有的报表均有效,换句话说,整个报表甚至整个系统必须使用同样的设置。

然而,事实并不希望这样,如果能够针对不同的报表场景设置不同的超时时间,那样会更有效。比如,针对大量的历史数据查询的报表,由于历史数据的变化不大,我们希望报表的缓存结果可以保存较长时间,以便每次查询时都能从缓存中快速读取结果,这时需要设置较长的超时时间;而针对数据变化频繁,实时性要求较高的报表则超时时间会较短,以便满足数据的实时性要求。

集算报表的结果缓存允许开发人员针对不同的报表设置不同的超时时间,以应对上述提到的报表场景。同样,这种做法提供了更高的灵活性,使得报表缓存达到真正意义上的人为可控。

举例

具体实现上可以参考集算报表的相关文档资料,这里通过一个例子简单说明结果缓存的使用方法,可以参考如下步骤(举例说明):

1、使用集算报表内置的集算器编写脚本生成/读取缓存文件,这个过程处于报表数据源的计算阶段。

上述脚本首先指定缓存目录,并根据参数设置缓存文件名称,并根据文件名查找缓存文件是否存在(A4),若存在并且未超时则直接读缓存;否则,进行连接数据库取数运算,并将计算结果生成缓存文件。

如果报表中不使用缓存,那么脚本只需要这样编写:

2、在集算报表中调用上述集算脚本,编辑报表表达式完成报表制作。

需要注意的是,集算报表的可控缓存也有其适用场景,并不能完全取代常规缓存,常规缓存手段会连同报表计算结果以及呈现属性一起,而这里的可控缓存只缓存数据,在呈现时还要再次进行外观计算,更适用于数据计算强度较高,但外观计算强度较低的场景。实际应用中,两者可以结合使用。

时间: 2024-08-11 01:36:04

润乾集算报表提升性能之可控缓存的相关文章

润乾集算报表提升性能之过程优化

报表出现性能问题需要对数据源计算进行优化时,执行路径难以确定从而被干预是阻碍报表优化的难题之一.由于数据库执行路径对开发人员不透明,报表优化需要指定执行路径时,程序员会很难甚至无法干预.而一般报表工具不具备强计算能力,大部分计算仍然要依靠数据库进行,这就导致很多报表优化效果不理想. 不同于一般报表工具,润乾集算报表内置了专门用于数据计算的集算引擎,开发人员可以通过编写集算脚本完成报表数据源准备.与数据库执行SQL路径不可控相比,集算脚本的执行过程是可控的,开发人员可根据实际情况编写或更改计算执行

润乾集算报表提升性能之并行取数

有时报表在展现或导出时需要从数据库中取出较多数据,而JDBC的取数速度一向比较慢,有可能超过报表其它运算环节的耗时,导致整个报表的生成过程效率极低.下面我们看如何利用润乾集算报表的并行计算机制提高JDBC的取数性能. 所谓并行取数是指,使用多线程技术在报表工具与数据库建立多个连接,同时读取一份源数据,这需要将源数据分段,每个线程(数据库连接)读取其中一段内容,最后将所有线程的结果合并得到总目标数据的过程. 集算报表内置了并行机制可以很容易完成并行取数任务,从而提升报表性能,这里以oracle为例

用润乾集算报表提升性能之关联计算

报表开发过程中经常要在报表中完成数据关联计算,有的为了降低报表制作复杂度将关联关系放到可视的报表模板中完成:有的则必须在报表中完成关联,如多数据源.异构数据源的情况.而在报表中做关联往往导致报表效率不高,计算过慢,引发性能问题.润乾集算报表提供了特殊的数据关联方式,可以提升报表性能.这里通过一个常见的多源关联分片报表实例来看一下集算报表的实现过程:     报表说明 根据销售情况等信息表按照时间.地区.销售人员.产品等维度汇总销售额,报表样式如下: 以下为实现过程.     编写计算脚本 首先使

润乾集算报表提升性能之层次数据集

多层次报表是很常见的报表形式,如分组报表和主子报表.其中的关联运算(组与明细,主表和子表),由于有层次而不能直接在数据库中完成,需要在报表端完成.但报表端一般只用采用排序和遍历的方法实现关联,性能较差.利用润乾集算报表的层次数据集则可以在数据源计算过程中就完成关联计算,并且有层次的结果集直接传送给报表呈现,在关联计算中充分利用集算器的高效算法,从而达到优化性能的目标. 下面通过一个主子报表的实例看一下使用过程与效果. 报表描述 使用订单表和订单明细表,查询每个订单详情以及该订单下的订单明细,报表

润乾集算报表提升性能之并行多库

应用的数据量较大时报表性能往往不高,此时针对源数据量大的报表进行SQL或报表端的优化效果往往不明显.如果将数据采用一定规则(如时间)分库分段存储,报表访问时同时访问多个数据库进行数据计算,最后在报表中进行汇总展现,采用这种并行多库的方式来提升报表性能. 一般报表工具并不具备这种并行取数汇总的能力,访问多个数据库读取分段数据需要借助Java等高级语言完成,然而使用Java编写这样的并行程序并不简单,而且由于Java缺乏对批量数据计算的基础支持,不支持表达式参数和动态数据结构,使得一般报表工具难以直

润乾集算报表提升性能之预先计算

报表应用中当数据量较大或计算过程较复杂时,会导致报表数据源准备过慢,从而影响报表性能.这时常常需要事先将报表需要的数据计算好,在呈现时直接引用即可,这样用户在访问报表时就可以迅速地获得响应. 当前的手段及弊端 由于报表在访问时还需要参数,显然不可能把所有参数组合对应的报表数据源都准备好,所以预先计算并不是最终的报表结果,在呈现的时刻仍然要再次进行一些简单的计算(如过滤.分组汇总.排序等),然而也不太可能指望报表呈现时刻由报表工具再完成所有这些运算(报表工具只能完成一部分小数据量的运算),这样就要

润乾集算报表利用并行计算提高JDBC取数性能示例

实际应用中数据量较大的报表在展现或导出时往往需要一次性将数据从数据库中取出来,而JDBC的取数速度过慢使得整个进程效率极低.如何优化取数速度成为了提升报表性能的关键.在润乾集算报表中可以通过并行计算提高JDBC的取数性能.本文以oracle为例说明实现过程. 报表描述 用户状态表展现的是明细数据,由于需要导出,需要一次性读取数据表中所有数据.单表数据量为360万,报表样式为: 实现步骤 编写脚本 首先使用集算器编写脚本(parallel.dfx),实现并行取数逻辑: A1:连接oracle数据源

润乾集算报表的集算器数据集部署(I)

润乾集算报表提供了集算器数据集,允许用户使用集算器脚本完成数据的进一步计算和加工,为报表提供数据源支持,从而简化报表开发,提升报表性能. 集算器脚本的编辑需要借助第三方集算编辑器(非报表工具)完成,而后嵌入到报表工具和报表应用中完成报表开发和部署. 下面来看一下集算器数据集的使用和以及报表部署过程. 1.开发环境使用 集算报表使用集算器数据集时,首先需要设置集算器授权信息和配置数据源连接(如果需要从数据库中取数). 1.1.设置授权信息 启动集算报表设计器,选择工具-选项,切换到"集算器选项&q

润乾集算报表优化应用结构之本地计算

在报表项目中,常常会碰到数据库压力很大影响整个系统性能的问题.由下面的传统方案的结构示意图可以看出,全部数据存储和源数据计算都放在数据库完成.当并发访问量较大的时候,虽然每个报表的数据量不大,还是会造成数据库压力过大,成为性能的瓶颈.多数数据库厂商提供的jdbc接口传输数据比较缓慢,在并发量较大的情况,对报表系统性能的影响也非常明显. 这种情况时可以考虑采用润乾集算报表提供的本地计算方案. 所谓本地计算,是将一部分计算任务从数据库中移出到报表服务器中完成.大多数有一定规模的应用系统中,数据库和应