润乾集算报表提升性能之过程优化

报表出现性能问题需要对数据源计算进行优化时,执行路径难以确定从而被干预是阻碍报表优化的难题之一。由于数据库执行路径对开发人员不透明,报表优化需要指定执行路径时,程序员会很难甚至无法干预。而一般报表工具不具备强计算能力,大部分计算仍然要依靠数据库进行,这就导致很多报表优化效果不理想。

不同于一般报表工具,润乾集算报表内置了专门用于数据计算的集算引擎,开发人员可以通过编写集算脚本完成报表数据源准备。与数据库执行SQL路径不可控相比,集算脚本的执行过程是可控的,开发人员可根据实际情况编写或更改计算执行过程,完成报表优化工作。

集算引擎中内置了丰富的用于结构化数据计算的类库,如连接操作在集算引擎中就包括普通连接的join()、按序号对应连接的pjoin()、叉乘连接的xjoin(),针对维表和事实表连接提供了更加高效的连接方式switch(),这样就为开发人员在优化报表时提供了多种选择。此外,由于集算报表支持分步编写,开发人员可以自由决定计算顺序,先算什么后算什么,甚至对一个复杂计算进行合理拆分和整合,适合需要改变计算顺序来进行优化的场景。

下面是一个针对报表数据源SQL优化的实例过程和效果,用户在使用集算报表时可以参考。

该报表是一张明细表,数据量较大,涉及到的数据库表有几十个之多,数据库表间关联频繁(包括自连接的情况);报表中包含多个格间计算表达式(比值和汇总值)。

其中较复杂的数据集SQL(近400行)如下:

select t.*

from (select *

from (select syb.org_abbreviation as syb,

max(xmb.org_abbreviation) as xmb,

--省略多个连接、判断、汇总语句

left join losrrr losr onlosr.requisition_id =

l.requisition_id

where l.table_type = ‘1‘

and l.requisition_state =‘0100500005000000006‘

and nvl(l.bsflag, 0) != 1

group by l.requisition_id,

l.note,

--省略多个分组字段

losr.standby_param3,

losr.standby_param6

) a

LEFT JOIN crview ve  --视图

ON ve.requisition_id = a.req_id

仔细看这个sql会发现,首先关联的表比较多,其中包括很多自关联的情况;嵌套了很多子查询;最后又与一个视图进行关联(视图复杂程度与上述SQL类似)。该报表查询4个月数据展现时间6分42秒,远远达不到用户要求。由于SQL比较复杂,数据库执行路径难以控制,所以很难在SQL的层面再进行优化。

使用集算报表进行优化的过程如下:

1、编写集算脚本

首先,拆分原报表数据集SQL。这个SQL慢的原因在于两个子查询之间的join,那么分别把两个子查询sql写到集算脚本中执行,并且在集算脚本中使用switch完成关联。

其次,消除报表格间运算。将原报表模板中的格间计算(比值和汇总值)的内容全部移到集算脚本中完成,这样报表少了格子遍历的过程,可以提升性能。

最后,将结果集一次返回给报表。通过集算脚本完成了所有数据准备的工作后,将结果一次性返回给报表工具,报表接收到数据源后直接进行展现(不再做其他如格间计算类的影响效率的计算)。

完整的集算脚本如下:

2、在集算报表中调用上述集算脚本,编辑报表表达式完成报表制作。

优化效果

    报表展现要经历的两步:1数据源计算(执行数据集SQL)阶段,2 报表计算并展现阶段,报表优化前后各阶段与总时间对比见下表:

通过上面的过程,该报表展现时间从原来的6分42秒,锐降到了57秒,不到1分钟的时间,达到了用户预期的目标。

使用集算报表进行报表优化适用于从数据库取出数据量不是很大的场景(由于Oracle JDBC速度非常慢),通过使用这种可控的过程优化手段迅速提升报表性能。

时间: 2024-07-30 13:48:42

润乾集算报表提升性能之过程优化的相关文章

润乾集算报表提升性能之并行取数

有时报表在展现或导出时需要从数据库中取出较多数据,而JDBC的取数速度一向比较慢,有可能超过报表其它运算环节的耗时,导致整个报表的生成过程效率极低.下面我们看如何利用润乾集算报表的并行计算机制提高JDBC的取数性能. 所谓并行取数是指,使用多线程技术在报表工具与数据库建立多个连接,同时读取一份源数据,这需要将源数据分段,每个线程(数据库连接)读取其中一段内容,最后将所有线程的结果合并得到总目标数据的过程. 集算报表内置了并行机制可以很容易完成并行取数任务,从而提升报表性能,这里以oracle为例

用润乾集算报表提升性能之关联计算

报表开发过程中经常要在报表中完成数据关联计算,有的为了降低报表制作复杂度将关联关系放到可视的报表模板中完成:有的则必须在报表中完成关联,如多数据源.异构数据源的情况.而在报表中做关联往往导致报表效率不高,计算过慢,引发性能问题.润乾集算报表提供了特殊的数据关联方式,可以提升报表性能.这里通过一个常见的多源关联分片报表实例来看一下集算报表的实现过程:     报表说明 根据销售情况等信息表按照时间.地区.销售人员.产品等维度汇总销售额,报表样式如下: 以下为实现过程.     编写计算脚本 首先使

润乾集算报表提升性能之层次数据集

多层次报表是很常见的报表形式,如分组报表和主子报表.其中的关联运算(组与明细,主表和子表),由于有层次而不能直接在数据库中完成,需要在报表端完成.但报表端一般只用采用排序和遍历的方法实现关联,性能较差.利用润乾集算报表的层次数据集则可以在数据源计算过程中就完成关联计算,并且有层次的结果集直接传送给报表呈现,在关联计算中充分利用集算器的高效算法,从而达到优化性能的目标. 下面通过一个主子报表的实例看一下使用过程与效果. 报表描述 使用订单表和订单明细表,查询每个订单详情以及该订单下的订单明细,报表

润乾集算报表提升性能之并行多库

应用的数据量较大时报表性能往往不高,此时针对源数据量大的报表进行SQL或报表端的优化效果往往不明显.如果将数据采用一定规则(如时间)分库分段存储,报表访问时同时访问多个数据库进行数据计算,最后在报表中进行汇总展现,采用这种并行多库的方式来提升报表性能. 一般报表工具并不具备这种并行取数汇总的能力,访问多个数据库读取分段数据需要借助Java等高级语言完成,然而使用Java编写这样的并行程序并不简单,而且由于Java缺乏对批量数据计算的基础支持,不支持表达式参数和动态数据结构,使得一般报表工具难以直

润乾集算报表提升性能之预先计算

报表应用中当数据量较大或计算过程较复杂时,会导致报表数据源准备过慢,从而影响报表性能.这时常常需要事先将报表需要的数据计算好,在呈现时直接引用即可,这样用户在访问报表时就可以迅速地获得响应. 当前的手段及弊端 由于报表在访问时还需要参数,显然不可能把所有参数组合对应的报表数据源都准备好,所以预先计算并不是最终的报表结果,在呈现的时刻仍然要再次进行一些简单的计算(如过滤.分组汇总.排序等),然而也不太可能指望报表呈现时刻由报表工具再完成所有这些运算(报表工具只能完成一部分小数据量的运算),这样就要

润乾集算报表提升性能之可控缓存

使用缓存可以提升报表性能是不争的事实,一般高端报表工具都会提供报表缓存的功能,用于将整个报表计算结果缓存到文件系统中,以便用户在下次访问同参数报表时可以快速读取缓存结果进行报表展现,集算报表也具有这种常规缓存功能.但是,有些情况下报表开发人员希望能够控制缓存的内容,比如有时希望缓存的不是整个报表结果而是其中的部分,有时缓存内容可被其它报表或程序复用,有时希望对不同的缓存结果设置不同的超时时间,以应对数据量和实时性方面的不同情况.这时,一般的报表缓存就无法满足需求了. 集算报表内置了可编程的数据计

润乾集算报表利用并行计算提高JDBC取数性能示例

实际应用中数据量较大的报表在展现或导出时往往需要一次性将数据从数据库中取出来,而JDBC的取数速度过慢使得整个进程效率极低.如何优化取数速度成为了提升报表性能的关键.在润乾集算报表中可以通过并行计算提高JDBC的取数性能.本文以oracle为例说明实现过程. 报表描述 用户状态表展现的是明细数据,由于需要导出,需要一次性读取数据表中所有数据.单表数据量为360万,报表样式为: 实现步骤 编写脚本 首先使用集算器编写脚本(parallel.dfx),实现并行取数逻辑: A1:连接oracle数据源

润乾集算报表的集算器数据集部署(I)

润乾集算报表提供了集算器数据集,允许用户使用集算器脚本完成数据的进一步计算和加工,为报表提供数据源支持,从而简化报表开发,提升报表性能. 集算器脚本的编辑需要借助第三方集算编辑器(非报表工具)完成,而后嵌入到报表工具和报表应用中完成报表开发和部署. 下面来看一下集算器数据集的使用和以及报表部署过程. 1.开发环境使用 集算报表使用集算器数据集时,首先需要设置集算器授权信息和配置数据源连接(如果需要从数据库中取数). 1.1.设置授权信息 启动集算报表设计器,选择工具-选项,切换到"集算器选项&q

润乾集算报表优化应用结构之本地计算

在报表项目中,常常会碰到数据库压力很大影响整个系统性能的问题.由下面的传统方案的结构示意图可以看出,全部数据存储和源数据计算都放在数据库完成.当并发访问量较大的时候,虽然每个报表的数据量不大,还是会造成数据库压力过大,成为性能的瓶颈.多数数据库厂商提供的jdbc接口传输数据比较缓慢,在并发量较大的情况,对报表系统性能的影响也非常明显. 这种情况时可以考虑采用润乾集算报表提供的本地计算方案. 所谓本地计算,是将一部分计算任务从数据库中移出到报表服务器中完成.大多数有一定规模的应用系统中,数据库和应