适应多样性数据源的报表工具

大数据时代的数据不仅数量巨大,还会以各种形式存在,具备多样性。对于报表工具来说,就必须从多种多样的数据源获取数据,计算并展现出来。但是,多数报表工具并没有很好的适应多样性数据源。

常见的报表数据源包括:

1、各种关系数据库:oracle、db2、sqlserver、informix、mysql等;

2、MongoDB,Cassandra等NoSQL数据库;

3、JSON、XML数据源;

4、HTTP数据源;

5、文件,常见文本格式,Excel文件;

6、Hadoop HDFS;

7、结构化和半结构化数据。

报表工具要适应多样性数据源,强大、通用的计算能力是关键

计算能力是指数据源除了存储数据的功能,还能对外提供计算服务,比如:数据的过滤、排序、分组和连接等。上述这些数据源中,只有关系数据库具备较强的计算能力,可以用SQL或者存储过程编写计算脚本。其他数据源要么没有计算能力,要么比较弱。Nosql数据库的计算能力就比关系数据库弱很多,MongoDB不支持join和子查询,查询结果也不能太大。至于文本文件、excel、hdfs、xml文件、json文件和http数据源就完全没有计算能力了。

当然,报表工具一般都提供自定义数据源接口,可以用Java等高级语言来编写数据源的计算程序。虽然理论上具备较强的计算能力,但是Java处理结构化半结构化数据的类库较弱,所以写起程序来是相当麻烦的。

润乾集算报表是新一代的报表工具,内置了集算器作为计算引擎,提供了脚本数据集,具备强大的数据计算能力,无论数据源自身的计算能力如何,都可以很好的适应。

集算器是专业的结构化和半结构化数据计算工具,支持集合运算、对象引用和有序集合等功能。集算器提供丰富的数据计算函数库,可以完成多步骤、复杂的计算。集算报表的设计器中集成了集算器IDE(集成开发环境),可以单步、断点调试、观察计算结果,有效提高开发效率。

脚本数据集是集算报表的特殊数据集,可以编写遵循集算器语法的计算脚本,在数据集取数之后,完成数据的加工。适合完成步骤不多,比较简单的数据计算。

在数据连接方面,集算报表内置的集算器可以调用关系数据库和nosql数据库的jdbc驱动,也提供了访问其他各种数据源的函数类库。

在数据计算方面,集算报表可以利用脚本数据集使得没有计算能力的数据源具备计算能力,也可以加强计算能力较弱的数据源,实现比较简单的计算。

更进一步,集算报表可以利用内置的集算器对于多种异构数据进行统一的计算,完美的解决数据源计算能力(特别是混合计算能力)不足的问题。集算器从数据源取数之后,转换成统一的数据对象,再利用丰富的函数类库进行多步骤、复杂的计算。最后通过集算数据集提交给报表展现引擎。

利用集算报表支持多样性数据源的特性,可以搭建多数据源的报表系统,发挥各种数据源的优势,规避各自的缺点。一个比较典型的报表系统数据源结构如下图:

图中的SQL DB建设和运行成本较高,可以用来存放少量的实时数据,比如当天或者当月的数据。数据量小、而且在变动中,对数据一致性要求较高。

本地的文件可以用来存放近期的历史数据,比如本年数据。数据量大、不会发生变动,使用率比较高。

HDFS文件可以用来存放长期的历史数据,比如往年数据。数据量巨大,使用率较低。

Nosqldb、json数据、http数据源则可能是外部系统提供的数据接口,用来读取本系统关心的外部数据。

集算报表通过内置的集算器将所有数据源数据读取计算之后,通过数据集提交给展现引擎,生成内容丰富、图文并茂的报表展现给最终用户。

这样的集算报表系统优势在于:既可以具备很好的数据实时性,又能反映历史数据规律;既能保证大数据存储,又不会造成过大的投资;即能展现本应用内部的数据计算结果,又能查看相关应用系统的数据。

时间: 2024-10-04 00:46:42

适应多样性数据源的报表工具的相关文章

润乾集算报表多样性数据源之json

多样性数据源在报表开发中越来越常见,润乾集算报表对多样性数据源的有效支持使得这类报表开发变得非常简单,目前集算报表支持的数据源类型除传统的关系型数据库外,还支持:JSON.HTTP.TXT文本.Excel.Hadoop.mongodb等. JSON作为一种轻量级数据格式应用非常广泛,报表读取json数据源进行报表开发的需求也很常见,另外有些报表还会接收来自HTTP服务器的数据进行报表展现.这里通过例子分别来看一下集算报表使用json数据源和http数据源的过程. 一般JSON数据源 报表说明 学

润乾集算报表多样性数据源之Hadoop

多样性数据源在报表开发中越来越常见,润乾集算报表对多样性数据源的有效支持使得这类报表开发变得非常简单,目前集算报表支持的数据源类型除传统的关系型数据库外,还支持:TXT文本.Excel.JSON.HTTP.Hadoop.mongodb等. 对于Hadoop,集算报表既可以直接访问Hive,也可以读取HDFS中的数据,完成数据计算和报表开发.Hive的访问和普通数据库一样使用JDBC就可以,这里不再赘述了.下面通过一个例子来看直接访问HDFS的过程. 报表说明 股票交易记录按月以文本形式存储在HD

润乾集算报表多样性数据源之Excel

多样性数据源在报表开发中越来越常见,润乾集算报表对多样性数据源的有效支持使得这类报表开发变得非常简单,目前集算报表支持的数据源类型除传统的关系型数据库外,还支持:TXT文本.Excel.JSON.HTTP.Hadoop.mongodb等. Excel作为一种常见的文件格式广泛存在,很多报表的数据来源于Excel.由于报表一般都带有参数,经常需要对原始数据进行分组.过滤等,都需要再编写程序代码才能满足有参数报表的查询需求.这里通过一个例子介绍集算报表使用Excel数据源制作报表的步骤. 报表说明

润乾集算报表多样性数据源之mongodb

多样性数据源在报表开发中越来越常见,润乾集算报表对多样性数据源的有效支持使得这类报表开发变得非常简单,目前集算报表支持的数据源类型除传统的关系型数据库外,还支持:TXT文本.Excel.JSON.HTTP.Hadoop.mongodb等. mongodb等nosql数据库具有易扩展和高性能等优势,但计算能力比传统SQL要弱(如mongodb的分组结果不能太大,且不直接支持join运算等),而集算报表内置的计算引擎再正好可以补充这一点,在获得mongodb的优势的同时还拥有较强的计算能力. 这里通

润乾集算报表多样性数据源之文本文件

多样性数据源在报表开发中越来越常见,润乾集算报表对多样性数据源的有效支持使得这类报表开发变得非常简单,目前集算报表支持的数据源类型除传统的关系型数据库外,还支持:TXT文本.Excel.JSON.HTTP.Hadoop.mongodb等. 这里通过两个例子介绍集算报表使用文本数据源制作报表的步骤,对于小文本文件和大文本文件在集算报表中可以采用不同的方式进行处理. 小文本文件 报表说明 股票交易记录按月以文本形式存储,文件名为stock_record_yyyyMM.txt(如stock_recor

润乾集算报表多样性数据源之多结果集

多样性数据源在报表开发中越来越常见,润乾集算报表对多样性数据源的有效支持使得这类报表开发变得非常简单,目前集算报表除了支持不同类型的数据源(RDB.TXT文本.Excel.JSON.HTTP.Hadoop.mongodb)外,还支持在一个数据集中为报表返回多个结果集使用,这样可以有效避免重复运算,提升报表开发效率和运算性能.下面通过一个实例说明多结果集的使用过程. 报表说明 根据学生成绩表查询总成绩前三名和后三名的学生姓名以及总成绩.报表样式如下: 由于要分别显示前三名和后三名学生姓名和成绩,报

润乾集算报表多样性数据源之混合多源

多样性数据源在报表开发中越来越常见,润乾集算报表对多样性数据源的有效支持使得这类报表开发变得非常简单,目前集算报表支持的数据源类型除传统的关系型数据库外,还支持:TXT文本.Excel.JSON.HTTP.Hadoop.mongodb等. 在集算报表中除了单独使用以上数据源,还可以混合使用.支持混合多数据源是集算报表多样性数据源的又一表现.下面通过一个实例说明使用过程. 报表说明 员工每月应发工资跟员工的基本工资.考勤以及绩效有关,考勤信息来源于人力部门从考勤系统中导出的文本文件,基本工资和绩效

润乾集算报表多样性数据源之动态源

多样性数据源在报表开发中越来越常见,润乾集算报表对多样性数据源的有效支持使得这类报表开发变得非常简单,目前集算报表除了支持不同类型的数据源(RDB.TXT文本.Excel.JSON.HTTP.Hadoop.mongodb)外,还可以根据实际应用情况动态连接不同的数据源完成动态数据源报表的开发.下面通过一个简单实例说明使用过程. 报表说明 应用中需要通过参数控制报表连接的数据源,当参数flag为1时连接数据源一(xmos1),否则连接数据源二(xmos2),查询指定年份到现在的订单情况. 在集算报

蒋步星:报表工具的“后”路

报表工具很可能是企业级通用软件领域中仅有的国产软件品质远远超过国外同行的产品了.以润乾为先行者的国内厂商,在十多年的竞争中靠实力击败了国外产品.除了少量开源产品因价格优势还有较多用户外,其它国外产品主要就是些多年前的老用户了. 中国报表需求确实更复杂,无论格式和计算都繁琐得多,传统报表模型难以处理.润乾发明的非线性报表模型能够较好地解决这些问题,国内重要厂商目前都采用了该模型,而国外厂商则继续使用传统模型,产品本身品质要差很多;另外,近年来几个重要的国外厂商都发生了并购,报表工具并非收购方的主营