市面上的BI工具形形色色,功能性能包装得十分亮丽,但实际应用中我们往往更关注的是朴实的技术特性和解决方案。对于大数据,未来的应用趋势不可抵挡,很多企业也正存在大数据分析处理展现的需求,以下我们列举市面上主流的三款BI系统,就“大数据”特性展开探讨,主要是与Hadoop、Spark、多维分析数据库的对接和性能。
Tableau的大数据策略
1、目前,Tableau适用的大数据生态系统连接包括:
- Hadoop:Cloudera Impala 和 Hive、Hortonworks Hive、MapR Hive、支持 Impala 和 Hive 的Amazon EMR、Pivotal HAWQ、IBM BigInsights
- NoSQL:MarkLogic、Datastax
- Spark:Apache Spark SQL
- 多维分析数据库: Teradata Aster、HP Vertica、SAP Hana、SAP Sybase、Pivotal Greenplum
2、Tableau 可实时连接到数据源,或将其调入内存。在快速交互式查询分析时,实时连接作用很大。但由于内存式分析,对硬件要求较高,数据量较大时效率会比较低。
3、面向业务用户的大数据自助式可视化。业务用户可使用拖放操作可视化其数据,而无需编写复杂的SQL、Java代码或 MapReduce作业。Tableau简化了分析数据的任务,用户可比以前更快地从数据中发现形象可见的见解。
FineBI的双套大数据方案
1、FineBI支持的大数据生态系统连接包括
- 大数据平台:Vertica、GreenPlum、Apache Kylin、Impala/hive、hive、星环,
- NO SQL数据库:MongoDB
- 多维分析数据库:Teradata、SAP Hana、Greenplum、SAP Sybase、Essbase、SSAS
2、FineBI支持FineIndex和FineDirect两种数据连接和处理模式,应对的是不同的数据方案。
- FineDirect应对的是一些需要实施展现结果,比如银行交易风险的流水分析,直接对接hadoop,kylin,greenplum等大数据平台。
- FineIndex采用cube连,也就是说数据库-FineIndex-前端分析,FineIndex相当于一个中间库的形式,用来存储数据表,关联转义索引等。这些都对后续前台分析处理数据效率有很大的提升(因为直接sql取数,效率受数据库本身的限制,数据量大时,一般分析工具很容易就卡死升职内存溢出导致系统无响应)
3、用于执行跨数据源分析的数据混合。FineBI可以将大数据和其他数据源(如MySQL、Excel 文件等)混合,让用户能够跨越各种数据源存取数据,并整合到一个库内(FineIndex)。
Qlikview
1、Qlikview也是基于内存的BI,能实时响应用户的分析需求,与Tableau相似,性能大多决定于数据库。能直接从用户的业务系统中采集数据并进行多维分析,剔除了传统BI基于数据仓库(集市)才能实施的弊病。(作者从网上和其资料库中并没有查到太多关于大数据方面的阐述,官方也并没有这方面的可以宣传)。
2、QlikView的核心是一个获得专利的AQL构架。在分析时不需要传统OLAP立方体,也不一定要使用数据库,完全利用了基础硬件平台,来对上亿的数据进行业务分析。QlikView应用使各种各样的终端用户以一个高度可视化,功能强大和创造性的方式,互动分析重要业务信息。