Cognos做大数据分析也可以棒棒哒

大数据开辟了业务分析的新时代,使得企业基于更大范围数据(包括传统数据仓库、社交媒体、个人文本数据等)分析以制定更明智的决策变为可能。Cognos BI对Hadoop、分析数据存储和实时流数据等大数据源提供更广泛的支持,帮助企业获取更完整的业务视图并依据洞察迅速采取行动。

Cognos从10.2.x版本开始提供了对各类大数据平台的支持

IBM 是业界唯一一家提供了从大数据底层平台到前端展现分析所涉及的全部技术和产品的厂商。在如火如荼的大数据分析领域中,IBM Cognos BI依然保持了领导者的风范。下面我们将就Cognos BI对各类大数据分析平台的支持情况进行详细介绍。

对Hadoop平台的支持

对啦,6月22日慧都学院邀请了IBM大数据专家讲解新一代商业智能的发展趋势以及案例,感兴趣的朋友赶紧去报名听一听哈,完全免费的,可以学到不少东西!

从Cognos 10.2.1版本开始已经增加了对以下Hadoop平台的支持。随着版本的演进,在目前的10.2.2版本已提供了对相关软件后续新版本的支持更新。(以下是Cognos 10.2.1版本支持情况)

  • Cloudera
  • Apache (Hive 0.8 and 0.9)
  • Horton Works
  • AWS Elastic MapReduce
  • IBM BigInsights 2.1 via Big SQL (or Hive)

对新的分析型数据源的支持

除了Hadoop,我们也对更多分析型数据源提供了支持。当前所有主流数据源都能够被Cognos DQM(Cognos Dynamic Query Mode)很好的支持,以下是一些新近被支持的数据库:

  • DB2 10.5 BLU (via DQM)
  • Netezza 7.0 (via DQM)
  • SAP HANA (via DQM)
  • Teradata 14.1 (via DQM)
  • Amazon Redshift (via ODBC)

在以上Cognos BI支持的大数据平台中可圈可点的是对主流Hadoop平台的支持。Cognos BI服务器通过 Hive JDBC 驱动程序连接到Hadoop,生成Hive QL 来查询Hadoop文件系统。来自 Hive Catalog 的元数据可以导入到 Cognos Framework Manager 中,这就使得商业智能建模工具能够将 Hadoop内容包发布到 CognosBI服务器。这些内容包可用来创建令人瞩目的 Cognos 报表和分析(包含 Active Report)、仪表板和工作空间,所有这些都利用了Hadoop的 Map/Reduce 功能。此外,Cognos BI针对IBM Hadoop平台BigInsights还提供了BigSQL接口,Cognos BI同IBM BigSQL的集成在性能上会比以前Hive解决方案有一定的提升。您可以直接从HBase/HDFS中做查询,而不需要再去建立一个关系查询层(Relational Query Layer)来达到同样目的。如果您认为Hadoop才是企业大数据平台架构的话,IBM Big SQL和BigInsights将是一个不错的选择。接下来我将详细介绍Cognos BI与IBM BigInsights的集成配置的相关细节。

Cognos BI配置连接BigInsights

Cognos BI配置连接BigInsights总体架构

准备工作,拷贝驱动jar包到Cognos服务器目录

Cognos BI通过JDBC数据访问接口连接BigInsights,在配置连接到BigInsights之前,需要先将数据源连接JDBC驱动jar包拷贝到Cognos服务器对应的目录。

Hive连接方式:

从BigSQL安装目录下Java文件夹拷贝hive-jdbc-0.8.0.jar到每个 Cognos 安装的\webapps\p2pd\WEB-INF\lib文件夹下。(此处以Hive 0.8版本为例)

BigSQL连接方式:

从BigSQL安装目录下Java文件夹拷贝bigsql-jdbc-driver.jar文件到每个 Cognos 安装的\webapps\p2pd\WEB-INF\lib文件夹下。

注意: BigInsights 要求 Hive和BigSQL JDBC 驱动程序的版本与它将要连接到的服务器本身自带的版本相同。

创建BigInsights数据源连接

在Cognos Administration中新建数据源连接,选择连接类型为:JDBC。

在连接类型子项中,选择待连接数据源的类型。

注:Hive选项为开放平台ApacheHive接口类型,IBM BigInsights Hive有专门的选项。

输入BigInsights相关连接信息。

连接信息采用//:/格式将 BigInsights 服务器 URI 输入到 JDBC URL 字段中,比如//localhost:7052/defaultdb。

输入登录数据库的用户名 ID 和密码

测试数据源的连通性,测试连接成功后将提示连接成功。

Cognos Framework Manager 连接 BigInsights建模

配置完数据源连接后就可以开始进行Cognos Framework Manager模型创建工作了,与连接关系型数据库建模最大的不同是,使用Big SQL/Hive连接BigInsights作为数据源无需在安装FM客户端本地安装任何客户端和驱动程序,直接可以读取Cognos服务器上的连接信息进行FM建模操作。

创建模型的操作和普通数据源没有区别,但在自定义查询或函数方面则需要参考BigInsights的标准进行自定义修改,接下来就开始你的大数据分析之旅吧。

时间: 2024-09-29 00:13:54

Cognos做大数据分析也可以棒棒哒的相关文章

做大数据分析研究的常用软件工具与其应用场景

做大数据分析研究的常用软件工具与其应用场景 实际进行大数据研究过程中,需要根据实际情况灵活选择最合适的工具(甚至多种工具组合使用),才能更好的完成研究探索. 如今,大数据日益成为研究行业的重要研究目标.面对其高数据量.多维度与异构化的特点,以及分析方法思路的扩展,传统统计工具已经难以应对. 工欲善其事,必先利其器.众多新的软件分析工具作为深入大数据洞察研究的重要助力, 也成为数据科学家所必须掌握的知识技能. 然而,现实情况的复杂性决定了并不存在解决一切问题的终极工具.实际进行大数据研究过程中,需

使用分布式数据库集群做大数据分析之OneProxy

一.十亿数据,轻松秒出 实时监控领域有两个显著的特点,一是数据来源很多而且数据量大,有来自监控摄像头.GPS.智能设备等:二是需要实时处理.我们的客户在做实时处理时,就遇到这样的问题.客户的某个数据表中有10亿条记录,希望统计类查询的响应时间在30s以内,而使用单台MySQL的响应时间在300s以上.OneProxy特有的并行查询功能,让响应时间降到10s以内. 二.并行查询前提之分库分表 在互联网+的时代,分库分表已经成为行业的标准解决方案之一.在众多应用中,数据每天都以GB级别递增,其中若干

做大数据分析的怎么可以不会这个?

Overview: 0 引言 1 环境 2 模块准备 3 实现思路 4 小试牛刀 5 中试牛刀 6 总结 0 引言 词云图,也叫文字云,是对文本中出现频率较高的"关键词"予以视觉化的展现,词云图过滤掉大量的低频低质的文本信息,使得浏览者只要一眼扫过文本就可领略文章的主旨. 1 环境 操作系统:Windows Python版本:3.7.2 2 模块准备 本文涉及到的Python第三方模块,共计四个:分词模块jieba,文字云模块wordcloud,画图模块matplotlib,用来处理背

技术培训 | 大数据分析处理与用户画像实践

孔淼:大数据分析处理与用户画像实践 直播内容如下: 今天咱们就来闲聊下我过去接触过的数据分析领域,因为我是连续创业者,所以我更多的注意力还是聚焦在解决问题和业务场景上.如果把我在数据分析的经验进行划分的话,刚好就是我所经历的两次创业阶段,第一阶段是"第三方数据分析",第二阶段是"第一方数据分析".所以今天咱们就从这两点来谈谈数据分析. 第三方数据分析 先聊聊"第三方数据分析",这个主要结缘于我给开复做微博数据挖掘. 起因:给开复做"微博

做大数据时代的“淘宝”平台,IBM数据分析战略浮出水面

(上图为IBM研究人员在展示通过数据分析提高城市交通水平) 下个世纪是大数据的世纪,是从IT走向认知计算的时代.在IT时代成就了一家超级平台,这就是淘宝,而认知时代要做的是数据的生意,那是否有一个类似淘宝的超级数据平台呢?IBM正在做这件事情. IBM在全球布局了40多个基于Softlayer的数据中心,以Bluemix作为其主力云端开发平台, 在之上通过合作和收购网罗了从Twitter到The Weather Company以及这些年投入250亿美金收购的Cognos.SPSS.ILOG.Al

阳宇宸:大数据分析及挖掘

大数据引领我们走向数据智能化时代 [WHAT]大数据   定义 大数据(big data),指无法在一定时间范围内用常规软件工具进行捕捉.管理和处理的数据集合,是需要新处理模式才能具有更强的决策力.洞察发现力和流程优化能力的海量.高增长率和多样化的信息资产. 大数据时代的背景 20世纪90年代,数据仓库之父的Bill Inmon就经常提及Big Data. 2011年5月,在"云计算相遇大数据"为主题的EMC World 2011 会议中,EMC 抛出了Big Data概念. 半个世纪

解读一个新IBM的平台战略:云、大数据分析与人工智能

(上图为IBM董事长及CEO Ginni Rometty) 现在,一个新IBM正在浮出水面.在IBM的2015年财报上写道:"今天的IBM已经不仅是一家'硬件.软件与服务'公司,而转型成为一家认知解决方案与云平台公司."在公司100多年的历史上,IBM第一次称自己是一家平台公司.IBM首席财务官Martin Schroeter在2016年第一财季电话会议中说,公司的成功将依赖于构建平台,合作伙伴与生态系统至关重要. 如今,起源于互联网的平台思维已经成为IBM贯穿一切的战略思维,芯片.硬

大数据分析案例

部分数据来源于网络,如有侵权请告知. 一.大数据分析在商业上的应用 1.体育赛事预测 世界杯期间,谷歌.百度.微软和高盛等公司都推出了比赛结果预测平台.百度预测结果最为亮眼,预测全程64场比赛,准确率为67%,进入淘汰赛后准确率为94%.现在互联网公司取代章鱼保罗试水赛事预测也意味着未来的体育赛事会被大数据预测所掌控. “在百度对世界杯的预测中,我们一共考虑了团队实力.主场优势.最近表现.世界杯整体表现和博彩公司的赔率等五个因素,这些数据的来源基本都是互联网,随后我们再利用一个由搜索专家设计的机

使用Storm实现实时大数据分析

摘要:随着数据体积的越来越大,实时处理成为了许多机构需要面对的首要挑战.Shruthi Kumar和Siddharth Patankar在Dr.Dobb’s上结合了汽车超速监视,为我们演示了使用Storm进行实时大数据分析.CSDN在此编译.整理. 简单和明了,Storm让大数据分析变得轻松加愉快. 当今世界,公司的日常运营经常会生成TB级别的数据.数据来源囊括了互联网装置可以捕获的任何类型数据,网站.社交媒体.交易型商业数据以及其它商业环境中创建的数据.考虑到数据的生成量,实时处理成为了许多机