【转】saiku与kylin整合备忘录

http://blog.csdn.net/freefishly/article/details/51759133

为什么要整合?

Kylin是通过离线预计算将Hive中事实表的各组合维度的值存储在Hbase中,在前端可实时展现。但是kylin的多维查询需要写SQL,对于不会写SQL的数据分析人员或者业务人员来说,OLAP交互并不是很友好,而且图表展示也不丰富。如果能将saiku和kylin整合,Mondrian是基于关系型数据库的ROLAP(现在也支持Hive了,但查询慢),Kylin是MOLAP,saiku做前端交互,岂不美哉。

Saiku访问Kylin中数据

感谢开源项目mustangore为saiku与kylin的连接做了补丁,按照项目里说的步骤配置好,saiku就可以访问kylin中的数据。这里需要注意的是saiku中kylin-jdbc需要加入kylin同版本的jar,不能用项目中的 kylin-jdbc-1.0-incubating.jar

部署saiku和kylin

之前打算将kylin中的kylin.war分离出来部署(即将war包拷贝到tomcat webapp目录下就可启动),但是发现启动脚本kylin.sh与hadoop,hive,hbase结合太紧密,kylin是用hbase启动Tomcat的,难度颇大。

有已经成功分离,运行正常的朋友,感谢告诉我下!

如何单独部署saiku请参考这篇博文

这里我是将saiku的ROOT.war,saiku.war和kylin.war拷贝到同一个webapp目录下,用kylin.sh启动Tomcat,运行正常。由于我的saiku是经过定制的,将H2换成PG数据库,在启动saiku的时候报错:

PSQLException: FATAL: invalid value for parameter "TimeZone": "PST"

将kylin.war删除,单独用kylin.sh启动时,saiku又不报错。后面明白是kylin启动时设置了时区为PST。

解决方法:修改saiku时区为北京时区,set “kylin.rest.timezone=GMT+8” in kylin.properties.

时间: 2024-12-29 23:21:16

【转】saiku与kylin整合备忘录的相关文章

saiku - 源码整合[普通WEB项目]

saiku源码的整合分为[普通web项目整合]和[maven整合]两种 本节主要是讲解如何整合为普通的web项目 转载自:http://blog.csdn.net/gsying1474/article/details/39018251 一 准备以下工具 和 源码 MyEclipse 10 saiku2.5 源码 saiku-server-foodmart-2.5.zip 二 新建web工程saiku 在MyEclipse中新建一个web项目,项目名必须为 saiku(因为saiku的UI会默认找

【转】Kylin系列-使用Saiku+Kylin构建多维分析OLAP平台

关于Kylin的介绍和使用请参考之前的文章 <分布式大数据多维分析(OLAP)引擎Apache Kylin安装配置及使用示例> Kylin对外提供的是SQL查询接口,基于Kylin构建OLAP多维分析系统,第一种方案是针对业务,定制开发一个前端界面,将界面上用户的选择和操作,翻译成SQL,提交给Kylin查询.另一种方案则是将Kylin与BI工具整合起来,借助BI工具,对Kylin中的Cube进行查询分析.Kylin本身对于BI工具Tableau可以非常好的整合使用,我自己下载了Tableau

顶级项目孵化的故事系列——Kylin的心路历程【转】

现在已经名满天下的 Apache Kylin,是 Hadoop 大数据生态系统不可或缺的一部分,要知道在 Kylin 项目早期,可是以华人为主的开源团队,一路披荆斩棘经过几年的奋斗,才在 Apache 基金会牢牢的巩固了自己的位置.作为本土第一个进入到世界顶级基金会的项目,Kylin 的经验是值得大家学习的. 以下内容根据 COSCon'17讲师史少锋(Apache Kylin PMC&Committer .Kyligence 技术合伙人兼高级架构师)的演讲速记所整理. 演讲实录 今天我主要介绍

01-数据分析之始末-概览篇

数据分析之个人浅见 在做数据产品经理之后,对数据分析的工作做了一些简单的功课,现记录如下,希望能够帮助数据产品方面的同学,同时也借此平台互相交流学习,不当之处,还请斧正. 数据产品经理职责 数据分析-- 把握数据动态,透视数据背后价值: 数据产品化 -- 需求中嗅得常规性需求,建立数据化产品,方便日后分析,解脱开发重复性劳动,及时响应需求: 一开始数据服务业务,成熟后数据指导业务: 对于一个数据产品经理之职责,详细请见文章 -- <数据产品经理之职责 -- 待完成>. 数据产品简介 说到数据产

kylin与superset整合

前提: kylin安装以及配置可以参考 https://www.cnblogs.com/654wangzai321/p/9676204.html 我这边用的Linux自带的python2.7,为了保证一个干净的Python环境,我这边使用Python的virtualenv环境 Python virtualenv环境 python3已经自带了virtualenv,python2你需要安装它,使用pip来安装: pip install virtualenv//创建目录mkdir /data/py2e

Onvif备忘录(1)----简介及开发框架搭建

1:Onvif简介 安防产品的通用标准目前有两大主流阵营:Onvif以及Psia,从目前厂家的支持数量以及市场占有量来说,Onvif已经牢牢占据了领先地位,且在网络视频监控领域,优势地位更明显.下面摘录百科的描述来给Onvif做下简单介绍: 2008年5月,由安讯士联合博世及索尼三方宣布将携手共同成立一个国际开放型网络视频产品标准网络接口开发论坛,取名为ONVIF(Open Network Video Interface Forum,开放型网络视频接口论坛),并以公开.开放的原则共同制定开放性行

APACHE KYLIN? 概览

APACHE KYLIN™ 概览 Apache Kylin™是一个开源的分布式分析引擎,提供Hadoop之上的SQL查询接口及多维分析(OLAP)能力以支持超大规模数据,最初由eBay Inc. 开发并贡献至开源社区.它能在亚秒内查询巨大的Hive表. KYLIN是什么? - 可扩展超快OLAP引擎:  Kylin是为减少在Hadoop上百亿规模数据查询延迟而设计 - Hadoop ANSI SQL 接口:  Kylin为Hadoop提供标准SQL支持大部分查询功能 - 交互式查询能力:  通过

Apache Kylin高级部分之使用Hive视图

本章节我们将介绍为什么需要在Kylin创建Cube过程中使用Hive视图:而如果使用Hive视图,能够带来什么好处,解决什么样的问题:以及需要学会如何使用视图,使用视图有什么限制等等. 1.      为什么需要使用视图 Kylin创建Cube的过程中使用Hive的表数据作为输入源.但是有些情况下,Hive中的表定义和数据并不能满足分析的需求,例如有些列的值需要进行处理,有些列的类型不满足需求,甚至有时候我们在创建Hive表时为了方便快捷,会将Hive表的所有列的字段类型都定义为string,因

hive与hbase整合过程

实现目标 Hive可以实时查询Hbase中的数据. hive中的表插入数据会同步更新到hbase对应的表中. 可以将hbase中不同的表中的列通过 left 或 inner join 方式映射到hive 中的一个视图中. Hive map hbase 1,启动hive hbase 在hive hbase服务启动的情况下, $HIVE_HOME/bin/hive --auxpath $HIVE_HOME/lib/hive-hbase-handler-1.1.0-cdh5.7.1.jar,$HIVE