kylin2.3版本启用jdbc数据源(可以直接通过sql生成hive表,省去手动导数据到hive,并建hive表的麻烦)

说明:

jdbc数据源,本质上还是hive数据源。

由于数据库做大表关联方面性能还是不行。所以kylin的默认数据源仍然是hive,我觉得是非常合理的。

对应jdbc数据源,其实就是一种便利的方式。其基本原理就是通过连接数据库,选取所要用的表(或者sql查询)。

通过sqoop并行的抽取数据,并按照表名生成对应的hive表。cube的构建就根据生成的hive表进行。

每次构建的时候都重新抽取数据,生成hive表,构建完成之后,就把这个hive表删除掉。

相当于是自动做了之前开发需要 自己做的数据同步到hdfs、新建hive表、同步hive表到kylin这些繁琐重复的工作。

缺点:

1、基于以上说明,很容易得出其缺点就是这些hive表是瞬时的。每次构建都要现场去抽取全量的数据(从而增大了数据库的压力,增加了网络开销,并且拖慢了cube整体构建速度)。(这里可以通过定制其源码改成可配置的增量更新的方式,会更好用;但是要考虑表结构变更,是删除全表重建,还是要怎么处理)

2、由于表是瞬时的,就不能同时把这些表提供给其他方使用。

参考其官网说明和git

https://issues.apache.org/jira/browse/KYLIN-3044

设置sqoop导入的默认并行度

原文地址:https://www.cnblogs.com/double-kill/p/8909948.html

时间: 2024-11-08 07:22:06

kylin2.3版本启用jdbc数据源(可以直接通过sql生成hive表,省去手动导数据到hive,并建hive表的麻烦)的相关文章

eclipse下jdbc数据源与连接池的配置及功能简介

今天在做四则运算网页版的时候遇到了一个困惑,由于需要把每个产生的式子存进 数据库,所以就需要很多次重复的加载驱动,建立连接等操作,这样一方面写程序不方便,加大了程序量,另一方面,还有导致数据库的性能急剧下降,那么怎么解决这个问题呢? 我所学到的方法就是通过JDBC数据源和连接池的方式来解决这个问题.利用DataSource来建立数据库的连接不需要加载JDBC驱动,也不需要DriverManager类,通过向一个JNDI服务器查询来得到DataSource对象,然后调用DataSource对象的g

JDBC数据源的驱动问题

classes12.jar,ojdbc14.jar,ojdbc5.jar和ojdbc6.jar的区别,之间的差异 在使用Oracle JDBC驱动时,有些问题你是不是通过替换不同版本的Oracle  JDBC驱动来解决的?最常使用的ojdbc14.jar有多个版本,classes12.jar有多个版本你了解吗? 连接类型:1.JDBC OCI: oci是oracle call interface的缩写,此驱动类似于传统的ODBC 驱动.因为它需要Oracle Call Interface and

weblogic配置jdbc数据源

weblogic配置jdbc数据源的过程 方法/步骤 启动weblogic 管理服务器,使用管理用户登录weblogic管理控制台   打开管理控制台后,在左侧的树形域结构中,选择服务->数据源. 在右侧的窗口中,选择 新建->一般数据源   填写数据源名称,JNDI名,选择数据库类型(本文以Oracle数据库为例) 点击下一步按钮   选择数据库驱动程序,点击下一步按钮   事务处理选项画面,点击 下一步 按钮   新建JDBC数据源画面 数据库名称 主机名 端口号 数据库用户名 密码 用于

spring中配置jdbc数据源

1.加入jdbc驱动器包,mysql-connector-java.jar 2.加入commons-dbcp.jar配置数据源 3.在classpath下新建文件jdbc.properties,配置jdbc数据源参数 jdbc.driverClassName=com.mysql.jdbc.Driver jdbc.url=jdbc\:mysql\://localhost\:3306/baiyin jdbc.username=root jdbc.password=123456 4.在xml中导入数据

如何设置MyEclipse JDBC数据源

MyEclipse Reports旨在为使用的数据库工具分享JDBC驱动程序配置.MyEclipse JDBC这个特殊的数据源允许报表工具访问这些驱动程序.本教程介绍如何设置MyEclipse JDBC数据源.您将学习到: 创建和编辑数据源 手动同步数据源 没有MyEclipse?立即下载 1. 创建一个MyEclipse JDBC数据源 (1)通过选择Windows>Open Perspective>MyEclipse Report Design来打开报表设计视角. (2)通过创建报表或打开

Tomcat中使用JNDI加载JDBC数据源

以前写JDBC的时候总是手工写一个类,用硬代码写上className.url.用户名和密码什么的,然后通过DriverManager获取到Connection.那样写是很方便,但是如果想更改的话,需要修改源码再编译,给后期修改带来不便.最近看到可以使用JNDI的方法使用xml文件配置JDBC数据源,xml文件存放在war下面,这样的话就很方便我们修改jdbc的连接属性了. 首先了解下JNDI吧,百度搜索结果:JNDI(Java Naming and Directory Interface,Jav

JDBC数据源DBCP源代码情景分析

在之前的一篇博文从JDBC到commons-dbutils 中,我曾经写到,对于获取数据库连接,有一个解决方案,那就是数据源.业界用到的比较普遍的开源数据源解决方案有很多,DBCP是其中一种,今天,我试图从源代码角度去解读这个解决方案. 全文分为三节,第一节介绍DBCP一般的用法,第二节按照第一节中给出的用法,从源代码角度看看,到底程序经过了哪些步骤,第三小节对全文做一个总结. 1.DBCP的一般用法 DBCP的用法其实很简单,一般就是new一个BasicDataSource,然后设置参数,当需

sqlserver 2008express版本启用混合登陆和sa

本机环境:win10 64位  vs2010及其自带的数据库 sqlserver2008 express版本 用命令行登陆数据库: osql -E -Slocalhost\sqlexpress 登陆成功: 以下代码是SSMS 2008自动生成的.可以在不安装SSMS的情况,实现标题需求. --启用混合登陆 USE [master] GO EXEC xp_instance_regwrite N'HKEY_LOCAL_MACHINE', N'Software\Microsoft\MSSQLServe

MySQL版本与JDBC驱动的问题

我用eclipse写struts的注册页面的时候,出现了这个问题,我上网查了一下,有人说这个数据库表的引擎问题,我查看了引擎发现没有问题,还有人说是JDBC版本的问题,我就试着去更改我的JDBC的驱动版本,还真解决了问题,我出现的错误提示如下: java.sql.SQLException:Could not retrieve transation read-only status server atcom.mysql.jdbc.SQLError.createSQLException(SQLErr