kylin build cube #3 Step Name: Extract Fact Table Distinct Columns

java.lang.NoSuchMethodError: org.apache.hadoop.yarn.proto.YarnProtos$LocalResourceProto.hashLong(J)I
	at org.apache.hadoop.yarn.proto.YarnProtos$LocalResourceProto.hashCode(YarnProtos.java:11782)
	at org.apache.hadoop.yarn.api.records.impl.pb.LocalResourcePBImpl.hashCode(LocalResourcePBImpl.java:62)
	at java.util.HashMap.hash(HashMap.java:338)
	at java.util.HashMap.put(HashMap.java:611)
	at org.apache.hadoop.mapred.LocalDistributedCacheManager.setup(LocalDistributedCacheManager.java:133)
	at org.apache.hadoop.mapred.LocalJobRunner$Job.<init>(LocalJobRunner.java:163)
	at org.apache.hadoop.mapred.LocalJobRunner.submitJob(LocalJobRunner.java:731)
	at org.apache.hadoop.mapreduce.JobSubmitter.submitJobInternal(JobSubmitter.java:244)
	at org.apache.hadoop.mapreduce.Job$10.run(Job.java:1307)
	at org.apache.hadoop.mapreduce.Job$10.run(Job.java:1304)
	at java.security.AccessController.doPrivileged(Native Method)
	at javax.security.auth.Subject.doAs(Subject.java:422)
	at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1693)
	at org.apache.hadoop.mapreduce.Job.submit(Job.java:1304)
	at org.apache.kylin.engine.mr.common.AbstractHadoopJob.waitForCompletion(AbstractHadoopJob.java:149)
	at org.apache.kylin.engine.mr.steps.FactDistinctColumnsJob.run(FactDistinctColumnsJob.java:108)
	at org.apache.kylin.engine.mr.MRUtil.runMRJob(MRUtil.java:92)
	at org.apache.kylin.engine.mr.common.MapReduceExecutable.doWork(MapReduceExecutable.java:120)
	at org.apache.kylin.job.execution.AbstractExecutable.execute(AbstractExecutable.java:113)
	at org.apache.kylin.job.execution.DefaultChainedExecutable.doWork(DefaultChainedExecutable.java:57)
	at org.apache.kylin.job.execution.AbstractExecutable.execute(AbstractExecutable.java:113)
	at org.apache.kylin.job.impl.threadpool.DefaultScheduler$JobRunner.run(DefaultScheduler.java:136)
	at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1142)
	at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:617)
	at java.lang.Thread.run(Thread.java:745)
时间： 2024-10-07 04:24:47

kylin build cube #3 Step Name: Extract Fact Table Distinct Columns的相关文章

解决kylin build cube第一步报错：java.lang.NullPointerException

报错栈: 2017-06-19 10:27:35,757 ERROR [pool-9-thread-4] threadpool.DefaultScheduler:140 : ExecuteException job:933bc47a-302c-48fa-8ec9-ae8730057175 org.apache.kylin.job.exception.ExecuteException: org.apache.kylin.job.exception.ExecuteException: java.la

Kylin构建Cube过程详解

1 前言 在使用Kylin的时候,最重要的一步就是创建cube的模型定义,即指定度量和维度以及一些附加信息,然后对cube进行build,当然我们也可以根据原始表中的某一个string字段(这个字段的格式必须是日期格式,表示日期的含义)设定分区字段,这样一个cube就可以进行多次build,每一次的build会生成一个segment,每一个segment对应着一个时间区间的cube,这些segment的时间区间是连续并且不重合的,对于拥有多个segment的cube可以执行merge,相当于将一

【问题】Kylin Step 10 Build Cube失败

build cube任务过程中,执行到step 10任务失败,原因是配置kylin的执行MR任务的资源不足 任务进行到第十步骤,失败.具体原因查找 1.查看Parameters 2.查看MRJob日志,发现问题所在 2017-03-16 15:42:43,241 INFO [AsyncDispatcher event handler] org.apache.hadoop.mapreduce.v2.app.job.impl.TaskAttemptImpl: Diagnostics report f

【总结】Kylin创建Cube

根据上篇文章Kylin创建Model之后,创建Cube 第一步,Cube Info 填写Cube基本信息 第二步,Dimensions 第三步,Measures 第四步,Refresh Setting Auto Merge Thresholds :自动合并阈值,按天增加的segement,每7天合并一次:7天的segment每28天合并一次 Retention Threshold:默认为0,保留历史所有的segment(hotelinfo每个分区都是全量数据,所以此处只保留一天的数据) Part

kylin cube 构建过程

本文是对 http://kylin.apache.org/docs20/howto/howto_optimize_build.html的翻译,以便阅读. 1.  创建 Hive 中间表(Create Intermediate Flat Hive Table) 这个过程会把 cube 中用到的所有 Hive 表(包括 look at 的表)汇聚成一张表.如果 Cube 是分区的,kylin 会增加时间条件以获取相应的数据.此过程的输出大致如下: hive -e "USE default; DROP

大数据量多维分析项目Kylin调研二期

一.    cube构建步骤 登录页面 创建Project   同步数据   1)     加载Hive表 2)     从同步的目录中导入,即将上张图中左侧的数据库中的表导入 3)     上传Hive表 4)     添加流表. 创建Model 事实表关联其他表创建一个model 1)     填写基本信息 2)     选择事实表 3)     填写关联表(lookup_table)及关联方式 4)     选择维度 5)     选择统计值 创建cube 1)     cube信息  

Apache Kylin高级部分之使用Hive视图

本章节我们将介绍为什么需要在Kylin创建Cube过程中使用Hive视图:而如果使用Hive视图,能够带来什么好处,解决什么样的问题:以及需要学会如何使用视图,使用视图有什么限制等等. 1.      为什么需要使用视图 Kylin创建Cube的过程中使用Hive的表数据作为输入源.但是有些情况下,Hive中的表定义和数据并不能满足分析的需求,例如有些列的值需要进行处理,有些列的类型不满足需求,甚至有时候我们在创建Hive表时为了方便快捷,会将Hive表的所有列的字段类型都定义为string,因

解决kylin报错：java.lang.IllegalStateException

一个kylin build job执行到第三步Extract Fact Table Distinct Columns时报错: 2017-05-24 20:04:07,930 ERROR [pool-9-thread-3] common.MapReduceExecutable:127 : error execute MapReduceExecutable{id=a79c9625-39aa-4f17-8015-73b640558425-02, name=Extra ct Fact Table Dis

谈 Kylin1.6 streaming kafka cube build 成功过程中遇到的坑

坑太多    --写在片首语 看着Kylin官网(http://kylin.apache.org/docs16/tutorial/cube_streaming.html)里的轻描淡写,似乎只要一步步按着它的步骤来做,就可以很快跑通并得到期待的果子 .但,然并卵...这次的实践让我很清醒地了解到, 在开源的世界里,真的是版本太多,bug太多,坑太多... 如果仅仅是阅读了文档一百遍,而并未去实践,那么也许仅仅阅读理解水平会提高不少.为了走完这一遍操作,得到期待的结果,居然cost 10 days!