【问题】Kylin Step 10 Build Cube失败

build cube任务过程中,执行到step 10任务失败,原因是配置kylin的执行MR任务的资源不足

任务进行到第十步骤,失败。具体原因查找

1、查看Parameters

2、查看MRJob日志,发现问题所在

2017-03-16 15:42:43,241 INFO [AsyncDispatcher event handler] org.apache.hadoop.mapreduce.v2.app.job.impl.TaskAttemptImpl: Diagnostics report from attempt_1484048632162_72188_r_000001_2: Container [pid=11851,containerID=container_1484048632162_72188_01_000170] is running beyond physical memory limits. Current usage: 1.1 GB of 1 GB physical memory used; 2.8 GB of 2.1 GB virtual memory used. Killing container.
Dump of the process-tree for container_1484048632162_72188_01_000170 :
|- PID PPID PGRPID SESSID CMD_NAME USER_MODE_TIME(MILLIS) SYSTEM_TIME(MILLIS) VMEM_USAGE(BYTES) RSSMEM_USAGE(PAGES) FULL_CMD_LINE
|- 11859 11851 11851 11851 (java) 20435 2125 2883371008 280614 /usr/local/jdk/bin/java -Djava.net.preferIPv4Stack=true -Dhadoop.metrics.log.level=WARN -Xmx768m -Djava.io.tmpdir=/hadoop/2/yarn/local/usercache/kylin/appcache/application_1484048632162_72188/container_1484048632162_72188_01_000170/tmp -Dlog4j.configuration=container-log4j.properties -Dyarn.app.container.log.dir=/hadoop/6/yarn/logs/application_1484048632162_72188/container_1484048632162_72188_01_000170 -Dyarn.app.container.log.filesize=0 -Dhadoop.root.logger=INFO,CLA -Dhadoop.root.logfile=syslog -Dyarn.app.mapreduce.shuffle.logger=INFO,shuffleCLA -Dyarn.app.mapreduce.shuffle.logfile=syslog.shuffle -Dyarn.app.mapreduce.shuffle.log.filesize=0 -Dyarn.app.mapreduce.shuffle.log.backups=0 org.apache.hadoop.mapred.YarnChild 10.10.16.21 41607 attempt_1484048632162_72188_r_000001_2 170
|- 11851 11849 11851 11851 (bash) 0 0 108625920 341 /bin/bash -c /usr/local/jdk/bin/java -Djava.net.preferIPv4Stack=true -Dhadoop.metrics.log.level=WARN  -Xmx768m -Djava.io.tmpdir=/hadoop/2/yarn/local/usercache/kylin/appcache/application_1484048632162_72188/container_1484048632162_72188_01_000170/tmp -Dlog4j.configuration=container-log4j.properties -Dyarn.app.container.log.dir=/hadoop/6/yarn/logs/application_1484048632162_72188/container_1484048632162_72188_01_000170 -Dyarn.app.container.log.filesize=0 -Dhadoop.root.logger=INFO,CLA -Dhadoop.root.logfile=syslog -Dyarn.app.mapreduce.shuffle.logger=INFO,shuffleCLA -Dyarn.app.mapreduce.shuffle.logfile=syslog.shuffle -Dyarn.app.mapreduce.shuffle.log.filesize=0 -Dyarn.app.mapreduce.shuffle.log.backups=0 org.apache.hadoop.mapred.YarnChild 10.10.16.21 41607 attempt_1484048632162_72188_r_000001_2 170 1>/hadoop/6/yarn/logs/application_1484048632162_72188/container_1484048632162_72188_01_000170/stdout 2>/hadoop/6/yarn/logs/application_1484048632162_72188/container_1484048632162_72188_01_000170/stderr

Container killed on request. Exit code is 143
Container exited with a non-zero exit code 143

3、修改配置文件kylin_job_conf_inmem.xml,添加

<!-- reduce -->
<property>
<name>mapreduce.reduce.memory.mb</name>
<value>3096</value>
<description>每个Reduce Task需要的内存量</description>
</property>
<property>
<name>mapreduce.reduce.java.opts</name>
<value>-Xmx3096m</value>
<description>reduce任务内存</description>
</property>
时间: 2024-10-12 13:33:27

【问题】Kylin Step 10 Build Cube失败的相关文章

提取了Windows 10 Build 9901 系统自带 高清分辨率壁纸

提取了Windows 10 Build 9901  系统自带 高清分辨率壁纸 下载地址为:http://www.400gb.com/file/81555894

Error page: /admin/makehtml_all.php?action=make&amp;step=10

DedeCMS Error Warning!Technical Support: http://bbs.dedecms.comError page: /admin/makehtml_all.php?action=make&step=10Error infos: 无法使用数据库 dedecms,在后台更新网站的时候提示这样的错误应该怎么解决? 织梦代码对数据库错误信息做了自定义,根据代码提供的信息分析不出具体原因来检查MYSQL数据库是否可连接,数据库账号口令及权限是否正确 <?php req

Windows 10 Build 10041 试用 升级后有 Spartan 斯巴达浏览器功能

为了试用一下微软最新的 Spartan 斯巴达浏览器,本周在家花了三天时间下载了  Windows 10 Build 10041 32位系统,来看一下有什么新的功能,因为只是在虚拟机中装装,下载32位就够用了. 由于是beta版本,只有在虚拟机中试用了. 一般按照我选择默认的直接安装即可以. 点下一步,完成,启动后: 系统保留现在为350MB 大小了. 使用虚拟机,笔者电脑性能占用情况. I5+ 6GB 内存+ 240GB intel SSD+ 1TB USB3.0移动硬盘,虚拟机装在移动硬盘,

[图]Windows 10 Build 16273版本更新发布:新增可变式字体Bahnschrift

在经历了长达三周的等待之后,微软于今天终于面向Windows Insider项目的Fast通道用户发布了Windows 10 Build 16273版本更新.事实上,微软应该会在两周前就应该发布新版本,但是由于在内部测试过程中出现了某些BUG,从而导致更新推迟. 在经历了漫长的等待之后,微软于今天发布的新版本中并未包含任何新的功能,主要集中在BUG修复和后台性能改进方面.不过在细节方面系统还进行了一些改善,主要包括: My People上尝试全新的emoji 通知: 通过在任务栏上添加全新的Wi

Windows 10 Build 9879 新变化(内含ISO下载)

微软在13号发布了Windows 10 Build 9879:和9860不用的是,这个版本微软提供了ISO下载,大家可以进行全新安装了,下面是我提供的ISO文件下载: Windows 10 build 9879 64-bit ISO image Windows 10 build 9879 32-bit ISO image 和9860一样,新增的一些功能都还是英文,没来得及汉化,我们来看看9879在功能上都有哪些明显的变化. 1. 搜索按钮和任务视图终于可以由用户来自定义了,以前是固定在任务栏上用

ubuntu kylin 14.10 安装deepin_music

ubuntu kylin 14.10 安装deepin_music 播放器选择 小背景 先前一直是deepin_music的用户.当使用13.04时还无丝毫问题,简单如直接加一个ppa,就很容易的上手, 继之apt-get update, apt-get install *然倘若如此,亦无记录必要,新手入门即学此法.而但自从更换系统后,用的是ubuntu-kylin14.10.此源不能添加了. 无奈只能手动安装了,这个也是挺蛋疼的地方. 为何选用deepin_music? 程序员的通病也, 懒.

AngularJS学习--- 事件处理(Event Handlers) ng-click操作 step 10

本文主要通过介绍ng-click方法来对angularjs中的事件处理方法做个了解. 1.切换目录 git checkout step-10 npm start 2.效果 点击右边的小图片,那么左边框中将显示大图片,示例如下: 3.代码实现 查看step-9和step-10之间的代码差异:https://github.com/angular/angular-phonecat/compare/step-9...step-10 Controllers(控制器) app/js/controllers.

Windows内核版本变化(Windows 10 Build 9888 内核版本是 10.0)

Windows Vista 内核版本是 6.0 Windows 7 内核版本是 6.1 Windows 8 内核版本是 6.2 Windows 8.1 内核版本是 6.3 Windows 10 Build 9841.9860 和 9879 内核版本是 6.4 Windows 10 Build 9888 内核版本是 10.0 通常内核版本的改变意味着较大的底层更新,Windows 10 内核将比 Windows 7 有更彻底的改变,内核版本也可能是在和 Windows 10 命名保持一致,突出和过

Windows 10安装DockerToolBox失败处理方法

指令运行报错: Windows 10安装DockerToolBox失败处理方法:升级Windows 10. (注意:只有Windows10 专业版才支持升级,Server和企业版无效) 原文地址:https://www.cnblogs.com/boonya/p/9531266.html