Hadoop:Task process exit with nonzero status of 1 异常

　　在运行hadoop程序时经常遇到异常 java.io.IOException: Task process exit with nonzero status of 1。网上很多博文都说是磁盘不够的问题。

　　其实我很多时候遇到这个问题是因为程序抛出org.apache.hadoop.mapred.Child: Error running child : java.lang.OutOfMemoryError:   unable to create new native thread这个问题导致程序失败并删除掉工作区间，最终导致文件无法读写。因此，通常抛出这个问题也有可能是因为内存溢出。

解决方法：

1. 增大hadoop-env.sh 中HADOOP_HEAPSIZE的值

2 .增大 mapred-site.xml 中mapred.child.java.opts的值（默认为200M）

<property>
<name>mapred.child.java.opts</name>
<value>-Xmx2048m</value>
</property>

3. 减小 mapred-site.xml中mapred.tasktracker.map.tasks.maximumde和mapred.tasktracker.reduce.tasks.maximum的值

<property>
<name>mapred.tasktracker.map.tasks.maximum</name>
<value>15</value>
</property>
时间： 2024-11-09 10:49:40

Hadoop:Task process exit with nonzero status of 1 异常的相关文章

hadoop系列 第三坑： Task process exit with nonzero status of 137

跑MR的时候抛出异常: java.lang.Throwable: Child Error at org.apache.hadoop.mapred.TaskRunner.run(TaskRunner.java:250) Caused by: java.io.IOException: Task process exit with nonzero status of 137. at org.apache.hadoop.mapred.TaskRunner.run(TaskRunner.java:237)

centOS 7一个解决“network.service: control process exited, code=exited status=1”方法

今天早上2017-08-04,我打开虚拟机,使用远程工具xshell对虚拟机进行连接,我发现连接不上去,然后我ifconfig,发现找不到ens33了,就剩一个本地回环,看来是我的网络出现了问题,然后我查看我的网络状态,发现了如下情况: [[email protected] ~]# systemctl status network.service ● network.service - LSB: Bring up/down networking Loaded: loaded (/etc/rc.d

Linux中的task,process, thread 简介

本文的主要目的是介绍在Linux内核中,task,process, thread这3个名字之间的区别和联系.并且和WINDOWS中的相应观念进行比较.如果你已经很清楚了,那么就不用往下看了. LINUX版本:2.6.18ARCH: X86 首先要明确的是,按照LKD 2里面的说法,LINUX和其他OS 比如WINDOWS, SOLARIS之间一个很大的不同是没有严格定义的线程(thread).那么你也许会问,如果LINUX中没有线程,那么如何来表示类似WINDOWS 线程的那种执行观念呢?答案是

CenOS7.1 [email&#160;protected]:1.service: control process exited, code=exited status=2

参考:http://www.cnblogs.com/gaohong/p/4829206.html 报错细节: [email protected]:1.service: control process exited, code=exited status=2 主要原因:因为异常关机导致临时文件生成错误 解决办法:删除vncserver产生的临时用户文件X1([email protected]:1.service对应的)

二分+DP HDU 3433 A Task Process

HDU 3433 A Task Process Time Limit: 2000/1000 MS (Java/Others)    Memory Limit: 32768/32768 K (Java/Others)Total Submission(s): 1368    Accepted Submission(s): 684 Problem Description There are two kinds of tasks, namely A and B. There are N workers

node.js 标准/错误输出 和 process.exit

node.js中,各种模块有一种标准的写法: this._process.exec(command, options, function (err, stdout, stderr) { callback(err, stdout, stderr); }) 这里说的标准,是指回调函数,一般有err作为第一个参数,然后是具体的数据. 写服务器程序的时候,或多或少会用到child_process这个模块,而这个模块的用法正如上边代码所示. 例如调用一个shell命令删除文件,可以这样: child_pr

main process exited, code=exited, status=203/EXEC

问题描述: Oct 13 20:01:08 c_3.50 systemd[1]: Started etcd. Oct 13 20:01:08 c_3.50 systemd[1]: Starting etcd... Oct 13 20:01:08 c_3.50 systemd[1]: etcd.service: main process exited, code=exited, status=203/EXEC //203不能执行 Oct 13 20:01:08 c_3.50 systemd[1]:

hadoop学习;hdfs操作；运行抛出权限异常: Permission denied；api查看源码方法；源码不停的向里循环；抽象类通过debug查找源码

eclipse快捷键alt+shift+m将选中的代码封装成方法:alt+shift+l将选中的代码添加对应类型放回参数 当调用一个陌生方法时,进入源码不停的向里循环,当找不到return类似方法的时候,可以看到最原始的方法 package com.kane.hdfs; import java.io.InputStream; import java.net.URL; import org.apache.hadoop.fs.FsUrlStreamHandlerFactory; import org

get running task , process and service

public class MyActivityManager extends ExpandableListActivity { private static final String NAME = "NAME"; private static final String NO_USED = "NO_USED"; private String[] groups = { "showRecentTask", "showRunningTasks&