mapreduce任务失败、重试、猜測式运行机制小结

mapreduce中我们自己定义的mapper和reducer程序在运行后有可能遇上出错退出的情况,mapreduce中jobtracker会全程追踪任务的运行情况,对于出错的任务mapreduce也定义了一套自己的处理方式。

首先要明白的是mapreduce推断任务失败的方式。三种情况下任务会被觉得运行失败:返回非0值、产生java异常、超时(长时间没响应)。对于第一种,通经常使用于streaming程序。假设你的mapper或reducer程序结束的时候返回了非0值,那么mapreduce会觉得你的任务失败了。另外一种主要用于java写的mapreduce程序。对于第三种,预计非常多人都不知道。对于streaming,mapreduce在任务运行后会监測任务的输出(标准输出),假设任务在一定时间内无输出(这个时间能够通过mapred.task.timeout选项设定),则mapreduce会觉得这个任务失败。因此写mapreduce程序的时候一定要留意程序是否会发生超时间假死的情况,假设有这样的情况那就要考虑下程序会不会被误杀。

在任务失败后,mapreduce会又一次运行任务,重试的次数也是能够设定的,通常是4次。

最后还要注意的是mapreduce另一个猜測式运行机制,在这个机制下假设任务运行时间超出预期(这个预期是依据其它任务的运行时间定的),那么mapreduce会另外启动一个跟这个任务同样的任务并行运行,在某个任务最先运行完毕之后杀死其它尚未完毕的任务。这个机制主要是用来避免某个reduce任务的运行环境有问题或者某个reduce任务运行中发生了反常情况而迟迟不能完毕拖慢总体进度。可是这个机制在有些情况下也会造成问题,比如:假设你的reduce程序在同样输入并发运行的情况下会造成冲突,那么猜測式运行机制对你来说就是个极大的隐患。只是好在猜測式运行机制也是能够关闭的。

时间: 2024-10-06 11:44:45

mapreduce任务失败、重试、猜測式运行机制小结的相关文章

mapreduce任务失败、重试、推测式执行机制小结

mapreduce中我们自定义的mapper和reducer程序在执行后有可能遇上出错退出的情况,mapreduce中jobtracker会全程追踪任务的执行情况,对于出错的任务mapreduce也定义了一套自己的处理方式. 首先要明确的是mapreduce判断任务失败的方式.三种情况下任务会被认为执行失败:返回非0值.产生java异常.超时(长时间没响应).对于第一种,通常用于streaming程序.如果你的mapper或reducer程序结束的时候返回了非0值,那么mapreduce会认为你

第2节 mapreduce深入学习:12、reducetask运行机制(多看几遍)

ReduceTask的运行的整个过程 背下来1.启动线程到mapTask那里去拷贝数据,拉取属于每一个reducetask自己内部的数据2.数据的合并,拉取过来的数据进行合并,合并的过程,有可能在内存当中,有可能在磁盘当中,有可能在内存和磁盘当中,合并的时候同时要进行分组操作3.调用reduce逻辑4.数据输出 原文地址:https://www.cnblogs.com/mediocreWorld/p/11028068.html

MapReduce 运行机制

 Hadoop 中的MapReduce是一个使用简单的软件框架,基于它写出来的应用程序能够运行在由上千个商用机器组成的大型集群上,并以一种可靠容错式并行处理TB级别的数据集. 一个MapReduce作业(job)通常会把输入的数据集切分为若干独立的数据块,由Map任务以完成并行的方式处理它们.框架会对map函数的输出先进行排序,然后把结果输入 给Reduce任务.通常作业的输入和输出都会被存储在文件系统中.整个框架负责任务的调度和和监控,以及重新执行已经失败的任务. 通常,MapReduce框架

Hadoop之 - 剖析 MapReduce 作业的运行机制(MapReduce 2)

在0.20版本及更早期的系列中,mapred.job.tracker 决定了执行MapReduce程序的方式.如果这个配置属性被设置为local(默认值),则使用本地的作业运行器.运行器在耽搁JVM上运行整个作业.它被设计用来在小的数据集上测试和运行MapReduce程序. 如果 mapred.job.tracker 被设置为用冒号分开的主机和端口对(主机:端口),那么该配置属性就被解释为一个jobtracker地址,运行器则将作业提交给该地址的jobtracker. Hadoop 2.x引入了

【转】mapreduce运行机制

转自http://langyu.iteye.com/blog/992916 写的相当好! 谈 mapreduce运行机制,可以从很多不同的角度来描述,比如说从mapreduce运行流程来讲解,也可以从计算模型的逻辑流程来进行讲解,也许有些 深入理解了mapreduce运行机制还会从更好的角度来描述,但是将mapreduce运行机制有些东西是避免不了的,就是一个个参入的实例对象,一个 就是计算模型的逻辑定义阶段,我这里讲解不从什么流程出发,就从这些一个个牵涉的对象,不管是物理实体还是逻辑实体. 首

五:Mapreduce运行机制

mapreduce运行机制 mapreduce作业执行涉及4个独立的实体: 1. 客户端(client):编写mapreduce程序,配置作业,提交作业,这就是程序员完成的工作: 2. JobTracker:初始化作业,分配作业,与TaskTracker通信,协调整个作业的执行: 3. TaskTracker:保持与JobTracker的通信,在分配的数据片段上执行Map或Reduce任务,TaskTracker和JobTracker的   不同有个很重要的方面,就是在执行任务时候TaskTra

Vmware提示以独占方式锁定此配置文件失败。另一个正在运行的VMware进程可能正在使用配置文件

Vmware提示以独占方式锁定此配置文件失败.另一个正在运行的VMware进程可能正在使用配置文件以及虚拟机黑屏 解决办法: 以管理员方式打开cmd(必须),输入netsh winsock reset(这个命令是重置网络规范,黑屏的原因很可能就是VMware软件跟本地网络规范有冲突),回车之后提示成功重置winsock目录,您必须重新启动计算机才能重新完成配置.重启后打开即可. 原文地址:https://www.cnblogs.com/yuanlinghao/p/12657175.html

.NET那点事 (02).NET运行机制

.NET运行机制1 .NET程序被编译成什么形式的代码2 JIT是如何工作的3 简述程序集的加载机制4 如何配置程序集的版本策略 1 .NET程序被编译成什么形式的代码 .NET程序在编写完成后,会经过第一次编译.对于C#而言,无论是VS IDE还是其他任何间接方式,本质上都是执行编译器cse.exe来编译C#代码.在这次编译之后,程序会被编译成中间代码(IL),并且所有必须的元数据和程序集会被一起打包加载到文件头上.编译后的文件是一个标准的PE/COFF应用文件,该文件的最开始的部分包含了PE

MapReduce剖析笔记之四:TaskTracker通过心跳机制获取任务的流程

上一节分析到了JobTracker把任务从队列里取出来并进行了初始化,所谓的初始化,主要是获取了Map.Reduce任务的数量,并统计了哪些DataNode所在的服务器可以处理哪些Split等等,将这些信息缓存起来,但还没有进行实质的分配.等待TaskTracker跟自己通信. TaskTracker一般运行于DataNode之上,下面是他的声明,可见,是一个线程类: /******************************************************* * TaskT