wordcount详解shuffle机制(转)

一、map方法执行之前

我们知道,HDFS里的文件是分块存放在Datanode上面的,而我们写的mapper程序也是跑在各个节点上的。这里就涉及到一个问题,哪一个节点上的mapper读哪一些节点上的文件块呢?hadoop会自动将这个文件分片(split),得到好多split,这每一个split放到一个节点的一个mapper里面去读。然后在每一台有mapper任务的节点上都执行了这么一个操作,将分得到的split切割成一行一行的键值对,然后传给map方法。键是这每一行在split中的偏移量,值是每一行得到的字符串。

二、执行map方法


 
写过wordcount的朋友都知道,这个过程就是读到每一行,切割字符串,生成键值对写出去。

三、shuffle操作(一)

这个过程是在有map任务的节点上完成的

1. partition

将得到的键值对按照一定的规则分组,例如例子中将首字母为a的全部分到一组,将首字母为b的分到一组。这里只是为了讲明白这个方式,进行了过程简化,实际不一定是分为两组,也不一定是按照首字母分组。

2. sort

对每一个组中的键值对根据键的哈希码排序。

3. combine

将具有相同键的键值对合成一个新的键值对,这个新的键值对的键是原来的键,键值是所有键的键值之和。

四、shuffle操作(二)

这个过程是在有reduce任务的节点上完成的。

1. 拉取partition

hadoop决定有多少个reducer的时候会规定有多少个partition,每一个reducer拉取自己要处理的那个分组的全部成员。例如,某台节点要处理所有以a开头的键值对,它就会将所有mapper中的以a开头的那一组全部拉取过来。

2. merge

在每一个reducer上,将具有相同键的键值对生成另外一个新的键值对,键是以前的键,键值是一个以前键值的集合。

3. sort

在每一台reducer节点上,将新生成的键值对进行排序,根据 哈希码值。

五、reduce操作

写过wordcount的朋友都知道,在reduce方法中,hadoop回传过来一个一个的键值对,键是每一个单词,键值就是四中新生成的键值对的键值。执行reduce操作,就是将每一个键值对中的键值累加起来。然后以键值对的形式将结果写出去。

六、文件写入HDFS

在每一台reducer节点上将文件写入,实际上是写成一个一个的文件块,但对外的表现形式是一整个大的结果文件。

原文地址:https://www.cnblogs.com/lyx1017616891/p/9506093.html

时间: 2024-10-09 12:21:35

wordcount详解shuffle机制(转)的相关文章

MapReduce:详解Shuffle过程

MapReduce:详解Shuffle过程[转] 博客分类: mapreduce MapreduceITeye数据结构多线程Hadoop Shuffle过程是MapReduce的核心,也被称为奇迹发生的地方.要想理解MapReduce, Shuffle是必须要了解的.我看过很多相关的资料,但每次看完都云里雾里的绕着,很难理清大致的逻辑,反而越搅越混.前段时间在做MapReduce job 性能调优的工作,需要深入代码研究MapReduce的运行机制,这才对Shuffle探了个究竟.考虑到之前我在

JStorm第一个程序WordCount详解

一.Strom基本知识(回顾) 1,首先明确Storm各个组件的作用,包括Nimbus,Supervisor,Spout,Bolt,Task,Worker,Tuple nimbus是整个storm任务的管理者,并不实际进行工作.负责在集群中分发代码,对节点分配任务,并监视主机故障. supervisor是实际进行工作的节点,负责监听工作节点上已经分配的主机作业,启动和停止Nimbus已经分配的工作进程. Worker是具体处理Spout/Bolt逻辑的进程,worker数量由拓扑中的conf.s

Hadoop集群WordCount详解

Hadoop集群WordCount详解 MapReduce理论介绍 MapReduce处理过程 MapReduce代码 1.MapReduce 理论介绍 1.1 MapReduce编程模型 MapReduce采用"分而治之"的思想,把对大规模数据集的操作,分发给一个主节点管理下的各个分节点共同完成,然后通过整合各个节点的中间结果,得到最终结果.简单地说,MapReduce就是"任务的分解与结果的汇总". 在Hadoop中,用于执行MapReduce任务的机器角色有两

Hadoop WordCount详解(二)

Hadoop集群WordCount详解(二) 源代码程序 WordCount处理过程 具体代码讲解 1.源代码程序 package org.apache.hadoop.examples; import java.io.IOException; import java.util.StringTokenizer; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.examples.WordCount.Token

【转】MapReduce:详解Shuffle过程

——转自:{http://langyu.iteye.com/blog/992916} Shuffle过程是MapReduce的核心,也被称为奇迹发生的地方.要想理解MapReduce, Shuffle是必须要了解的.我看过很多相关的资料,但每次看完都云里雾里的绕着,很难理清大致的逻辑,反而越搅越混.前段时间在做MapReduce job 性能调优的工作,需要深入代码研究MapReduce的运行机制,这才对Shuffle探了个究竟.考虑到之前我在看相关资料而看不懂时很恼火,所以在这里我尽最大的可能

[转]MapReduce:详解Shuffle过程

Shuffle过程是MapReduce的核心,也被称为奇迹发生的地方.要想理解MapReduce, Shuffle是必须要了解的.我看过很多相关的资料,但每次看完都云里雾里的绕着,很难理清大致的逻辑,反而越搅越混.前段时间在做MapReduce job 性能调优的工作,需要深入代码研究MapReduce的运行机制,这才对Shuffle探了个究竟.考虑到之前我在看相关资料而看不懂时很恼火,所以在这里我尽最大的可能试着把Shuffle说清楚,让每一位想了解它原理的朋友都能有所收获.如果你对这篇文章有

【转】MapReduce:详解Shuffle过程

原文:http://langyu.iteye.com/blog/992916  Shuffle过程是MapReduce的核心,也被称为奇迹发生的地方.要想理解MapReduce, Shuffle是必须要了解的.我看过很多相关的资料,但每次看完都云里雾里的绕着,很难理清大致的逻辑,反而越搅越混.前段时间在做MapReduce job 性能调优的工作,需要深入代码研究MapReduce的运行机制,这才对Shuffle探了个究竟.考虑到之前我在看相关资料而看不懂时很恼火,所以在这里我尽最大的可能试着把

详解shuffle过程(转载)

http://langyu.iteye.com/blog/992916 shuffle本意是洗牌的意思.在mapreduce中描述的是怎么将map task 的输出结果有效的传送到reduce task端. 在Hadoop这样的集群环境中,大部分map task与reduce task的执行是在不同的节点上.当然很多情况下Reduce执行时需要跨节点去拉取其它节点上的map task结果.如果集群正在运行的job有很多,那么task的正常执行对集群内部的网络资源消耗会很严重.这种网络消耗是正常的

Hadoop_10_shuffle02_详解Shuffle过程【来源网络】推荐更为详细

网址:http://www.cnblogs.com/felixzh/p/4680808.html Shuffle过程,也称Copy阶段.reduce task从各个map task上远程拷贝一片数据,并针对某一片数据,如果其大小超过一定的阀值,则写到磁盘上,否则直接放到内存中. 官方的Shuffle过程如上图所示,不过细节有错乱,官方图并没有说明partition.sort和combiner具体作用于哪个阶段. 注意:Shuffle过程是贯穿于map和reduce两个过程的! Hadoop的集群