map-reduce 过程
中间绿线区域就是shuffle(“洗牌”)过程:map之后,reduce之前的过程。
可以这样理解:一个map 产生的数据,结果通过hash过程分区却分配给了不同的reduce任务,就相当于对数据洗牌的过程。
map端过程
reduce 过程
时间: 2024-10-25 01:16:07
map-reduce 过程
中间绿线区域就是shuffle(“洗牌”)过程:map之后,reduce之前的过程。
可以这样理解:一个map 产生的数据,结果通过hash过程分区却分配给了不同的reduce任务,就相当于对数据洗牌的过程。
map端过程
reduce 过程