我为什么要区分MR和Spark的shuffle

MR的shuffle阶段，用一张图就可以说明了：

map阶段的输出结果会放在缓冲区中，另有一个较小的缓冲区维护了这个缓冲区中键值对+分区号的索引。当该缓冲区快满时，会对其索引进行排序，然后spill到磁盘上。当所有数据都spill到磁盘上后，会对这些碎片文件进行合并，这个过程中同样会发生排序和归并，以便减小传输到reducer上的数据量。reducer通过http连接从mapper上拉去最终的结果，注意是按照分区拉去所需的部分。对于一个reducer由于数据可能来自多个上游，所以仍然要继续排一次序，最后进行reduce操作。

Spark的shuffle日后再写。