AugusZack的博客

原创 MapReduce的shuffle源码剖析（设置Combiner）

本文为了全面源码级剖析MapReduceshuffle过程，设置了Combiner并进行了剖析，对于没有设置Combiner的shuffle，只需要将Combiner部分忽略即可。 0、前言 shuffle是MapReduce的重要部分，横跨map与reduce两端，是指从Mapper函数输出到Reducer函数输入的这段过程，属于本地（节点内）聚合操作，实现逻辑与red...