本文主要包含mapreduce shuffle,mapreduce中shuffle,mapreduce过程,mapreduce执行过程,mapreduce过程图等服务器相关知识,网友希望可以进行参考
MapReduce中Shuffle过程整理，mapreduceshuffle
MapReduce中的Shuffle过程分为Map端和Reduce端两个过程。
Map端：
1.（Hash Partitioner）执行完Map函数后，根据key进行hash，并对该结果进行Reduce的数量取模（该键值对将会由某个reduce端处理）得到一个分区号。
2.（Sort Combiner）将该键值对和分区号序列化之后的字节写入到内存缓存区（大小为100M，装载因子为0.8）中，当内存缓冲区的大小超过100*0.8 = 80M的时候，将会spill（溢出）；在溢出之前会在内存缓冲区中对 该键值对和分区号序列化之后的字节 进行排序，并合并缓冲区中key相同的key-value对。
3.（Merge）对于map结果有多个spill文件的情况，会将这些文件再进行一次合并，合并每个spill文件中key相同的key-value对，然后形成一些新的文件并删除spiil文件（注意：map端的输出文件存储在本地磁盘上，而不是在HDFS上）；对只有一个spill文件的情况，直接结束Map端的shuffle。
Reduce端：
1. （Copy）从每个map端使用HTTP拷贝需要的文件
2. （Merge）对于从每个map端得到的文件进行在内存（该内存不仅仅是100M，而是JVM中堆的大小，因为此时不执行Reduce任务，JVM的内存可以全部让Merge使用）中合并，合并每个文件中key相同的key-value对，将结果存储在内存或者HDFS上，作为Reduce函数的输入。