Shuffle failed with too many fetch failures and insufficient progress!

在hive中跑数时候报错

Caused by: java.io.IOException: Reducer_2: Shuffle failed with too many fetch failures and insufficient progress!failureCounts=1, pendingInputs=1, fetcherHealthy=false, reducerProgressedEnough=true, reducerStalled=true
at org.apache.tez.runtime.library.common.shuffle.orderedgrouped.ShuffleScheduler.isShuffleHealthy(ShuffleScheduler.java:1047)
at org.apache.tez.runtime.library.common.shuffle.orderedgrouped.ShuffleScheduler.copyFailed(ShuffleScheduler.java:788)
at org.apache.tez.runtime.library.common.shuffle.orderedgrouped.FetcherOrderedGrouped.copyFromHost(FetcherOrderedGrouped.java:316)
at org.apache.tez.runtime.library.common.shuffle.orderedgrouped.FetcherOrderedGrouped.fetchNext(FetcherOrderedGrouped.java:180)
at org.apache.tez.runtime.library.common.shuffle.orderedgrouped.FetcherOrderedGrouped.callInternal(FetcherOrderedGrouped.java:192)
at org.apache.tez.runtime.library.common.shuffle.orderedgrouped.FetcherOrderedGrouped.callInternal(FetcherOrderedGrouped.java:56)
… 5 more

调下面这个参数的值，把它调小尝试。

set mapreduce.reduce.shuffle.memory.limit.percent=0.10;

调整参数后，错误就没有了。

> MergeManager
MergeManager是重要的数据结构，用于管理shuffle的数据。它尽量使用内存来缓存shuffle的数据，提高效率，
如果缓存不了，则输出到硬盘上。
MergeManager的几个重要参数
> mapreduce.reduce.shuffle.input.buffer.percent：
> Reduce的内存缓冲区大小，内存比例，默认是0.7。Shuffle内存为总内存 * 0.7。 
> mapreduce.reduce.shuffle.memory.limit.percent: 
> 单个shuffle任务能使用的内存限额，默认是0.25，即为 Shuffle内存 * 0.25。
> 低于此值可以输出到内存，否则输出到磁盘。 mapreduce.reduce.shuffle.merge.percent：默认值为0.66。
> shuffle的数据量到Shuffle内存 * 0.66的时候，启动合并。也就是内存到磁盘merge的启动门限，把内存中数据合并到磁盘。